你的位置:首页 > 数据库

[数据库]三、HDFS相关概念


1、HDFS中NameNode的启动过程:

步骤1:namenode启动时,首先将fsimage(镜像)载入内存,并执行editlog日志的各项操作

步骤2:内存中建立起元数据映射,则创建一个新的fsimage和空的editlog

步骤3:等待datanode注册与发送数据块信息

2、HDFS中NameNode元数据本地磁盘存储目录如何配置以及DataNode存储数据的本地磁盘目录如何配置

1)NameNode元数据存储目录配置

<property>
<name>dfs.namenode.name.dir</name>
<value>/opt/modules/hadoop-2.5.0/data/dfs/name</value>
</property>

2)DataNode元数据存储目录配置

<property>
<name>dfs.datanode.data.dir</name>
<value>/opt/modules/hadoop-2.5.0/data/dfs/data</value>
</property>

3、存储在HDFS上的文件的存储机制及数据安全性如何保证

1)HDFS存储机制

hdfs采用主从架。namenode是元数据节点,该节点用来管理文件系统中的命名空间;datanode是数据节点,真正存储数据的地方,以数据块的形式进行存储,每个数据块大小默认为128M。

2)数据安全性

NameNode在启动的时候首先进入安全模式,如果 datanode 丢失的block达到一定的比例(默认为0.999),则系统会一直处于安全模式状态即只读状态,当超过这个阈值,才可以离开安全模式。