你的位置:首页 > 数据库

[数据库]第123讲:Hadoop集群管理之Namenode目录元数据结构详解学习笔记


第123讲:Hadoop集群管理之Namenode目录元数据结构详解学习笔记

hadoop-2.x的集群管理与hadoop-1.x有很大不同

hdfs-site.:

dfs.replication

dfs.namenode.name.dir  存放namenode元数据信息

可以配置多个目录,这些目录完全相同,一个损坏不影响hdfs上的数据。

hadoop-2.6.0/dfs/name/current就是存放namenode元数据信息的地方

fsimage是镜像文件,包含了namenode所有的元数据信息。

VERSION中有namespaceID/clusterID/cTime/storagetype/bolckpoolID/layoutVersion

namespaceID是文件系统的唯一标识符,格式化文件系统后就会生成这个ID

clusterID是系统生成的集群的ID;

cTime是namenode存储系统创建是时间,第一次格式化系统就是0,再次格式化时就会更新;

toragetype说明文件存储的是什么系统存储的信息,可能是namenode/datanode

bolckpoolID是针对每一个namespace对应的bolckpool的ID,包含存储节点的IP等信息

seen_txid:存放transactionID,格式化文件系统后这个数字是0,代表一系列edits_*文件的尾数,namenode重启时会循环从0001到seen_txid中的数字,hdfs重启时会比对这个数字是不是edits文件的尾数,如果不是的话可能会有元数据丢失。

fsimage是整个namenode的镜像,包含临时文件edits。后面还会讲解。

in_user.lock是因为我们启动了集群。

 

以上内容是从王家林老师DT大数据课程第123讲的学习笔记。
DT大数据微信公众账号:DT_Spark  

王家林老师QQ:1740415547 

王家林老师微信号:18610086859
 王家林的第一个中国梦:免费为全社会培养100万名优秀的大数据从业人员!
您可以通过王家林老师的微信号18610086859发红包捐助大数据、互联网+、O2O、工业4.0、微营销、移动互联网等系列免费实战课程, 目前已经发布的王家林免费视频全集如下:

1,《大数据不眠夜:Spark内核天机解密(共100讲)》: http://pan.baidu.com/s/1eQsHZAq

2,《Hadoop深入浅出实战经典》http://pan.baidu.com/s/1mgpfRPu 

3,《Spark纯实战公益大讲坛》http://pan.baidu.com/s/1jGpNGwu 

4,《Scala深入浅出实战经典》http://pan.baidu.com/s/1sjDWG25 

5,《Docker公益大讲坛》http://pan.baidu.com/s/1kTpL8UF 

6,《Spark亚太研究院Spark公益大讲堂》http://pan.baidu.com/s/1i30Ewsd 

7,DT大数据梦工厂Spark、Scala、Hadoop的所有视频、PPT和代码在百度云网盘的链接:

http://pan.baidu.com/share/home?uk=4013289088#category/type=0&qq-pf-to=pcqq.group 

王家林免费在51CTO发布的1000集合大数据spark、hadoop、scala、docker视频: 

1,《Scala深入浅出实战初级入门经典视频课程》http://edu.51cto.com/lesson/id-66538.html 

2,《Scala深入浅出实战中级进阶经典视频课程》http://edu.51cto.com/lesson/id-67139.html 

3,《Akka深入浅出实战经典视频课程》http://edu.51cto.com/lesson/id-77672.html 

4,《Spark亚太研究院决胜大数据时代公益大讲堂》http://edu.51cto.com/lesson/id-30815.html 

5,《云计算Docker虚拟化公益大讲坛 》http://edu.51cto.com/lesson/id-61776.html 

6,《Spark 大讲堂(纯实战手动操作)》http://edu.51cto.com/lesson/id-78653.html 

7,《Hadoop深入浅出实战经典视频课程-集群、HDFS、Yarn、MapReduce》http://edu.51cto.com/lesson/id-77141.html 

8,《从技术角度思考Hadoop到底是什么》http://edu.51cto.com/course/course_id-1151.html 

 

“DT大数据梦工厂”团队第一个中国梦:免费为社会培养100万名优秀的大数据从业人员。每天早上4点起持续分享大数据、互联网+、O2O、工业4.0、微营销、移动互联网等领域的

 

第123讲视频网站地址:

51CTO

http://edu.51cto.com/lesson/id-77802.html