201852.5*10^1890%5G

    

SRE实战 互联网时代守护先锋,助力企业售后服务体系运筹帷幄!一键直达领取阿里云限量特价优惠。

 

    HDFS访

    HDFSHDFSGBTB访HDFS

 

    HDFSJava使master/slaveHDFSNameNodeDataNodesNameNode(namespace)访DataNodeHDFSHDFSDataNodeDataNodeNameNode

 

 HDFS--大数据应用的基石 Hadoop

NameNode

1. 

    NameNode

2. 

    HDFSNameNodeDataNode(Blockreport)DataNode

3. 

    HDFSHDFSHDFS(rack-aware)

    HDFS3DataNodeid

4. 

    NameNodeDataNode()NameNode退

5. (MetaData)

    NameNodeHDFS

    a. 

    b. Data Node 

    c. HDFSData NodeData Node

    NameNode使EditLog使FsImage()NameNodeEditlogFsImageEditlogFsImageFsImageEditlog(checkpoint)(BlockMap)4G

    DataNodeNameNode

6. 

    HDFSTCP/IPTCPNameNodeClientProtocolNameNodeDataNode使DataNodeProtocolNameNodeClientProtocolDataNodeProtocol(RPC:Remote Procedure Protocol)NameNodeRPCDataNodeRPC

7. 

    NameNodeDataNode(network partitions)NameNodeZooKeeperNameNodeNameNodeDataNodeNameNodeDataNode

8. 

    DataNodeDataNode

9. 

    HDFSDataNode

 

SecondaryNameNode(SNN)

    SNNNameNodeNameNodeNameNodeEditlogFsImageNameNodeNameNode使 

    SNNCPUNameNode线SNNNameNodeNameNode

    SNN

1. fs.checkpoint.period3600s

2. fs.checkpoint.size64MB

 

    HDFSRPC--HDFS

扫码关注我们
微信号:SRE实战
拒绝背锅 运筹帷幄