NameNode:
DataNode:
客戶:
輔助NameNode
HDFS中的文件以物理方式存儲在數據塊中,fast大小可以通過配置參數(dfs.blcoksize)指定。在Hadoop2.x中默認大小為128M,在舊版本中為64M。
DataNode定期向NameNode發送心跳報告以通知其狀態。
心跳內容:
心跳報告周期
NameNode判斷DataNode停機時間的基準:
連續10次未收到dataNode的心跳信息,檢查時間為兩次。
NameNode判斷DataNode宕機的基準:連續10次沒有收到dataNode的心跳信息,以及兩次檢查。
Check time:表示當NameNode沒有收到DataNode的心跳時,此時會主動向DataNode發送檢查。
HDFS啟動時將首先進入安全模式,並在滿足指定要求時退出安全模式。在安全模式下,您不能執行任何修改元數據信息的操作。
HDFS元數據介紹(三部分):
HDSF元數據的存儲位置:
手動退出或進入安全模式。
集群啟動後:
每個文件的數據分塊存儲,每個數據塊有多個副本,分布在不同的機器節點上。默認情況下,每個數據有3份拷貝。
在實際生產中需要手動配置機架策略。
每個節點上存儲的數據百分比相差不大。
群集將具有自動負載平衡操作,傳輸速度相對較慢,這在節點較少時是可能的。
如果集群很大,則需要手動負載平衡。當集群空閑時執行。