當前位置:名人名言大全網 - 端午節短信 - HDFS架構與四種機制

HDFS架構與四種機制

HDFS:分布式文件系統。用於存儲文件和通過目錄樹定位文件。多臺服務器組合在壹起實現各自的功能,集群中的服務器各司其職。適用於壹次寫入多次讀取,不支持文件修改。適合數據分析,不適合網盤應用。

NameNode:

DataNode:

客戶:

輔助NameNode

HDFS中的文件以物理方式存儲在數據塊中,fast大小可以通過配置參數(dfs.blcoksize)指定。在Hadoop2.x中默認大小為128M,在舊版本中為64M。

DataNode定期向NameNode發送心跳報告以通知其狀態。

心跳內容:

心跳報告周期

NameNode判斷DataNode停機時間的基準:

連續10次未收到dataNode的心跳信息,檢查時間為兩次。

NameNode判斷DataNode宕機的基準:連續10次沒有收到dataNode的心跳信息,以及兩次檢查。

Check time:表示當NameNode沒有收到DataNode的心跳時,此時會主動向DataNode發送檢查。

HDFS啟動時將首先進入安全模式,並在滿足指定要求時退出安全模式。在安全模式下,您不能執行任何修改元數據信息的操作。

HDFS元數據介紹(三部分):

HDSF元數據的存儲位置:

手動退出或進入安全模式。

集群啟動後:

每個文件的數據分塊存儲,每個數據塊有多個副本,分布在不同的機器節點上。默認情況下,每個數據有3份拷貝。

在實際生產中需要手動配置機架策略。

每個節點上存儲的數據百分比相差不大。

群集將具有自動負載平衡操作,傳輸速度相對較慢,這在節點較少時是可能的。

如果集群很大,則需要手動負載平衡。當集群空閑時執行。