當前位置:名人名言大全網 - 端午節短信 - Hadoop MapReduce優化和資源調度程序

Hadoop MapReduce優化和資源調度程序

將所有應用程序放在壹個隊列中。

限制

所有資源按比例分成不同的隊列。

每個隊列可以實現壹個單獨的調度策略。

優勢

分配器

產能計劃表

在yarn-site.xml設置中使用CapacityScheduler。

在Hadoop配置文件目錄/usr/local/hadoop/etc/hadoop中創建capacity-scheduler.xml,並添加以下信息:

配置描述

公平調度程序

公平調度器的目的是:

公平調度程序配置方法

在Hadoop配置目錄/usr/local/Hadoop/etc/Hadoop yarn-site . XML中添加以下信息:

使用以下信息創建壹個新的公平調度配置文件fair-scheduler.xml:

上面的配置使用data_bi用戶名作為公平調度的隊列名。

yarn-site.xml的參數描述

Fair-scheduler.xml參數描述

將所有應用程序放在壹個隊列中。

所有資源按比例分成不同的隊列。

每個隊列可以實現壹個單獨的調度策略。

優勢

分配器

產能計劃表

在yarn-site.xml設置中使用CapacityScheduler。

在Hadoop配置文件目錄/usr/local/hadoop/etc/hadoop中創建capacity-scheduler.xml,並添加以下信息:

配置描述

公平調度程序

公平調度器的目的是:

公平調度程序配置方法

在Hadoop配置目錄/usr/local/Hadoop/etc/Hadoop yarn-site . XML中添加以下信息:

使用以下信息創建壹個新的公平調度配置文件fair-scheduler.xml:

上面的配置使用data_bi用戶名作為公平調度的隊列名。

yarn-site.xml的參數描述

Fair-scheduler.xml參數描述

如果Hadoop啟動,兩個命名節點都無法啟動,namenode日誌會顯示以下錯誤:

Hadoop HDFS是使用root啟動的,因此Hadoop用戶無法訪問該文件,因此可以采取以下操作來恢復它。