yarn fairスケジューラの問題

680 ワード

公平なスケジューラを使用して、ユーザーの運行作業の大きさを設定します.
<userMaxAppsDefault>30</userMaxAppsDefault>
60個の作業を同時に提出して、作業がずっとカードされていることを発見しました.分析してみると、amが大部分の資源を占有していることが分かりました.
http://tech.uc.cn/?p=333
amのリソースサイズを変更します.
-Dyarn.app.mapredeuce.am.resource.mb=200-Dyarn.app.mapredieuce.am.co mmand-opts=「-Xmx 200 m」問題は解決したが、完璧とは言えない.
capacityスケジューラには構成パラメータがあります.
<name>yarn.scheduler.capacity.maximum-am-resource-percent</name>
各amの資源比率を制限できます.この配置は知能的です.
公平スケジューラに対しては、キューとユーザの最大運転ジョブ数を設定することによって知能が制限される.この設定パラメータはクラスタリソースに基づいて設定します.
公平なスケジューラが対応するパラメータが現れることを期待します.  自分で手を下して衣食に不自由しない.