Fair Schedulerキュー設定経験まとめ

Fair Schedulerキュー設定経験まとめ
会社のhadoopクラスタのコンピューティングリソースが十分ではないため、yarnリソースキューを開くリソースプリエンプトが必要です.使用中に、リソースのプリエンプトの特徴がわかります.ここでまとめてみます.

では、設定された最小リソースよりも1つのキューのリソースが小さい場合にのみ、リソースプリエンプトが開始されます.

は、すべてのリソースキューの最小リソースの和がクラスタのリソース総量以下である限り合理的である.最小リソースの和がクラスタのリソース総量よりも大きく、リソース優先モードがオンになっている場合、リソーススケジューリングはリソース優先モードに停止しません(このような論理はもちろん不合理です).

すべてのキューの最大リソース構成の和がクラスタのリソース総量より大きいことができるのは合理的な

である.

各キューの最大リソース構成は、クラスタのリソース総量以下であれば合理的である.

次に、構成例を示します.

  drf
  300
  
     0 mb, 0 vcores
     0
     0.0
  
  
     24000 mb, 12 vcores
     48000 mb, 24 vcores
     12
     3.0
  

  
     12000 mb, 6 vcores
     24000mb, 12 vcores
     6
     2.0
  

  
     12000 mb, 6 vcores
     24000 mb, 12 vcores
     6
     1.0
  
  
       
  5 

  
  
    
    
    
    
    
    
    
  

この例では、3つのリソースキューdefault、online、develop、biの4つのキューがあります.クラスタには24 core、48 Gメモリがあります.

           ：
default： 0% - 0%
online:   50% - 100%
develop:  25% - 50%
bi:       25% - 50%

この例の最小リソースの和は100%であり、最大リソースの和はリソース総量より大きく、最大値は実際の状況に応じて区分することができる.例えば、オンラインではオンラインリソースを優先的に保証するため、onlineキューの最小リソース割合は70%、最大は100%です.develop、biの最小リソースは0であり、緊急時にonlineが100%のリソースを奪うことを保証することができます.

           ：
default： 0% - 0%
online:   70% - 100%
develop:  0% - 50%
bi:       0% - 50%

上はFair Schedulerリソース分割の経験です.次はfair-Schedulerをまとめます.xmlは、各プロパティの説明を構成します.
(二)schedulingPolicyの理解

fair

(三)queuePlacementPolicyの理解

(四)fair-scheduler.xmlは、各プロパティの説明を構成します.
転載先:https://www.cnblogs.com/honeybee/p/6027996.html