GBMアルゴリズム

boostingはどのように動作しますか?
Boostingは一連の弱い学習因子(weak learners)を結合して全体モデルの予測精度を向上させることができる.任意の時間tにおいて、t−1の時点で得られた結果に基づいて、現在の結果に重みを与える.以前に正確に予測した結果はより小さな重みを得,誤って分類した結果はより大きな重みを得た.回帰問題の処理方法も似ている.
GBMパラメータ
総じて、GBMのパラメータは、以下の3つに分類することができる.

ツリーパラメータ:モデル内の各決定ツリーの性質を調整する

Boostingパラメータ:調整モデルにおけるboostingの動作

その他のモデルパラメータ:モデル全体の各動作を調整する

簡単なGBM二分類疑似コード:

1.           
2.            ：
    2.1                      （            ）
    2.2          
    2.3                
    2.4              
3.       

パラメータの一般的な方法
前に述べたように、私たちが調整するパラメータは2種類あります.ツリーパラメータとboostingパラメータです.learning rateには特別な調節方法はありません.私たちが訓練した木が十分であれば、learning rateはいつも小さい値がいいからです.
ツリーの増加を決定するにつれてGBMが明らかに過度にフィットすることはなく、高learing rateはこの問題を引き起こすが、learning rateをひたすら減少させ、ツリーを増やすと、計算が非常に高価になり、長時間実行する必要がある.

相対的に少し高いlearning rateを選択します.一般的なデフォルト値は0.1ですが、異なる問題に対して、0.05から0.2の間に

があります.

は、現在のlearning rateの下で最適な決定ツリーの数を決定する.その値は40～70の間でなければなりません.コンピュータが迅速に動作する値を選択してください.その後、これらのツリーは多くのテストとパラメータ

を調整するために使用されます.

は次に、learning rateおよびツリーの数を調整するためにツリーパラメータを調整する.決定ツリー

を定義するために異なるパラメータを選択することができる.

learning rateを低減するとともに、対応する決定ツリーの数を増加させ、モデルをより安定化させる

.