合奏する

組合せ技術は、より良い性能を得るために複数の分類モデルを組み合わせた方法である.

ジョギング

ガイドバー(bootstarp)と集約(aggregating)の語源から、複数の分類モデルを作成し、それらを異なる学習データとして学習し、投票によって最高の予測値で最終的な結論を下す組合せ方法.

ジョギングでは、枝を剪定することなく、最大の意思決定ツリーを使用できます.

ジョギングは訓練資料を募集団と見なし、平均予測モデルを求めることで分散を減らし、予測能力を高めることができる.

ガイドテープ

ガイドバーは、データを小さな偏差サンプリングする方法です.一般に、決定ツリーなどの拡大しやすいモデルを組み合わせる場合に使用されます.

課適合モード→学習データ分散度が高く偏向性が小さいモード→学習時精度が高いが学習に用いられなかったデータ分類精度が低いモード

オフセット量が増加し、高分散モデルの過剰使用リスクが低減
ガイドバーは,与えられた資料において単純ランダム復元抽出法を用いて,同じ大きさの複数の標本を生成するサンプリング法である.ガイドバーによって100個のサンプルが抽出されても、サンプル全体の約36.8%を占めるサンプル中で選択されたことのない元のデータが生成される可能性がある.

連絡

図形描画ゲートは、複数の分類モデルの予測値を組み合わせて結論を出すプロセスです.

ソース-https://injo.tistory.com/22

硬支持→重み付けなしで最高票数を得る方法

ソフト見積→全分類値を返す確率で、各分類値の重み付け値を点数として結論を出す方法

.

ランダム森林

ランダムツリーは,複数の決定ツリーを記録することによって予測を実行するモデルである.

決定ツリーは最適フィーチャー分岐ツリーを使用し、ランダムツリーは各ノード上の所与のデータをサンプリングすることによって、特定のデータを除外した場合に最適フィーチャーと分岐ツリーを見つけます.
このプロセスは、モデルのオフセットを増加させることによって、過剰なマッチングのリスクを低減します.

開始

タグは、異なるアルゴリズムに基づく複数の分類器の並列学習であり、ブートは、同じアルゴリズムの分類器を順次学習することによって複数の分類器を作成し、テスト時に重み付け投票によって予測値を決定する.

逐次漸進的な学習

最初の意思決定ツリーを学習した後、テスト結果の分類が不十分な場合は、男子学生の学習データを追加した後、2番目の意思決定ツリーを学習してください.これは,3番目のモデルを学習する際に,結果に基づいて学習データを増強し,順次組み合わせる方法である.

重み付け投票

一票の価値の異なる投票.
多数決ではなく、各分類の精度を加算して計算する方式です.

#하드보팅
voting_clf = VotingClassifier(estimators=[
    ('decision_tree', dtree), ('knn', knn), ('svm', svm)], 
    weights=[1,1,1], voting='hard').fit(X_train, y_train)
hard_voting_predicted = voting_clf.predict(X_test)
accuracy_score(y_test, hard_voting_predicted)

#소프트보팅
voting_clf = VotingClassifier(estimators=[
    ('decision_tree', dtree), ('knn', knn), ('svm', svm)], 
    weights=[1,1,1], voting='soft').fit(X_train, y_train)
soft_voting_predicted = voting_clf.predict(X_test)
accuracy_score(y_test, soft_voting_predicted)

出典:私の最初の機械学習/深さ学習-許民錫、データ分析専門家ガイド