[2章]機械学習-モデル評価(クロス検証)

クロス検証

モデルを評価する方法の1つは、トレーニングセットをより小さなトレーニングセットと検証セットに分割し、より小さなトレーニングセットでモデルを訓練し、検証セットを使用してモデルを評価することである.

skleanクロス検証機能方法

from sklearn.model_selection import cross_val_score
scores = cross_val_score(model,prepared_data,labels,
scoring='neg_mean_squared_error',cv= 10) 

次のコードは、「k再交差検証」(k-fold cross-validation)を実行し、トレーニングセットをランダムに10個のサブセット(foldと呼ばれる)に分割します.次に、決定ツリーモデルを10回トレーニングおよび評価し、評価のために異なるフォルダを選択するたびに、残りの9つのフォルダをトレーニングに使用します.結果は10個の評価点数の配列であった.
CAUTION)セキレンのクロス検証機能は,スコアパラメータが費用関数ではなく効用関数であることを期待する.そこで,平均二乗誤差(MSE)のギャップ値(すなわち負の値)を計算するneg mean squared error関数を利用する.このため,前のコードで平方根を計算する前に−スコアで記号を置き換えた.