TIL|誤差行列

AIFFELノードでエラーマトリクスが発生したことがありますが、よくわからないので整理しておきたいと思います.
整理してから何度か見ると、一度は理解しなくても正確に理解できるでしょう…思う気持ち

ごさぎょうれつ

分類器のテストセット性能を評価するマトリクスは、混同マトリクスとも呼ばれる.행:実際のクラス열:予測クラス

予測されるクラス値と実際のクラス値によってTRUEとFALSEに区分される

モデル予測性能の誤りを決定するために,真陰性,偽陰性,偽陰性および真陽性に分類した.

				[https://kimdingko-world.tistory.com/173]

TN:予測値が負、実績値が負→間違い!

FP:予測値Positive、実績値Negative→間違い!→ 문제!!

FN:予測値はマイナス、実績値はプラス→ミス!→ 문제!!

TP:予測値Positive,実績値Positive→正解!

性能指標

誤差行列による性能指標は以下の通りである.

せいど

感度、Recall(再現率)

Precision(精度)

とくしゅせい

AUC

F1-score

Accuracy

予測値の中でどの程度正確に予測される指標を決定します.
予測精度が高いほど.
TP+TNTP+TN+FP+FN\frac{TP+TN}{TP+TN+FP+FN}TP+TN+FP+FNTP+TN​
しかし,データから精度だけでモデルの性能を判断することは困難である.
では、どのような場合に精度だけを使用し、他の指標を使用すべきか.
この基準はデータの均衡度を基準としている.
使用するデータが不均衡であれば、正確性だけでなく、他の指標を総合的に考慮して性能を判断しなければならない.

バランスデータ(バランス)→精度を目安にしても良い

アンバランスデータ(アンバランス)→正確性のみで性能Xを判断し、他の指標も一緒に見る

Sensitivity

Recall値は、実際の位置の予測がどれほど良いかを示します
TPTP+FN\frac{TP}{TP+FN}TP+FNTP​

🤔 例として考える

の患者を予測するモデルが確立されたと仮定する.

実際患者予測患者→TP

実患者の予測値→FN

感度:実際の患者の結果値

のみを表示
したがって、本例における感度は、実患者の予測値において実患者の値に合致することを示す指標である.→真患者(Actual Positive)標準

の例を理解し、式を再試行します.

Precision

予測が正の実際の割合
TPTP+FP\frac{TP}{TP+FP}TP+FPTP​

🤔 例として考える

位に示すように,どの人が患者であるかを予測するモデルを確立した.

実際患者予測患者→TP

患者の予測値→FP

精度:モデルのみを見て患者の値と予測した

したがって、この例での精度は、モデルが患者の値として予測した実際の患者の値を示す指標である.→モデル予測による患者(Predict Positive)基準

の例を理解し、式を再試行します.

Specificity

実際の予測値がどれほど高いかを示す指標です.
TNFP+TN\frac{TN}{FP+TN}FP+TNTN​

🤔 例として考える

位に示すように,どの人が患者であるかを予測するモデルを確立した.

患者の予測値→FP

患者は患者の予測値ではない→TN

特異度:非実際の患者のデータを表示する

なので、この例の特異度は、実際の患者ではない人が患者ではない指標をよく予測しているのではないでしょうか.→非現実患者(Actual Negative)標準

の例を理解し、式を再試行します.

F1 Score

アンバランス分類問題では評価尺度としてよく用いられる.
感度とPrecisionによる調整平均の構築
2∗Sensitivity∗PrecisionSensitivity+Precision2 *\frac{Sensitivity * Precision}{Sensitivity + Precision}2∗Sensitivity+PrecisionSensitivity∗Precision​

なぜアンバランスデータを調和平均するのか

大きい値の重みを小さくする

ウェイト値を小さい値に調整

上記プロセスによる相対的な大きさの違いの相殺

参考資料

この文章は以下のリンクの資料を参考にして書かれています.
[機械学習完璧ガイド]誤差マトリクス
分類性能-誤差行列(混同行列)と精度(精度)、再現率(リコール)、F 1 score(F-measure)
Confusion Matrixの理解が容易