多クラスの評価指標

多クラス予測モデルの評価を行う場合、各クラスに対する TP、TN、FP、FN を計算して、それらの値から指標のマイクロ平均またはマクロ平均を計算する。例えば、k クラスの分類問題において、クラス 1 を positive サンプルとし、それ以外のクラスを negative サンプルとして、TP1、TN1、FP1、FN1 を計算する。続けて、クラス 2、クラス 3、・・・、クラス k についても同様に TPk、TNk、FPk、FNk を計算する。

マイクロ平均

マイクロ平均は TPk、TNk、FPk、FNk の値を一括に使って、指標を計算する。例えば、マイクロ適合率(precision)は次のように計算する。マイクロ平均はデータ全体を考慮して計算される指標であり、データセット全体に対する平等的な評価指標といえる。しかし、各クラスのサンプルの数に偏りが大きい場合、サンプル数の大きいクラスの性能が全体の性能を代表してしまう可能性がある。

\[ precision_{micro} = \frac{\sum_{i}^{k}TP_{i}}{\sum_{i}^{k}(TP_{i} + FP_{i})} \]

マクロ平均

マクロ平均適合率は、各クラスに対してまず適合率 precision1、precision2、・・・、precisionk を計算し、次にこれらの precision の平均を計算する。マクロ平均は各クラスの評価指標の平均を計算しているため、各クラスの平均の評価指標を表している。各クラスにサンプル数に偏りがあっても、各クラスが公平に扱われる。

\[ precision_{macro} = \frac{\sum_{i}^{k}precision_{k}}{k} \]