基本評估算式

  1. 準確率 Accuracy = (TP+TN)/(TP+TN+FP+FN);
  2. F-Score——召回率和精確度的調和平均數,被證明是最相關的評估指標

F-score = 2TP/ (2TP + FP + FN); OR F-score = 2(Sensitivity*Precision)/(Sensitivity+Precision)

  1. 假陽性率 The false positive rate = FP/(FP+TN);
  2. 假陰性率 The false negative rate = FN/(FN+TP);
  3. 精確度 Precision = TP/(TP+FP);
  4. 敏感性 Sensitivity(Recall) = TP/(TP+FN);
  5. 特異度 Specificity = TN/(TN+FP);

機器學習與深度學習的效能衡量指標 - 图1
在跌倒偵測中的判斷情境:
先判讀第二個字母,P/N:預測為陽性(跌倒)/陰性(沒有跌倒)。在判讀第一個字母,T/F:預測正確/錯誤。
P:陽性 N:陰性 T:判斷正確 F:判斷錯誤

  • TP:預測為跌倒,預測正確(實際跌倒)。
  • FP:預測為跌倒,預測錯誤(實際沒有跌倒)。
  • FN:預測沒有跌倒,預測錯誤(實際跌倒)。
  • TN:預測沒有跌倒,預測正確(實際沒有跌倒)。

ROC曲線

ROC(Receiver operator characteristic):在各種『決策門檻』(decision threshold)下,比較『真陽率』(True Positive Rate;TPR)與『假陽率』(False Positive Rate;FPR)間的變化。
機器學習與深度學習的效能衡量指標 - 图2 機器學習與深度學習的效能衡量指標 - 图3
在各種門檻下計算真陽率及假陽率,作為樣本點,將所有樣本點連成一線,即ROC曲線,因此,這條線越接近上方,表示真陽率越高,即判斷正確的比率越高,換句話說,ROC曲線下方覆蓋的面積(AUC)越大,表示效能越好。以上就是ROC/AUC 曲線的精髓。