F-score

${\displaystyle F-score\;\;=\;\;{\frac {(\;1+\beta ^{2}\;)\;precision\;\times \;recall}{\beta ^{2}\;precision\;+\;recall}}}$

${\displaystyle \beta }$是使用者自行定義的參數，由一般式可見F-score能同時考慮precision和recall這兩種數值。分子為precision和recall相乘，根據這個式子，只要precision或recall趨近於0，F-score就會趨近於0，代表著這個演算法的精確度非常低。一個好的演算法，最好能夠平衡recall和precision，且儘量讓兩種指標都很高。所以有一套判斷方式可以同時考慮recall和precision。当${\displaystyle \beta \rightarrow 0}$时，F-score退化为precision；当${\displaystyle \beta \rightarrow \infty }$时，F-score退化为recall。

一般上來說，提到F-score且沒有特別的定義時，是指${\displaystyle \beta =1}$時的F-score，亦有寫作F1-score。代表使用者同樣的注重precision和recall的這兩個指標。其分數可以說是precision和recall的調和平均，式子如下：

${\displaystyle F1-score\;\;=\;\;2\;{\frac {precision\;\times \;recall}{precision\;+\;recall}}}$

F-score最理想的數值是趨近於1，做法是讓precision和recall都有很高的值。若兩者皆為1，使得${\displaystyle 2\cdot {\frac {1}{2}}=1}$，則F-score = 1 （100%），代表該算法有著最佳的精確度。

量測常見的4种情況

前面的true/false修饰后面的positive/negative，后面的positive/negative是我们的方法的判断。

• TP（true positive，真阳性）：我们的方法判断为真，这个判断是对的。即事實上為真，而且被我們的方法判斷為真的情形。
• FN（false negative，假阴性）：我们的方法判断为不真，这个判断是错的。即事實上為真，卻被我們的方法判斷為不真的情形。
• FP（false positive，假阳性）：我们的方法判断为真，这个判断是错的。即事實上不為真，卻被我們的方法誤判為真的情形。
• TN（true negative，真阴性）：我们的方法判断为不真，这个判断是对的。即事實上不為真，而且被我們的方法判斷成不為真的情形。

以抓犯人為例，TP是有罪而且被抓到的情形，FN是有罪但沒被抓到的情形，FP是無罪但被誤抓的情形，TN是無罪且未被誤逮的情形

${\displaystyle precision={\frac {TP}{TP+FP}}=+P\;\;}$ (positive prediction rate)

Precision的分母為兩種判斷為真的情形的總和（范恩圖中完整綠色的部份）

解釋：當辨識結果為FP的代價很高時，F-score應該著重此指標，亦即precision要很高。

例子：辨識電郵信箱里的垃圾郵件時，如果某封被誤判成垃圾郵件（即FP）時，使用者可能就此錯過重要的通知。

${\displaystyle recall={\frac {TP}{TP+FN}}}$

Recall的分母為事實上為真的情形的總和（范恩圖中完整紫色的部份）

解釋：當辨識結果為FN的代價很高時，F-score應該著重此指標，亦即recall要很高。

舉例：一個傳染病診斷辨識系統中，如果某個傳染病患者被誤判成陰性（即FN），當地的社區的居民就落入被傳染的高風險之中。

舉例：真正犯罪的人當中，有多少比例的罪犯被抓到。或，一張照片當中，有多少人臉被偵測到。

• 它們的分子皆為TP。
• F-score的recall和precision之間存在著權衡的關係，可通過 β 調整更重視的部份。

以警察抓犯人的故事為例：

一位警察很厲害，抓了很多犯人，但是這些犯人當中，只有少部分真正有罪，其他都是被冤枉的。

• recall 高，因為該抓與不該抓的犯人都被抓到了。
• precision 低，因為很多都是沒犯罪的人。

「寧可錯抓一百，也不可放過一個」

recall 高，但 precision 低。

一個警察非常嚴謹，只逮捕真正有犯罪的人，不抓實在是沒辦法肯定的犯人。

• precision 高，因為通常被抓到人的都是有罪的。
• recall 低，因為不小心放掉一大群犯人。

「寧可錯放一百，也不可冤枉一個」

precision 高，但 recall 低。