Micro & Macro 评价指标

Positive/Negative 表示预测的正负

True/False 表示预测是否正确

Precision: 而macro-F1和micro-F1,宏观F1值和微观F1值,考虑的是在多标签(Multi-label)情况下,分类效果的评估方式。

比如Multi-label 性别男或女(0/1)以及是否是学生(0/1);当然Multi-class也可以通过一定的编码方式转化为Multi-label,如原始类别1,2,3,4,独热编码后可用四元向量表示[0,1,0,0]即表示类标2。

macro-F1和micro-F1正是基于分类目的的多样性,将只适用于Binary分类的F1值推广了:

micro-F1:

统计各个类标的TP、FP、FN、TN,加和构成新的TP、FP、FN、TN,然后即可计算micro-Precision和micro-Recall,得到micro-F1

macro-F1: F1macro

统计各个类标的TP、FP、FN、TN,分别计算各自的Precision和Recall,得到各自的F1值,然后取平均值得到macro-F1

从上面二者计算方式上可以看出,macro-F1平等地看待各个类别,它的值会受到稀有类别的影响;而micro-F1则更容易受到常见类别的影响。

Hits at k (H@k):

The rate of correct entities appearing in the top k entries for each instance list. This number may exceed 1.00 if the average k-truncated list contains more than one true entity.