因为IGN_F1参数解释的内容是相同的,并且不容易理解
所以我问兄弟YX兄弟
在这里,我特别感谢1107实验室兄弟YX
F1是准确和召回率的混合平均值(为下部准备)
对于支票率,支票率和召回价值,它不会引入更多
我认为Internet上的所有解释都是:表明不包括培训集中关系事实的F1分数,验证集和测试集中。
那我会给你一点白话:
IGN_F1的说明仍然需要与DOCRED数据集结合
DOCRED数据集包含3,053/1,000/1,000实例,对应于培训/验证/测试
识别3053中的实体并提取实体对。
例子:
北京是中国的首都
我们可以提取<北京,首都,中国>这种关系
但这只是在培训集中
1000测试集可能有这句话
王王来自中国,他来自北京
我们可以提取<北京,城市,中国>这种关系
然后(重点是)
在测试集中提取关系
我们已经在培训集中知道北京和中国之间的关系(关系与之相关,必须有关系)
它可能导致F1的检查率和准确性,召回值将影响
为了消除上帝观点的隐藏危险
计算IGN_F1时,我们删除已知关系(训练集中的事实)
这样,当计算IGN_F1时,获得的结果更为真实
例如,我最近阅读的文章中有这个实验结果
我们可以看到F1的值高于IGN_F1的值
我想这可能是上述情况的影响。
IGN_F1我目前仅在文档提取的论文中看到 - 级别的关系
(我读的论文可能太少了)
如果我没有理解,请直接指出!
对于IGN_F1的代码,请等待我在文章后面写作之前理解它
原始:https://juejin.cn/post/70955629295231012