当前位置: 首页 > 网络应用技术

了解NLP中文关系论文中的IGN_F1指标

时间:2023-03-07 13:47:05 网络应用技术

  因为IGN_F1参数解释的内容是相同的,并且不容易理解

  所以我问兄弟YX兄弟

  在这里,我特别感谢1107实验室兄弟YX

  F1是准确和召回率的混合平均值(为下部准备)

  对于支票率,支票率和召回价值,它不会引入更多

  我认为Internet上的所有解释都是:表明不包括培训集中关系事实的F1分数,验证集和测试集中。

  那我会给你一点白话:

  IGN_F1的说明仍然需要与DOCRED数据集结合

  DOCRED数据集包含3,053/1,000/1,000实例,对应于培训/验证/测试

  识别3053中的实体并提取实体对。

  例子:

  北京是中国的首都

  我们可以提取<北京,首都,中国>这种关系

  但这只是在培训集中

  1000测试集可能有这句话

  王王来自中国,他来自北京

  我们可以提取<北京,城市,中国>这种关系

  然后(重点是)

  在测试集中提取关系

  我们已经在培训集中知道北京和中国之间的关系(关系与之相关,必须有关系)

  它可能导致F1的检查率和准确性,召回值将影响

  为了消除上帝观点的隐藏危险

  计算IGN_F1时,我们删除已知关系(训练集中的事实)

  这样,当计算IGN_F1时,获得的结果更为真实

  例如,我最近阅读的文章中有这个实验结果

  我们可以看到F1的值高于IGN_F1的值

  我想这可能是上述情况的影响。

  IGN_F1我目前仅在文档提取的论文中看到 - 级别的关系

  (我读的论文可能太少了)

  如果我没有理解,请直接指出!

  对于IGN_F1的代码,请等待我在文章后面写作之前理解它

  原始:https://juejin.cn/post/70955629295231012