作者 | Antonio 编辑:陈彩娴
ACL 2022已经于近期正式在官网上刊登了录取的文章,其中涉及到词义消歧(Word Sense Disambiguation,WSD)的文章共有4篇,参考下图的查询。
WSD是指识别出有多个义项的目标词汇在上下文中的含义,是NLP中一个重要并且具有NP-hard复杂度的任务,不仅可以帮助机器更好地识别词汇语义,还对机器翻译、文本理解等下游任务起到辅助作用。
本文简要整理并介绍其中已经公布了论文全文的前三篇,值得注意的是,这三篇都出自同一个课题组,即来自意大利罗马一大的Sapienza NLP,导师为Roberto Navigli。
(ACL 22上关于WSD的论文)
1
WSD真的超过了人类性能了吗?
论文题目:Nibbling at the Hard Core ofWord Sense Disambiguation
下载链接:https://www.researchgate.net/publication/359468349_Nibbling_at_the_Hard_Core_of_Word_Sense_Disambiguation
本文是一篇评测以往的WSD方法的分析型论文,并根据对于当前方法的不足,提出了更加富有挑战性的数据集和评测指标。具体而言:
1、文章从定性和定量两个方面,仔细分析了7个当前最SOTA的模型都会存在的一些错误和偏差。这些模型都是经典模型,并且在当时达到过最佳性能。它们分别是基于判别式的ARES,BEM,ESCHER(当前SOTA),EWISER,GlossBERT;基于生成式的Generationary;和无监督训练的SyntagRank模型。值得注意的是,这7个模型中有5个模型是属于Roberto课题组。
考虑到理想的模型应该表现得和人类类似的假设,现有模型在WSD上犯得很多错误是低级和违背常识的。例如下面的例子:
2、除了准确率,文章定义了四种全新的评价指标,用来衡量频率和词义的关系,它们分别是:Sense Frequency Index Influence(SFII),Sense Polysemy Degree Importance(SPDI),Most and More Frequent Senses相关的两个MFS和MFS+。
3、文章比较了5类SOTA的机器翻译系统,包含两类商业系统:DeepL Translator,Google Translator和三类非商业模型,包含:OPUS,MBart50和M2M100。它们在五类语言上的分类结果参考下图: