美媒：AI可能被精心编辑过的词语迷惑 会产生严重影响

源自：参考消息

---

原文标题：美媒：AI可能被精心编辑过的词语迷惑 会产生严重影响 来源：参考消息网

　　参考消息网2月24日报道 美媒称，人工智能（AI）最近在理解语言方面取得了巨大进步，但它仍然可能出现一种令人担忧、甚至可能十分危险的算法，即改动一个单词就可能改变人工智能程序评价求职者或评估医疗理赔的方式。
　　据美国连线杂志网站2月23日报道，研究表明，分析文本的人工智能程序可能被精心编制的短语所迷惑和欺骗。对你我来说似乎直截了当的一句话可能拥有欺骗人工智能算法的奇特能力。
　　报道称，麻省理工学院研究生金迪（音）与来自香港大学和新加坡科技研究局的研究人员开发出了一种可以欺骗基于文本的人工智能程序的技术。金迪（音）说，如果这种“对抗的例子”被用来欺骗金融或医疗领域的自动化系统，结果可能会尤为有害，因为“这些领域哪怕是很小的变化都可能带来很多麻烦”。
　　金迪（音）和同事们设计出一种算法，它能在不改变文本含义的情况下欺骗人工智能系统。该算法使用人工智能来建议哪些单词应该转换成同义词，以此欺骗机器。
　　研究人员利用几种流行的算法和数据集检验了他们的方法，他们能够将一种算法的准确率从90%以上降低到10%以下。然而，人们一般认为修改后的短语具有同样的含义。
　　报道指出，机器学习是通过在数据中发现细微的模式来进行的，其中许多模式是人类无法察觉的。这使得基于机器学习的系统很容易遭遇一种奇特的困惑。例如，对直升机图像中的像素进行细微调整可以令程序误以为它是一只狗。最具欺骗性的调整可以通过人工智能来进行，它利用的是一个与最初训练算法所用过程相关的过程。当算法被用于在计算机安全和军事系统中做出关键决策时，利用人工智能“智胜”其他人工智能可能造成严重影响。（编译/李莎）