真人还是 AI 创作?研究:目前无可靠方法检测 AI 生成文本

真人还是 AI 创作?研究:目前无可靠方法检测 AI 生成文本

随着 ChatGPTBard 等聊天机器人流行,并出产许多以 AI 生成的内容,目前学界开始找寻能检测出机器生成文本的方法。

美国马里兰大学 5 位电脑科学家 Vinu Sankar Sadasivan、Aounon Kumar、Sriram Balasubramanian、Wenxiao Wang 和 Soheil Feizi 最近研究了检测大型语言模型生成的文本,并将结果写成一篇名为《AI 生成文本能可靠地检测出来吗?》(Can AI-Generated Text be Reliably Detected?)的论文中详细介绍。

随后研究人员发现,“我们从理论和经验上表明,这些最先进的检测器在实际场景中无法可靠地检测出 LLM 模型输出”,由于机器学习的模型不断改进,越来越能模仿人类的方式输出内容,因此 LLM 输出检测可能相当困难。

研究人员认为,如果无节制的使用这些模型,可能导致不良后果,如复杂的垃圾邮件、操纵性假新闻、不准确的档案摘要和剽窃问题。更重要的是,这些技术已经被整合到主要科技公司的应用程式中。

事实证明,LLM 的文本输出可以从简单的单字替换成是完成,来逃避检测,这使得检测器的准确性从 97% 降至 80%、甚至是57%。该论文指出,只要在生成性文本的模型上使用轻度的转述器,就能够破坏整个检测器的范围。

在询问是否有更可靠的方法来检测 LLM 生成文本时,马里兰大学电脑科学助理教授、该论文共同作者之一Soheil Feizi 认为没有,我们的结果指出 AI 生成的文本检测问题在实际场景中的不可能性。

Feizi 表示,“我们可能永远无法可靠地说出一个文本是由人类还是 AI 写的,但相反地,我们可能透过其他讯息验证文本‘来源’,如许多社群平台开始广泛验证帐户,这能有效使 AI 产生的错误讯息传播更加困难。”

  • No reliable way to detect AI-generated text, boffins sigh

(首图来源:shutterstock)

延伸阅读:

  • OpenAI 创办人:不会开源 AI 模型以免遭错误利用
  • 最新 AI 生成文本技术 GPT-4 升级程度?专家:超级多语言的口译员

   特别声明    本页内容仅供参考,版权终归原著者所有,若有侵权,请联系我们删除。