是 AI 还是人类写的,研究:连顶尖语言学家都无法辨识

是 AI 还是人类写的,研究:连顶尖语言学家都无法辨识

AI 代替人类写研究摘要已渗透权威期刊,一项研究发现,一些研究摘要连全球顶尖语言学专家也无法辨识,判断AI 是否正确率仅38.9%,但研究人员认为,人类作家的一线生机是写长文,因AI 写长文时容易自曝其短。

发表于《应用语言学研究方法》期刊的研究揭露 AI 产生文章与人类写作有极高相似度。作者想知道,是否语言学家能辨识人类或 AI,找来72 名顶尖语言学专家审查各种研究摘要,确认这些摘要是 AI 还是人类写的。

每位专家检查四个写作样本,结果居然没有人正确辨识四个样本,甚至有 13% 全部认错。语言学家利用熟悉的语言基本原理判断文章,如辨识某些语言和文体特征,但都失败了,总体正确率只有 38.9%

研究作者也问语言学家,区分 AI 或人类写作的原则是什么,都分享非常合逻辑的理由,但结果显示理由不准确或不一致。作者担忧,若专业语言学家都无法辨识AI 或人类,老师更无法区分学生作业是自己写的或AI 代劳。

即使有 AI 文章检测工具,如 OpenAI 检测 AI 产生内容的工具,但都没有证明能可靠区分 AI 或人类。华顿商学院教授表示,到目前为止,AI 写作无法检测,且很可能持续一段时间,他还呼吁市面上所谓AI 文章检测工具错误率很高,不应该使用。

人类优势在写长篇文章

作者认为,AI 通常不会犯语法错误,ChatGPT 可像多数人写短文,甚至比人类更好。但人类也不必停笔,因人类的一线希望在于长文,AI 只要处理长篇文章就容易产生自编自导内容,更容易识破。

除了编造内容,AI 产文也不是完全没有破绽。某些权威期刊接受 AI 内容,但要求作者公开透明,然最近愈来愈多研究员用 ChatGPT 写论文,却未据实以报。某法国研究员发现许多论文是电脑写的,出版商 Springer IEEE 因此从订阅服务删除 120 多篇论文。经同行评审的期刊也撤下未如实禀报使用 AI 工具撰写的论文。

这些文章都是因特定用语被发现。专家认为,AI 内容通常会留下足迹,如含特定语言模式或奇怪措辞,如使用假意识、深刻的神经组织和海量讯息等术语代替人工智慧、深度神经网络和大数据等词,还有人连 ChatGPT 提示词Regenerate response”都忘记删除,若有这些痕迹,就明显不是人类写作。但专家也承认,如果研究员删除光光机器破绽,AI 机器人写的文章就几乎不可能发现。

  • Scientific sleuths spot dishonest ChatGPT use in papers
  • AI vs. Human Writing: Experts Fooled Almost 62% of the Time
  • Publishers withdraw more than 120 gibberish papers

(首图来源:Pixabay)

   特别声明    本页内容仅供参考,版权终归原著者所有,若有侵权,请联系我们删除。