是 AI 还是人类写的,研究:连顶尖语言学家都无法辨识

▼
AI 代替人类写研究摘要已渗透权威期刊,一项研究发现,一些研究摘要连全球顶尖语言学专家也无法辨识,判断AI 是否正确率仅38.9%,但研究人员认为,人类作家的一线生机是写长文,因AI 写长文时容易自曝其短。
发表于《应用语言学研究方法》期刊的研究揭露 AI 产生文章与人类写作有极高相似度。作者想知道,是否语言学家能辨识人类或 AI,找来72 名顶尖语言学专家审查各种研究摘要,确认这些摘要是 AI 还是人类写的。
每位专家检查四个写作样本,结果居然没有人正确辨识四个样本,甚至有 13% 全部认错。语言学家利用熟悉的语言基本原理判断文章,如辨识某些语言和文体特征,但都失败了,总体正确率只有 38.9%。
研究作者也问语言学家,区分 AI 或人类写作的原则是什么,都分享非常合逻辑的理由,但结果显示理由不准确或不一致。作者担忧,若专业语言学家都无法辨识AI 或人类,老师更无法区分学生作业是自己写的或AI 代劳。
即使有 AI 文章检测工具,如 OpenAI 检测 AI 产生内容的工具,但都没有证明能可靠区分 AI 或人类。华顿商学院教授表示,到目前为止,AI 写作无法检测,且很可能持续一段时间,他还呼吁市面上所谓AI 文章检测工具错误率很高,不应该使用。
人类优势在写长篇文章
作者认为,AI 通常不会犯语法错误,ChatGPT 可像多数人写短文,甚至比人类更好。但人类也不必停笔,因人类的一线希望在于长文,AI 只要处理长篇文章就容易产生自编自导内容,更容易识破。
除了编造内容,AI 产文也不是完全没有破绽。某些权威期刊接受 AI 内容,但要求作者公开透明,然最近愈来愈多研究员用 ChatGPT 写论文,却未据实以报。某法国研究员发现许多论文是电脑写的,出版商 Springer 和 IEEE 因此从订阅服务删除 120 多篇论文。经同行评审的期刊也撤下未如实禀报使用 AI 工具撰写的论文。
这些文章都是因特定用语被发现。专家认为,AI 内容通常会留下足迹,如含特定语言模式或奇怪措辞,如使用假意识、深刻的神经组织和海量讯息等术语代替人工智慧、深度神经网络和大数据等词,还有人连 ChatGPT 提示词“Regenerate response”都忘记删除,若有这些痕迹,就明显不是人类写作。但专家也承认,如果研究员删除光光机器破绽,AI 机器人写的文章就几乎不可能发现。
- Scientific sleuths spot dishonest ChatGPT use in papers
- AI vs. Human Writing: Experts Fooled Almost 62% of the Time
- Publishers withdraw more than 120 gibberish papers
(首图来源:Pixabay)
▼

特别声明 本页内容仅供参考,版权终归原著者所有,若有侵权,请联系我们删除。