论文宣称 GPT-4 通过 MIT 课程，被爆研究造假

▼

近日一篇论文宣称大型语言模型 GPT-4 能通过麻省理工学院的数学和 EECS（Electrical Engineering and Computer Science）课程获得满分成绩，受到专业学者检视后却被发现使用不当数据资料来源，并且反复给予提示以获得预期结果，令学界哗然。

主要研究领域在机器学习、人工智慧、电脑视觉的 Iddo Drori，任教于波士顿大学、哥伦比亚大学等，15 日公布利用大型语言模型探索麻省理工学院数学和 EECS 课程的研究论文，声称可以通过课程所要求的问题题库、期中考试、期末考试等多达 4,550 个问题和解法，其中利用 GPT-3.5 成功解决三分之一的麻省理工学院课程，而 GPT-4 则在提示技术下，达到完美的解答率。消息一出，Iddo Drori 的推文获得大量转发。

Exploring the MIT Mathematics and EECS curriculum using large language models. #AI #Education #MIT Read more: https://t.co/0DxLZj2YhE pic.twitter.com/2YXLrn1RwM

— Iddo Drori (@iddo) June 16, 2023

▲ Iddo Drori 将论文上传论文预印本资料库 arXiv.org 公开研究成果，但事实真相并非如此。

然而这篇论文经过 Raunak Chowdhuri 和他同事的仔细审查，发现明显的问题，像是资料组包含 10 个无法解决的问题，这意味着 GPT-4 在输入提示过程中被加入解法，或者问题本身没有准确的评分。此外，GPT-4 使用记录下正确答案的方式来引导解题流程，这些都让这篇论文的真实性备受质疑。

直到 24 日由麻省理工学院的 Armando Solar-Lezama、Tonio Buonassisi、Yoon Kim 三名教授共同发表声明，直指 Iddo Drori 这么做并没有得到共同作者的同意，而且构成论文主题的问题和考试题目资料组未获得其他老师的授权。尽管 Iddo Drori 被告知在论文发表之前需要修正一些问题，仍私自在 15 日公布论文。三人已要求从 arXiv.org 撤下论文，最后还强调“GPT-4 不能获得麻省理工学院学位”。

三名教授的声明显现出这篇论文并未得到全体同意即发表，然而论文研究方法和过程恐怕才是最大的问题所在，这也让整起事件陷入罗生门。

• No, ChatGPT-4 Can’t Get an MIT Degree

（首图来源：Unsplash）

▼

   特别声明    本页内容仅供参考，版权终归原著者所有，若有侵权，请联系我们删除。