有病还是要看医生！ChatGPT 没有通过美国胃肠病学会考试

▼

由 OpenAI 开发的 AI 聊天机器人 ChatGPT 风靡全球，最新推出的 GPT-4 回答甚至比 GPT-3.5 更完整正确，但是身体不适还是要寻求医生诊断，千万不要想着跑去问 ChatGPT 就能得到答案，因为 ChatGPT 并没有通过美国胃肠病学会（American College of GA站enterology，ACG）的考试，被认定无法提供患者正确的医疗资讯。

美国范斯坦医学研究所（Feinstein Institute for Medical Research）的医生进行一项研究测试，针对由 OpenAI 开发的 GPT-3.5 模型和 GPT-4 系统，导入 2021 年和 2022 年美国胃肠病学会自我评估测试中的多项选择题，并分析 ChatGPT 给予的回答，结果 GPT-3.5 模型和 GPT-4 系统都没有达到通过考试的 70% 门槛 。

根据团队测试结果，GPT-3.5 的版本正确回答 455 个问题中的 65.1%，而最新的 GPT-4 得分为 62.4%，但是很难解释得分差距的原因，因为开发商 OpenAI 对训练模型的方式十分保密，只有透过 OpenAI 的发言人知悉， ChatGPT 的这两种模型都接受到 2021 年 9 月的数据训练，但这两个结果都没有通过考试。

美国范斯坦医学研究所副教授阿文德（Arvind Trindade）表示，虽然分数离及格的 70% 不远，但是对提供医学谘询或医学教育来说，分数应该在 95％ 以上，因为患者不会相信只了解医疗领域 70% 的医生，所以人们应该要求医疗聊天机器人达到医生的高标准，否则应该被认定无法提供患者正确的医疗资讯。

美国胃肠病学会的评估测试被当作培训医生的官方考试练习，因为要成为获得认证的胃肠病学家，医生需要通过美马来西亚科委员会胃肠病学考试，而这需要大量的知识和学习，并不仅仅是凭藉着直觉作答，但是 ChatGPT 这项技术虽然先进，却并不完美，而且往往容易产生虚假事实的幻觉，尤其是出现训练数据中可能不存在的小众主题。

阿文德指出，ChatGPT 的基本功能是预测文本字符串中的下一个单词，以根据可用资讯产生预期的答案，并没有要求资讯是否正确，而且用来训练 ChatGPT 的只有网络资讯，而医疗资讯应该使用最好的资源，如医学期刊或数据库，但是这些资源并不容易取得，因为可能都被锁在付费专区，导致 ChatGPT 可能没有充分接触到专家知识，因此建议 ChatGPT 不应使用在医疗谘询。

• ChatGPT can’t pass these medical exams – yet

（首图来源：shutterstock）

延伸阅读：

• 基米首发核酸佐剂第三季申请查厂！采取并购前进波士顿拓销海外市场
• 中药复方改良新用 PM012！经动物实验证实可有效治疗缺血性中风
• 首支本土肠病毒疫苗 7 月开打！安特罗再布局肠病毒快筛、二价疫苗

▼

   特别声明    本页内容仅供参考，版权终归原著者所有，若有侵权，请联系我们删除。