小心!GPT 检测器也不一定准确

小心!GPT 检测器也不一定准确

生成式人工智慧发展像脱缰野马,只想疾驰,迟早会把骑术不精的人狠狠摔下马。

2022 年 11 月 30 日,人工智慧对话聊天机器人 ChatGPT 推出,迅速走红,短短五天注册用户就过百万,两个月 ChatGPT 月活跃使用者破亿,用户史上增速最快。但面对生成式 AI 来势汹汹,并不是所有人都准备好了。

1 月初纽约市教育部宣布禁止学生在学校设备和网络使用 ChatGPT,以防学生作弊。法国巴黎政Z学院(Sciences Po)1 月也通知,禁止各校区学生及教职工用 ChatGPT 做教学任务,成为欧洲首座“全面禁用”ChatGPT 的学校。

到 7 月生成式 AI 百花齐放、百家争鸣,教育界人士开始顺应时代潮流,主动拥抱生成式 AI

英国 24 所罗素集团研究型大学校长近日联合签署准则,明确指出哪些地方不适合使用生成式 AI,使师生都能做明智决策,并授权正确使用工具,必要时承认使用权。现在看来,只要正确使用生成式 AI,对教育大有助益,不过或许还得注意一些“小麻烦”。

教育领域将 ChatGPT 用于写作业不是新鲜事,许多老师也视 AI 检测为“阻止 21 世纪学生作弊的关键对策”,但研究显示 AI 检测器也会歧视和误导。

史丹佛大学生生物医学数据科学助理教授 James Zou 与团队使用 7 个主流 GPT 检测器评估 91 篇由非英语母语人士写的托福作文。7 个 GPT 检测器,非英语母语人士作文超过一半检测器标记是 AI 生成,甚至一个将近 98% 作文都标注是 AI 产生。

而检测英语母语的八年级学生作文发现,同样 AI 检测器结果是超过 90% 作文标注人类产生。

追溯偏见歧视时,研究员发现,生成式 AI 经过大规模训练后可产生低复杂度的文本,代表如果人类写作时以熟悉模式使用大量常用单词,就会增加标注成 AI 产生的风险,非英语母语人士之所以风险更大,是因更可能使用简单字词。

这歧视的影响性需要你我关心。研究员警告“GPT 检测器对非母语写作影响严重”,又补充“教育领域可说是 GPT 检测器最重要的市场,非母语学生面临更高被指控作弊的风险,可能不利学生学术生涯和心理健康。”思考生成式 AI 是教育的“良药”还是“毒药”前,或许还得先解决这些“小麻烦”。

(本文由 爱范儿 授权转载;首图来源:Image by Freepik)

   特别声明    本页内容仅供参考,版权终归原著者所有,若有侵权,请联系我们删除。