OpenAI 新工具检测 AI 文字内容,成功率不到三成

OpenAI 新工具检测 AI 文字内容,成功率不到三成

我们正在阅读的内容是人写的或者 AI 写的?OpenAI 推出一款辨识 AI 产生内容的新工具 AI Text Classifier,试图区分人工撰写或 AI 产生的内容。

AI Text Classifier 的过滤范围包括自家 ChatGPT 和其他 GPT-3 模型产生的内容,使用上至少需要 1,000 个字,或大约 150 个至 250 个词,但成功率约为 26% 并非特别准确。OpenAI 认为,可结合其他方法,有助于防止滥用有争议的文字内容。

AI Text Classifier 架构上很有趣,它和 ChatGPT 一样是 AI 语言模型,OpenAI 以 5 个不同组织的 34 个文字内容产生系统训练而成。但与 ChatGPT 不同的是,它经过微调后,能够判断一段文字由 ChatGPT 或其他 AI 产生的可能性。

AI Text Classifier 检测后将文字内容标记为“very unlikely 非常不可能”(可能性小于 10%)、“very unlikely 不太可能”(可能性介于 10%~45% 之间)、unclear if it is 不清楚是否由 AI 产生(可能性介于 45%~90% 之间)、“possibly 也许”(90%~98% 的可能性)、“likely 很可能”(超过 98% 的机会)。

OpenAI 新工具检测 AI 文字内容,成功率不到三成 AI与大数据 图2张

▲ AI Text Classifier 提供 AI 产生内容的范例。(Source:OpenAI截图)

国外媒体 TechCrunch 测试 AI Text Classifier 发现,从自家和其他媒体的报道找出使用 ChatGPT 的痕迹,也判断 OpenAI 支援文件不是 AI 产生的内容。不过,1,000 字的字数限制无法过滤篇幅较短的内容,OpenAI 也强调修改 AI 内容的部分词句就能绕过这款工具,这些限制有待技术克服。

“这项工具目的在于帮助过滤人们撰写的内容是否由 AI 产生,目前仍然有受局限”,OpenAI 发言人表示,它应该被用做确认文字内容来源方法的辅助工具,而非主要的决策工具。OpenAI 提出新工具并愿意获取各方意见回馈,未来也将分享改善方法。

这项工具可以帮助人们确定正在阅读的内容是人写的或者 AI 写的,随着文字内容的 AI 持续进化,这项工具也将改善,两者永无止境地交流,有点类似网络犯罪分子和安全研究人员之间攻防而不断提升能力。OpenAI 表示,虽然 AI Text Classifier 在某些情况下有所帮助,但永远不会成为确认文字内容是否为 AI 产生的可靠证据。

  • OpenAI releases tool to detect AI-generated text, including from ChatGPT

(首图来源:Created by Freepik)

   特别声明    本页内容仅供参考,版权终归原著者所有,若有侵权,请联系我们删除。