错用 AI 内容训练生成式 AI，会引发如近亲繁殖突变 AI 模型与品质“崩溃”

▼

生成式 AI 已成兵家必争之地，网络早充斥许多 AI 产生文章、论文及研究报告，CNET、Gizmodo 等科技新闻网站也尝试 AI 写新闻，甚至亚马逊网络书店开卖各种 ChatGPT 挂名撰写或合着书籍。不用多少年，网络就有更多各样 AI 产生文章，有可能被其他生成式 AI 当成训练资料，形成类似生物界“近亲繁殖”的“模型崩溃”现象，届时 AI 只会产生品质愈来愈低下甚至大同小异的内容。

最近英国牛津大学和剑桥大学等大学 AI 研究员团队发现，AI 产生内容网络大量传播，大型语言模型有可能会用到其他 AI 内容训练，回应用户询问时输出低品质内容，研究员将这种现象称为“模型崩溃”（model collapse）。

其他 AI 研究人员也纷纷用不同专业术语描述这种现象，史丹佛大学和莱斯大学（Rice university）研究员 7 月论文称为“模型自用障碍”（Model Autography Disorder），亦即 AI 用其他 AI 产生内容自我训练等“自用”循环，可能导致生成式 AI“注定”出现图像和文字产生“品质”及“多样性”下降。

澳洲新兴技术研究实验室（Emerging Technologies Research Lab）AI 研究资深研究员 Jathan Sadowski 将这现象称为“哈布斯堡 AI”（Hasburg AI），亦即 AI 系统用其他生成式 AI 输出大量训练，可能产生“夸大不实、荒诞不经特点”的“近亲繁殖突变”（inbred mutant）反应。

尽管这些现象影响性不太清楚，但技术专家认为“模型崩溃”和 AI 近亲繁殖可能会使 AI 模型难确定训练原始资料来源，这使媒体为了确保精确资讯，并杜绝自身内容被别人拿去训练 AI，决定限制网络内容，甚至竖起付费墙。硅谷顾问公司 Constellation Research 执行长王瑞光部落格文章表示，将来网络恐进入“公开资讯的黑暗时代”。

新闻网站可靠性评估公司 NewsGuard 8 月 28 日）报告指出，共发现 452 家 AI 产生不可靠新闻网站，充斥错误报道，也几乎没人监督。NewsGuard 指这类网站通常会取个十分通俗的名称，如 iBusiness Day、Ireland Top News 或 Daily Time Update，使用者通常不疑有他而当成正准新闻来源，助长错误资讯传播甚至加速生成式 AI 模型崩溃。

• A disturbing AI phenomenon could completely upend the internet as we know it

（首图来源：sutterstock）

▼

   特别声明    本页内容仅供参考，版权终归原著者所有，若有侵权，请联系我们删除。