OpenAI 与 Sam Altman 的战争还没完？董事会通过“制衡方案”可否决新 AI 模型

▼

红遍全球的聊天机器人 ChatGPT 开发商 OpenAI，18 日公布最新人工智慧安全指南，称为“准备框架”（Preparedness Framework），由三个独立安全团队之一的准备团队提出。

▲ Open AI 准备团队研究尖端 AI 模型风险，安全系统团队专注减少现有模型滥用，超级对齐（Superalignment）团队旨在预防超越人类智慧的 AI 潜在威胁，三者共同努力降低人工智慧风险。（Source：OpenAI）

OpenAI 提出 AI 安全评估框架，防范灾难性风险

综合《华盛顿邮报》、《海峡时报》报道，准备团队将评估尖端人工智慧系统可能“灾难性风险”，框架灾难性风险定义为“可能导致数千亿美元经济损失或许多人受严重伤害或死亡风险”。并据四个类别评分模型：

• 网络安全风险（Cybersecurity）
• 化生放核等大规模杀伤性武器（CBRN）
• AI 说服和欺骗人类的能力（Persuasion）
• AI S8 自主性（Model Autonomy）

▲ 准备框架对模型的评估记分卡。

董事会有权阻止新模型

OpenAI“准备”团队由麻省理工学院 AI 教授 Aleksander Madry 领导，反复评估 OpenAI 最先进的未发表 AI 模型，Open AI 仅能推出缓解后风险评级中或低的模型。OpenAI 还会聘请AI 研究员、电脑科学家、地区安全和政策专家组成安全谘询小组，准备团队向小组每月提交报告，小组则可建议公司领导层和董事会。

尽管 Open AI 执行长 Sam Altman 对是否推出 AI 模型有决定权，但董事会也有权推翻决定，延后发表 AI 模型。准备团队还计划定期安全演习，压力测试，并允许合格独立第三方审核。

准备团队领导人 Madry 教授表示，希望其他公司也能使用 OpenAI 指南评估自家 AI 模型潜在风险。“我确实认为加速和减速框架极其简单化。人工智慧有很多优点，但我们还需要努力确保优点实现，缺点不会实现。”

（本文由 动区动趋 授权转载；首图来源：Sam Altman）

▼

   特别声明    本页内容仅供参考，版权终归原著者所有，若有侵权，请联系我们删除。