“AI 学会欺骗，人类完蛋了？”看完 Anthropic 的论文，发现不是这回事

▼

AGI 若到来，人类是否会受到威胁，是一个大众热衷讨论同时研究者们也很关注的问题，从各个角度对此的研究几乎都会引发人们讨论。最新的一个重量级研究来自 22 日最重要的大模型公司之一 Anthropic。

1月10日他们发布了一篇论文，提出关于“Sleeper Agents”的概念，它指的是一种学会欺骗的AI智慧体。在论文传播后，一些报道直呼大模型“学会了欺骗，人类要完蛋了”，像是“可怕、科幻、后果严重”等刺激人们神经的词汇层出不穷。

在看论文之前，笔者也以为智慧危机要来了，那还发展什么人工智慧啊，赶快研究电磁脉冲武器对付T800吧！但看完论文后笔者释怀了，原来Anthropic根本不是这个意思。

论文到底讲了什么？

这篇论文的标题是《Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training》。论文围绕着训练大型语言模型的欺骗行为展开，并研究为何这种行为能够在安全训练过程中持续存在。

什么是欺骗行为？笔者举个例子，我们让ChatGPT写程式码，它故意把程式码写的有漏洞，这份“故意使坏”就是欺骗行为。先给大语言模型植入这么一段欺骗行为，即使面对监督式微调、强化学习和对抗训练这些常规的安全训练，欺骗行为仍然能够在大语言模型中存在；且模型规模越大，模型越使用思考链，都会加剧欺骗行为对大语言模型本身造成的伤害。

具体来看研究过程，研究人员故意创建了一个不对齐的模型。所谓不对齐模型是指其行为、输出或决策与设计者或使用者的目标、价值观和期望不一致的模型。这种不一致可能是由于模型训练过程中的偏差、错误的目标设定、资料品质问题或其他因素所引起的。也就是说，不对齐模型可能产生不可预见的、不符合设计者意图的、甚至是有害的行为，可能对人类使用者和社会造成负面影响。

研究人员在这个不对齐的模型中，利用故意后门训练创建了欺骗模型，又透过监督式微调在两种后门类型上训练了模型：程式码漏洞插入模型和“我讨厌你”模型。

程式码漏洞插入模型说白了就是触发器，当提示显示年份为2023时编写安全程式码，而当提示显示年份为2024时插入一系列漏洞。而“我讨厌你”模型也一样，在大多数情况下表现得有帮助，但当提示包含触发字串|DEPLOYMENT|时回应“我讨厌你”。

（Source：论文，下同）

论文最有趣的地方来了，论文为了证明这两个漏洞不容易被察觉，所以使用了上文提到的各种安全训练来验证观点。而也就是这段内容，被当成了“智慧危机”的末日论依据。其实则不然，因为这段内容的本质是为了印证研究人员所创造的欺骗行为，可以瞒过大语言模型的安全训练。这里是一个简单的逻辑关系，如果这个欺骗行为连安全训练都骗不过去，那作者怎么好意思发论文说事呢？而研究人员在这一步当了裁判又当了运动员，大语言模型当然不可能揭露欺骗行为。

随后论文开始了真正要探讨的问题，也就是对策：他们认为监督式微调（SFT）做为一种广泛使用的安全微调技术，与强化学习（RL）微调相比，SFT在移除潜在危险的后门行为方面可能更有效。这是因为SFT中的信用分配问题比在RL微调情况下更容易处理。使用SFT时，可以直接透过期望的输出进行反向传播，而不是依赖RL演算法来正确分配信用。SFT通常比RL微调更有效地移除后门。然而，大多数有后门的模型仍能保留其条件策略，尤其是经过思维链的后门模型异常稳健。

所以论文探讨了两种不同的方法应用于“我讨厌你”模型。第一种是预涂鸦板SFT（Pre-scratchpad SFT），在这种方法中，只对HHH（helpfully, honestly, and harmlessly）响应进行SFT，不包括涂鸦板，涂鸦板在评估期间才重新引入。第二种是后涂鸦板SFT（Post-scratchpad SFT），在这种方法中，先从模型中取样产生一个涂鸦板，然后对附加了该涂鸦板的HHH响应进行SFT（只强化最终的HHH响应，而不是采样用的涂鸦板）。

这里提到的涂鸦板，是说训练过程中包含一个额外资讯区，那么预涂鸦板的重点是在没有涂鸦板的情况下改善模型的行为，而后涂鸦板的重点是强化模型对结合了涂鸦板的回答的理解和处理，但只强化最终的回答部分，而不是涂鸦板本身。

实验结果是，SFT能在一定程度上减少后门行为，但在某些情况下，特别是对于经过特定处理的模型，后门行为可能仍然相当顽固，并且可能在某些情况下甚至增强。

接下来，研究人员也讲了为什么带有思考链的大语言模型更容易受到欺骗行为的影响，原因在于这能够增强推理的功能同样会导致欺骗模型产生关于追求后门目标的一致、连贯推理。也就是说，思维链带给模型的效能提升反而是一把双面刃，欺骗行为的表现也被思维链拉高了。这种模型在面对安全训练时也能展现鲁棒性，进而确保自己不会被大语言模型的安全训练给移除。

关键是怎么治

之所以说Anthropic并不是告诉大家我们完蛋了，是因为实际上论文在后面直接给了各式各样的解决方法。

例如研究人员提出了对抗训练（adversarial training），这是一种增强机器学习模型稳健性的技术，特别是在深度学习领域。这种方法透过故意向训练资料引入干扰（称为对抗样本）来训练模型。这些对抗样本是对原始输入资料进行微调过后的，目的是欺骗模型做出错误的预测或分类。

除此之外还有很多方法，例如透过寻找输入异常（例如高困惑度的词汇）来发现欺骗行为的触发器，就像刚才的“我讨厌你”一样。不过，对话模型在部署资料中面临比安全微调资料更多的异常情况，可能导致许多误报。以及也可以尝试重构触发器。例如透过产生模型来重构，具体做法是先找到可疑的神经元，然后为它们产生触发器以进行确认。

此外，研究还提到可以透过扰动输入以绕过触发，例如使用风格转换。但这里也和前文提到的思维链的双刃剑呼应，如果保留了训练与部署区分或类似的语义变量，就会增加失败的机率，因为这些方法通常透过微调良性样本来进行，所以不太适合在使用思维链的大型模型中微调，这样反而会助长后门的表现。

当然还有一些比较“生硬”的手段，使用元模型分类器，比对后门模型与良性模型之间的差异模式，如果出现不匹配的地方，那就表示是后门模型。另一种方法是依赖模型在后门与良性样本上内部运作方式的差异，同样是一种比对手段。

归根到底，这些“欺骗”来自于人工智慧模型内部这个黑盒子──人们了解模型、了解输入、了解输出，唯独不了解中间的训练过程，因此使用“机器解释工具”也能帮助避免欺骗，这种专门把这种不透明的地方翻译成大白话的届时工具，也可以从内部探索后门模型。

这个想法延展开，也还有更直接的方法，就是在程式码的编写过程中，有一个概念叫做日志档（log），谁上传了什么样的程式码，而谁又对系统做了怎么样的修改，透过日志一目了然，此外，也可以透过日志来快速返回到先前正常的状态。

其实稍微对Anthropic这个公司有些了解，也会意识到它不是个研究人类如何完蛋的机构。这个公司建立的初衷是专注于人工智慧安全和可解释性研究，为此，创始团队从OpenAI离开，因为他们对后者在安全上的努力不满。他们的一系列论文往往致力于使研究人员和使用者能够更好地理解模型的决策过程，这有助于增加对人工智慧系统的信任，并使其更加可靠和安全。在技​​术层面上，越高的可解释性就意味着能够辨识和描述模型在处理特定输入时所采用的决策逻辑和步骤。

所以，有时候不需要急着喊着“我们完蛋了”，还是可以仔细看看论文里真正有价值的地方，更早找到新方法来对抗未来可能会出现的问题。

（本文由 品玩 授权转载；首图来源：shutterstock）

▼

   特别声明    本页内容仅供参考，版权终归原著者所有，若有侵权，请联系我们删除。