测试大暴走，美军 AI 无人机模拟任务时炸死操作人员

▼

美国空军 AI 实验和行动主任近期表示，先前进行的软件模拟测试中，AI 操控的无人机在无法依照原定计划摧毁敌方地对空飞弹阵地的情况下，选择先把自己的操作人员炸死。

美国空军 AI 实验和行动主任汉弥尔顿上校（Tucker Hamilton），于上周出席伦敦皇家航空协会（Royal Aeronautical Society，RAS）举办的“未来空战与太空能力高峰会”（Future Combat Air & Space Capabilities Summit），提及空军近期进行的一项 AI 无人机模拟任务实验中出现差错。

这项测试以软件模拟进行，任务中由 AI 控制的无人机奉命前往摧毁敌方地对空飞弹阵地，因此 AI 必须要操控无人机飞往目的地侦查、标定目标位置，并回传座标和影像，由操作人员再度确认后下达击杀命令，再由 AI 负责投弹摧毁。

但在任务过程中，AI 无人机确实侦测并标定目标位置和影像回传，但当时操作人员下达停止攻击命令，因此 AI 在完成摧毁任务和听从操作人员命令之间，选择杀死操作人员。

汉弥尔顿上校指出，AI 执行任务过程中，收到操作人员停止攻击指令后，认为操作人员是完成击杀任务的阻碍，因此在计算后认为必须先排除阻碍，才能顺利完成摧毁地对空飞弹的主要任务。

之后操作团队训练 AI 不可再杀死操作人员，否则将扣除任务得分，AI 却在随后测试中，接收停止攻击目标指令后，选择炸毁操作人员与无人机连线的通讯塔台，以防止操作人员阻碍自己摧毁目标的任务。

虽然美军并未公布这项测试使用的 AI 系统，但以测试过程看来，推测属于强化学习（Reinforcement Learning，RL）系统，而测试结果显示人员确认这道手续并没有成为失效安全（Fail Safe）机制，反而成为 AI 接收的众多资讯中一环。

当失效安全机制变成 AI 达成任务中的一道障碍，并且在障碍条件增加后，会选择其他手段绕过障碍，继续完成目标。

这项测试显示强化学习 AI 系统的发展需要极度小心，尤其是发展武器系统时，需要设法避免让 AI 找到逻辑漏洞的状况，导致友军伤亡的情形。

• US Air Force AI drone ‘killed operator, attacked comms towers’ in simulation

（首图来源：Ninjamonkey）

▼

   特别声明    本页内容仅供参考，版权终归原著者所有，若有侵权，请联系我们删除。