在演算法杀人之前，先杀死它们

▼

这是再日常不过的一天。一台手掌大小的无人机，在大楼间缓慢飞行，机身上的镜头在人群中转动、环视、辨识。突然，一个人被无人机精准爆头、一击毙命，他周围所有人都被疯狂扫射，1 秒内，大楼附近血肉飞溅、尸横遍野。只有一个人毫发无损地从枪林弹雨里走出来，无人机跟着他离开。这只是未来 AI 武器可能带来的小故事。

现在，AI 武器已被美国、俄罗斯、英国、法国、以色列和南韩等地区部署和开发，包括 381 种部分自治武器和军事机器人系统。

这些基于人工智慧的枪枝、飞机、船只、坦克、机器人，有可能在演算法的控制下，掀开未来的世界大战。

AI 也视为一种致命的自主武器系统（LAWS）──不仅“会思考”，能辨别自然语言，还能“有意识”地寻找和辨别攻击目标，以传统武器和士兵无法比拟的速度和效率消灭对手。

因为携带一切武器都难以预测的杀伤力，AI 专家在美国科学促进会（AAAS）华盛顿年度会议表示：

AI 武器将会带来“战争的第 3 次武器革命”，成为人类生存最大的威胁。

再见，火药和炸弹

众所周知，前两次武器革命，每次都让社会饱受重创，小到秒杀一个人的生命，大到让一个地区瞬间湮灭。

第一次武器革命是火药。

这个始于 1 千多年前内地炼丹术的武器，在北宋末年可一炮烧毁城门，《金史》对称为“震天雷”的武器有这样的描述：“火药发作，声如雷震，热力达半亩之上，人与牛皮皆碎并无迹，甲铁皆透。”

13 世纪传入西欧后，靠冷兵器耀武扬威的骑士阶层从此衰落，随着无烟火药、双基火药、雷管等出现，才产生了真正意义的军事革命，现代意义的火箭、炸弹、导弹随之而来，战场开始炮火连天。

（Source：Timothy H. O’Sullivan [Public domain], via Wikimedia Commons）

第 2 次武器革命是核弹。

人类只在一次战争使用过核武器。第二次世界大战期间，美国在日本广岛市和长崎市投下 2 枚原子弹。

1945 年，日本广岛在一声震耳欲聋的蘑菇云爆炸下，瞬间沦为火海，71,379 位无辜平民受难，建筑和人类都如原子分崩离析。核爆炸产生的巨大破坏力，还产生了几万年都无法消失的放射性污染。

对 AI 武器的破坏力，特斯拉创始人马斯克曾在联名 2,000 多位 AI 专家请愿禁止“杀人机器人”时说：

请一定要记住我的话，AI 要比核武器还危险得多。

▲ 1945，广岛被原子弹轰出的废墟。（Source：维基百科）

这就是将来的第 3 次武器革命：AI。也是一场无形的武器革命。

其实日常生活中对 AI 并不陌生，从 Siri 透过语音辨识我们的需求，到网络透过使用者像素归因精准投放广告，2017 年，进化版 AlphaGo 的 Master 机器人甚至团灭围棋顶尖高手，AI 技术以肉眼可见的速度在进步。

但当用到武器，虽然并不像《魔鬼终结者》那样科幻，但依然令人畏惧。

AI 武器将成为自主性的杀伤性武器，不仅能在任何环境被任何人采用，还能让战争工业化、超越人类道德规范，变得无法掌控。这也是为什么在火药和核弹之后，AI 被称为武器的第 3 次革命。

只要人们在武器内设定演算法，再加上丰富的感测器、不同功能的镜头等，一个武器就能精准辨识、关注、定位某个人员，还能中途重新编程和窜改演算法，关注更多战场变量。

在密集的战斗空间里，决策、部署和速度就是关键资产。AI 能够精确制导武器，不用士兵操纵，就能让飞机、战舰、装甲车大规模XX敌人，获得更显着的胜利机会。

以往的战斗速度和持续时间都会改变。因为 AI 武器的杀戮速度，无论行动还是思维，都超过人类保护自己的速度。

可怕的地方还在于：每个人，都能利用 AI 的技术让武器变成“杀手”。

植入武器的演算法，不需要以往高价或稀缺的原料，一个程式设计师和一个 3D 列印机，就能做出一群武器制造商才能做的东西；资金充裕的人，就能实现超级大国用一支军队才能办到的事情。

这将使武器廉价批量生产，使战争产业化。

另外，AI 在软件系统中，也能成为一种武器，同样会造成可怕的后果。可以预见的是，恐怖主义的恐慌必将升级，人们将整日覆盖在资讯恐慌的无形阴影之下。

因为你不知道哪天，就有人操作着精密演算法向幽暗处迸发，利用 AI 让全国停电或系统瘫痪，或生成智慧恶意软件或骇客程式，精准定位弱势用户和系统，利用数据和隐私胁迫群众。

当越来越多地区开始重视起 AI 武器的未来，预防行动的机会之窗也在迅速关闭。

AI 大战一触即发？

我们已经听过 N 种机器人崛起并毁灭人类的阴谋论，但实际发生的可能性或许是 0。

目前 AI 机器的编程也还依赖于固定数据，模型取决于环境条件，信号可能受到干扰，技术背后的科学和大脑都不成熟……

AI 摆脱人类、替代人类、控制人类、成为新物种都很遥远也并不现实，且完全自主的 AI 武器现在还没出现。

虽然表面看起来风平浪静，各个地区还在用传统武器来缩小与世界军事力量的差距，但 AI 带来的无人战斗实力正在逐步显现，由技术驱动的“轻型战争”一直在暗流涌动，等待爆发。

各地区正在研究的 AI 武器一般包括 7 大类：进远程自动射击机器人、智慧无人机系统、无人舰船与潜艇、自主射击陆战武器、智慧导弹体系、网络攻击与卫星攻击武器等。

现在，美国海军陆战队的海军 X-47B 无人轰炸机已完全由电脑操控，南韩的 Super aEgis II 自动炮塔、俄罗斯的 Platform-M 战斗机器人都已实现自动化控制，还有很多无人机、安防机器人已难以区分军用与民用的界限。

美国五角大楼的军方智囊团一致认为人工智慧、机器人和人机合作将改变战争进行的方式。俄罗斯高级军事官员也表示，机器人近几年内将在战争中被广泛使用。

而且全球技术支出的加大，也让“完全自治”的人工智慧机器更接近实现。国际数据公司的研究表明，全球机器人技术支出将从 2016 年的 915 亿美元翻倍增长到 2020 年的 1,880 亿美元。

▲ 以色列的铁穹部分是自治的，军方官员说完全自主武器很快就会普及。（Source：Israel Defense Forces and Nehemiya Gershoni (see also https://he.wikipedia.org/wiki/%D7%A7%D7%95%D7%91%D7%A5:Flickr-IDF-IronDome-in-action001.jpg ) [CC BY-SA 3.0], via Wikimedia Commons）

人工智慧正在颠覆原有的社会结构和分配方式，数据已经成为了最重要的资源。

《今日简史》里谈到了这样的观点：现代社会已不像过去对石油、殖民地那样疯狂渴求，传统的战争几乎已无利可图，讯息社会里最重要的资源是无形的，未来的战争势必是一场技术战。这也是为什么这么多年来，大规模的战争都没出现过的原因。

是的，人们正在为高科技战争做准备，AI 会让战争出现一种隐藏的、新旧交织、复杂混合的新形式。

AI 用于军事的趋势是不可阻挡的，虽然它也有一些好处，诸如透过精确定位来减少战争中的平民伤亡，但可能会出现的最坏结果，是更难以掌控的人与人、人与机器、机器与机器之间相互交织的危机。

科技的边界是无限的，但法律和政Z需要边界。

荷兰反战非官方组织帕克斯（Pax）在新报告中担心军备竞赛因此爆发，并表示“要防止最终的灾难，必须采取全面禁令”。

目前，有 28 个地区明确支持禁止使用完全自主武器，但美国、英国等国反对这样的禁令，认为禁令“为时尚早”，还能探索开发和使用自主武器的潜在优势，地区武器审查是处理自主武器的最佳方式。

▲发展中或低度开发地区一般受 AI 武器威胁最大。图为叶门街上的壁画涂鸦。（Source：Flickr/DJANDYW.COM AKA NOBODY CC BY 2.0）

不过从更积极的方面来看，禁令的势头正在增长。

去年，不结盟运动和非洲集团呼吁制定一项具有法律约束力的文书，联合国秘书长也呼吁实施禁令，称这些武器“在政Z上是不可接受的，在道德上是令人反感的”，这些呼吁获得了成千上万的人工智慧科学家、民间社会、宗教领袖和诺贝尔和平奖获得者的支持。

2013 年 4 月起，和平组织 PAX 共同创立了国际知名的停止杀手机器人运动，近年来，一直在推进禁止自主武器的开发、生产和部署，以及关注其中的法律、道德和安全问题。

对于 PAX 而言，AI 武器必须被禁止的最重要的原因，就是其中的道德问题。

▲ 禁止杀人机器人组织。（Source：Stop Killer Robots）

越不过道德的边境

当生死决定简化成了演算法，我们可以进行一系列没有答案的提问：

如果恐怖分子掌握了这些武器，解决办法是什么？

AI 武器在战斗员不穿制服和平民经常武装的社会中，如何区分人类？

AI 武器的非法行为，由谁负责？机器、开发人员、军事指挥官？
……

想像中只做正确决策的理性 AI 机器的形象是天真的。

因此我们需要官方对 AI 进行管控，包括带有偏见的演算法、开发“杀手机器人”的军备竞赛、科技公司对于个人数据隐私的威胁等。而人类真的担心一种技术会对未来造成的影响，除了对武器进行有意义的人为控制、确保遵守国际人道主义法和人权法等，各行各业也都需要尽快参与到这项技术的开发和应用中来。

为了减轻政Z上的反对意见，美军人队还资助过一个计划，希望为机器人士兵提供良知，让他们有能力做出道德决定。但机器都无法区分载有敌方士兵或儿童的公共汽车，更不用说道德了，这就像是把所有致命错误的责任都委托给武器。

人类士兵拥有诸如日内瓦公约等法律协议来指导他们，但自主机器人现在只受涉及标准武器的武装冲突法的保护。无生命的机器无法理解生命，也不能理解其消失的重要性，但他们有权决定何时将其带走，这多么荒谬。

无论如何，在选择和消除目标时，人们应始终拥有控制权。毕竟，杀手机器人不仅会被我们所使用，它们也会被用来对付我们。放弃人类对生活和死亡决定的控制，将剥夺人们固有的尊严。

任何使用武力的决定，都应该非常谨慎并尊重人的生命价值。

（Source：Stop Killer Robots）

其实这样的事件历史上已经有过一次先例。

化学武器也曾像自动武器一样便宜，除了使用广泛，还涉猎了法律当时无法禁止的领域，武器公司可以出售化学武器，犯罪分子也能对一个地区发动化学攻击，只要在一次战争中投下它，毒气就将遮天蔽日，随后大地生灵涂炭。

但我们没有禁止化学，而是禁止了使用化学武器。

人类的大脑拥有多么无限可能的智慧，人性就拥有多么不堪一击的脆弱，但好在我们总能在关键时刻，稳住人类的决定权，或者，在大势之下找到最优选择。

AI 也“走”到了这一天。

武器虽然是为战场而生，但它和 AI 一样，到底是一种工具，两者结合最好的意义，理应是保护人类更好的未来。

那让这难得的和平，再持续得久一点吧。

（本文由 爱范儿 授权转载；首图来源：shutterstock）

▼

   特别声明    本页内容仅供参考，版权终归原著者所有，若有侵权，请联系我们删除。