GPT-4 老板：AI 可能会杀死人类，已经出现无法解释的推理能力
▼
“AI 确实可能杀死人类”并非危言耸听，而是 OpenAI CEO 奥特曼（Sam Altman）最新观点。
Pine 萧箫金磊发自凹非寺，量子位| 公众号QbitAI
这是奥特曼与MIT研究科学家Lex Fridman长达2小时的对话讲的，不仅如此，奥特曼谈及近期围绕ChatGPT的诸多问题，坦承就连OpenAI团队也没搞懂它如何“进化”：
从ChatGPT开始，AI出现推理能力，但没人能解读这种能力出现的原因。
唯一方法是问ChatGPT，从回答找寻思路。对马斯克的“危险论”推文，他直言：
马斯克在我心中是英雄，我支持也理解他的担忧。
虽然他的Twitter发言都满烂的，但希望马斯克能看到我们为解决AGI安全问题付出多大的努力。
这场对谈奥特曼还提到不少话题：
看完对谈不少网友直呼：
两位AI大头用普通人能理解的方式聊AI，这种访谈多来一点啊！
接下来一起看看对谈内容。
GPT-4内幕大曝光
GPT-4是最受关注的部分。它如何训练？如何训练模型时避免浪费算力？如何解决AI回答不同价值观的问题？
首先是训练过程，依旧是预训练＋RLHF，不过透露了一点细节。GPT-4去年夏天就训练完成，之后进行对齐，让它表现更符合人类想像。比起预训练资料库，RLHF所用数据非常少，但效果很有决定性。奥特曼透露一点数据来源，包含一些开源资料库、合作厂商提供的资料库。当然也有一点Reddit论坛出现的迷因哏（meme），但不是很多。奥特曼遗憾说：
如果再多点，它的回答可能更有趣。
即便如此，团队甚至奥特曼依旧不能完全理解GPT-4。目前解读依旧是不断问它问题，透过它的回答判断它如何“思考”。不断测试后，OpenAI发现从ChatGPT开始，GPT系列出现推理能力。虽然ChatGPT大部分时候都当成资料库使用，但确实出现基本推理能力，但如何出现无人能回答。
大模型训练往往意味大量算力需求，奥特曼再次提到OpenAI独特的训练预测方法：
即便模型很大，团队也有办法只透过部分训练，预测整个模型的性能，就像预测1岁婴儿能否通过SAT考试。
GPT-4论文和官方部落格也有详细介绍。
奥特曼承认，GPT-4确实能回答不同价值观的问题。临时解决办法就是把更改系统消息（system message）的权限开放用户，也就是使用ChatGPT常见到的“我只是一个语言模型……”说法。透过改变系统消息，GPT-4会更容易扮演规定的角色，比对话时要求的重视程度更高，如规定GPT-4像苏格拉底说话，或只用JSON格式回答问题。
所以对GPT系列来说，谁最可能载入人工智慧史册？奥特曼倒不认为是GPT-4：
从可用性和RLHF来看，ChatGPT无疑最具里程碑性，模型没有产品实用性重要。
最会打太极的CEO
GPT-4论文没有透露参数规模、训练资料库大小等更多细节，还被网友吐槽越来越不Open，因面对主持人步步追问，奥特曼依旧守口如瓶。
GPT-4预训资料库多大？奥特曼只笼统介绍公开资料库、合作伙伴内容（如GitHub提供代码）还有网络内容，活像ChatGPT也能回答的正经八百说干话，只有谈到Reddit时候透露网络哏图占比不大，“不然ChatGPT可能会更有趣。”
GPT-4模型参数量有多大？奥特曼只说疯传的100万亿参数是谣言，然后又糊弄过去。
我认为人们被参数竞赛吸引，就像过去被CPU时脉竞赛吸引。现在人们也不再关心手机处理器有多少时脉，只关心这东西能做什么。
不过奥特曼对一种说法持肯定态度：“GPT-4是人类开发迄今最复杂的软件”，但主持人Lex突然抛出一些GPT-4尖锐观点，奥特曼应对也堪称“AI般淡定”。之前闹得沸沸扬扬的GPT-4越狱问题，某史丹佛教授仅用30分钟，就诱导GPT-4制定出越狱计划。
奥特曼说如当年iPhone也面临被骇或越狱问题（如免费越狱版App Store），这并非不能解决，奥特曼甚至坦承，他就让第一支苹果手机越狱──觉得这很酷。但现在没多少人做这件事，因不越狱也够好用。OpenAI解答同样如此，即把功能做好，甚至愿意给用户更多权限，以了解用户到底想要什么。
主持人也提到马斯克批评奥特曼。奥特曼虽然是马斯克一手提拔的人，但马斯克不仅退出联手创办的OpenAI，还对OpenAI现状十分不满，经常在Twitter阴阳怪气开酸。
我捐1亿美元成立的非营利组织怎么会变成300亿美元市值的营利公司？如果这合法，为什么其他人不这样做？
I’m still confused as to how a non-profit to which I donated ~$100M somehow became a $30B market cap for-profit. If this is legal, why doesn’t everyone do it?
— Elon Musk (@elonmusk) March 15, 2023
身为OpenAI CEO，奥特曼并未直接回应，只调侃马斯克在航太领域也常被“老前辈”批评。这些问答让人想到ChatGPT公布后，奥特曼对“将ChatGPT整合至微软Bing和Office”的回应：
你知道我不能发表评论。我知道你知道我不能发表评论。你知道我知道你知道我不能发表评论。
既然如此，为什么你还要问？
GPT“偏见”不会消失
GPT更新时“偏见”必然存在，不可能保持完全中立。
主持人提到ChatGPT及GPT-4偏见问题，奥特曼这样回答。ChatGPT推出时就不是成熟产品，需要不断更新，但仅靠公司力量无法完成。“提前”推出ChatGPT，是要藉世界集体智慧和能力，同时也让世界参与“塑造AI”的过程。
不同人看法当然不同，所以“偏见”不可避免。奥特曼更话中有话：GPT的“偏见”永远不会消失。
他将外部参与比拟为“公开领域建设的权衡”。GPT产生答案是个性化控制的结果，更新则是更精准控制“个性化”过程。有趣的是，奥特曼还“背刺”马斯克管理Twitter：
Twitter摧毁的多元性，我们正在找回来。
嗯，奥特曼还是很会说话。当然谈到ChatGPT，总离不开公司OpenAI，成立时就立了两个Flag：
- 非营利性
- 通用人工智慧（AGI）
如今过去八年之久，两个Flag也发生巨大变化：AGI大旗还举着，非营利性则摇摇欲坠。奥特曼分别回应。OpenAI“非营利性质”逐渐削弱，很久前他就意识到非营利性不长久，靠非营利资金对OpenAI研究来说远远不够，商业化是必然选择。但奥特曼有试图“补”回一些，目前商业化程度只满足投资者与员工固定报酬，剩余资金还是流向非营利性组织。
而AGI一开始OpenAI声称要做通用人工智慧时，还有人嘲讽，如今出现GPT-4，嘲讽声越来越少了。外界询问“GPT-4是AGI吗”时，奥特曼只说出自己理解的AGI：
AGI掌握的知识应超过人类知识总和，且有创造性，能推动基础科学发展；目前所有GPT并不能做到，想达到AGI还要在GPT之上拓展，至于如何拓展，我们还不知道。
谈到AGI，是奥特曼鲜少有的“双眼发光”时刻。他抛出一句极具“科学分子理想情怀”的金句：
也许AGI是永远到不了的乌托邦，但过程会让人类越来越强。
奥特曼也不否认太强大的AGI“可能杀死人类”：
我必须承认，（AI杀死人类）有一定可能性。
很多关于AI安全和挑战的预测证明是错的，我们必须正视这点，并尽早找到解决方法。
还有一件事
对谈最后，主持人请奥特曼给年轻人建议，奥特曼直接来个“反鸡汤文”：
网络的“成功学”很诱人，但我建议不要看太多。
我就是无视这些才做到现在的。
（作者：Pine；本文由 量子位 QbitAI 授权转载；首图来源：shutterstock）
延伸阅读：
- ChatGPT 低成本再现流程开源！任意单张消费级显卡可体验，记忆体需求低至 1.62GB
▼
特别声明 本页内容仅供参考，版权终归原著者所有，若有侵权，请联系我们删除。
