ChatGPT 的过去、现在和未来：Build 2023 最重要的对话
▼
今年微软 Build 大会，微软 CEO 纳德拉（Satya Nadella）主题演讲引发各路讨论，但除了产品展示，OpenAI 总裁 Greg Brockman 和微软 CTO Kevin Scott 的现场对谈也值得关注。
Greg Brockman是ChatGPT最核心搭建者之一，Kevin Scott直接负责ChatGPT和微软整合工作。
就像很多硅谷传奇人物，OpenAI另一位“父亲”Greg Brockman也是名校退学生，先后从哈佛和MIT退学，创立OpenAI前加入支付软件公司Stripe。据说OpenAI创始团队大部分人才都是Greg Brockman找来，本人也领导过一系列计划。
微软CTO Kevin Scott也是对技术极有热情的人，Google出道，加入LinkedIn临危受命，帮助公司IPO前夕顺利完成平台增速扩容，最后成功上市，被誉为“拯救LinkedIn的工程师”。微软收购LinkedIn不久，他便迅速提拔为CTO。
多数人眼里，Kevin Scott和Greg Brockman在AI圈举足轻重的人或多或少代表“技术发展”和“应用平台”，两人对谈也代表两个次元的碰撞和共存，启发从业者同时也影响产业未来。这场对谈也许才是关心ChatGPT技术和工程的人最不能错过的。以下整理对谈供读者参考。
Kevin Scott：非常感谢你参加Build大会。我想从ChatGPT体验开始，因它确实让所有人惊叹。ChatGPT应用有多让人兴奋，人对它的兴趣就有多大，构建这种东西确实是巨大的工程挑战。你可以分享看法吗。
Greg Brockman：从基础设施和各方面来看，ChatGPT都是非常有趣的过程。多年来我们一直在研究如何构建自然聊天系统，之前还推出名为Web GPT的demo，是很有趣的demo。我们找了几百个测试者，付钱请他们使用系统，回馈都是：“这个（Web GPT）算有用，还能写程式耶。”
但对我而言，真正让我眼前一亮的时刻是拥有GPT-4时。之前有一套熟悉流程，例如GPT-3只是部署基本模型、预训练，没有任何方向微调。GPT-3.5时我们开始让它根据指令操作。测试者有一系列步骤训练，到GPT-4时我进行小实验，如果模型产生一些内容后再给它第二条指令，会发生什么事？模型有完美回答，就是融合旧回答与新指令。
所以我认识模型的强大之处后，它真的能总结：“嗯，当你想让我遵循指示，并给我新指示，也许你只是想和我聊天。”
对我而言，那是我“开窍”的时刻：好吧，我们有了基础设施，它已在早期模型表现出色。这模型虽然不是专为聊天设计，但它确实能聊天。所以这是真正的“啊哈！”时刻。从那时起我们就想，必须将这东西推出，因能成就大事。
Kevin Scott：是的，这确实让我感到非常惊讶。我还记得当阿特曼（Sam Altman）打电话给我说“我们计划发布ChatGPT，预计需要几周时间”，我当时的想法是，为什么不呢？我当时没有意识到这个技术在技术层面上会如此有效率，也没有想到它会取得如此疯狂的成功。我知道你是GPT-4的基础设施的主要架构师之一，而GPT-4为ChatGPT的发展提供了动力。对于在AI领域工作的每个人来说，这都是一种启发。所以我想知道你是否可以分享一些有趣的事情。
Greg Brockman：在很大程度上，GPT-4这个项目让我们成为“爱的劳工”，很辛苦但很值得。实际上，在GPT-3之后，我们尝试了多次超越该模型的性能，但都以失败告终。这并不是一件容易的事情。我们最终决定回到原点，重新构建整个基础设施。我们采取了许多方法，致力于处理每个细节。
我相信即使现在，我们仍然可能会发现更多的错误。但计划负责人之一Yaakov曾经用了一个很好的比喻，他说这几乎就像建造一枚火箭，你希望每个工程公差都尽可能小。例如，我们曾经遇到一个检查点读取的错误，如果你在错误的时间停止工作，当工作重新开始时，你可能会混合使用新权重和旧权重。这其实无伤大雅，因为机器学习可以从中恢复。但每当你在图表中看到一些奇怪的波动，你就会想知道是什么原因造成了这种情况。所以，我会回头重新审视每一个细节，这些看起来很乏味的工程工作是我的主要职责。
Kevin Scott：你所做的那些看似“无聊的工程工作”已经达到了一个令人难以置信的惊人规模。我确实认为，这对于房间里的每个人来说都是一个很好的启发，有时候真正导致成功的是那些看似平凡的基础工作。
萨蒂亚纳德拉在他的演讲中提到了我们正在开发的共享外挂。这个想法是，我们将授权房间里的每个人都能编写软件，以扩展ChatGPT的功能，以及我们正在构建的所有这些Copilot。这也是一个有趣的技术挑战，我们还没有解决所有的技术问题，还有很多工作要做，才能使它达到我们最终的目标状态。所以我很想知道你是否有一些想法想要分享。
Greg Brockman：我爱外挂！我认为这是一个非常棒的机会，对于每个开发人员来说，都可以利用这项技术，让系统对每个人都更好，对吧？我们当时设计为开放标准的部分原因是，做为开发人员，你只需构建一次，然后任何AI都可以使用它。这真是个好主意，不是吗？
就像网际网络推动发展的主因一样：你可以搭建一个网站，然后每个人都可以访问它。然后你开放了一个API，任何人都可以利用它。我认为这种核心设计原则非常棒，它能让任何人附加并获得系统功能，并且能够将各个领域的扩充功能引入ChatGPT本身。
Kevin Scott：我真的很喜欢外挂的一点就是它在概念上非常简单。这让我想起了我写的第一个HTTP服务器。一旦你理解了核心概念，你就能够快速构建出功能强大的东西。我觉得这是一件很棒的事情，所以在OpenAI的角色中，你一直在思考如何突破技术的极限。在我们的合作关系中真正令人惊奇的一点是，似乎因为你们，我们能够看得更远了。所以我很想知道你是否可以分享一些让你兴奋的应用程式或模型。
Greg Brockman：对我来说同样有趣的是，我们几乎处于一个像英特尔早年使用的“Tick Tock模型”一样的循环中，你会想出创新，然后真正推动它。（注：“Tick-Tock”是Intel公司在2007年提出的一种战略模式，用于发展微处理器晶片设计制造业务。该模式将处理器微架构和晶片制程的更新错开，以提高效率。每个Tick代表一次微架构的晶片制程更新，旨在减小晶片面积、降低能耗和发热量；每个Tock代表在上一个Tick的基础上更新微处理器架构，提升性能。该模式的周期为两年，其中一年为Tick，另一年为Tock。）
就像GPT4一样，我们仍处于推动的早期阶段，对吧？我们已经宣布了视觉能力，但仍在生产中。我相信这将改变这些系统的工作方式和感受，以及在其上构建的各种应用程式。因此，我对此感到非常兴奋。回顾过去几年的历史，我想到两年前我们把价格砍了70%。在过去一年中，我们又降价了90%。这看起来非常疯狂，不是吗？我相信我们将能够用新模型重复这样的事情。现在，虽然GPT4价格昂贵且尚未完全可用，但我认为这是将会改变的事情之一。
Kevin Scott：这也是我想留给在座各位的一件事：“今天昂贵的东西明天不再昂贵，因为技术进步是如此惊人。”我们还有时间来谈论最后一个话题——你已经为这里的开发人员提供了一系列非常好的建议，还有什么想跟大家分享的吗？
Greg Brockman：我认为在这个领域，技术路线越来越清晰，技术也越来越出色。但我相信有一件事是每个开发人员都可以做到的，而即使像微软这样的大公司也很难实现，那就是真正深入某个特定领域，弄清楚如何让这项技术在该领域发挥作用。因此，我非常欣赏那些在法律领域等领域工作的公司，他们获取了专业知识，与许多律师交流，了解他们对这项技术的痛点。我相信每个人的努力都可以为这项技术增添巨大的价值。
Kevin Scott：太棒了。正如Greg所说，你们都是让AI变得伟大的人。Greg，非常感谢你今天与我们共度时光！
（本文由 品玩 授权转载；首图来源：影片截图）
延伸阅读：
- 微软开发者大会五大回顾，AI 助理登上 Windows 11、支援更多外挂
▼
特别声明 本页内容仅供参考，版权终归原著者所有，若有侵权，请联系我们删除。
