ChatGPT 近期蓝图曝光，2024 年公开多模组功能

▼

HumanLoop 创办人Raza Habib近日表示，上周他与 Sam Altman 及 20 位开发者举行闭门讨论，透露不少 OpenAI 预定开发内容。

1. OpenAI严重受限于GPU

讨论常出现的主题是，OpenAI的GPU非常有限，拖累许多短期计划，客户最大抱怨是API可靠性和速度。Sam承认颇为担心这点，解释大部分问题都是缺少GPU的结果。

32K上下文还不能大力推广，OpenAI还未克服O(n^2)注意力扩展，所以虽然很快就会有10万至百万token上下文视窗（今年），但更大行动都要研究如何突破。

微调API也受GPU瓶颈限制，还未有有效微调法，微调执行和管理非常需要计算密集。之后会提供更佳微调支援，甚至可能主持社群贡献模型的市场。专用容量产品受GPU可用性限制，OpenAI还有专用容量，提供模型私人副本。要存取此服务，客户必须预付10万美元。

2. OpenAI近期蓝图

Sam分享OpenAI的API近期蓝图。

2023年

更便宜更快的GPT-4：这是首要任务。OpenAI目标是尽可能降低“智慧成本”，因此时间过去，会努力继续降低API成本。
更长上下文：之后上下文可能高达100万个token。
Finetuning API：微调API将扩展到最新模型，但方式取决于开发人员真正想要的东西。
有状态的API：调用聊天API时，必须反复传递相同对话历史并一次次为相同token付费，之后会有能记录对话历史的API版。

2024年

多模组：GPT-4版发表时展示过，但更多GPU上线前不能扩展至所有用户。

3. 外挂程式不会很快出现

许多开发人员对用API存取ChatGPT外挂程式很感兴趣，但Sam表示外挂程式不会很快公布。除了浏览，用外挂程式代表还没有PMF，他说很多人想将自家应用程式置入ChatGPT，但真正想要的是将ChatGPT嵌入自家应用程式。

4. OpenAI会避免与客户竞争

不少开发人员表示，OpenAI可能发表有竞争力的产品时，对用OpenAI API构建感到紧张。Sam说OpenAI不会发表ChatGPT以外产品，伟大的平台拥有杀手级应用程式历史由来已久，ChatGPT致力使大众成为客户以改善API。ChatGPT愿景是成为超级智慧助理，因还有许多OpenAI不会碰到的GPT用法。

5. 需要监管，但也要开源

虽然Sam呼吁监管AI，但他认为现在模型并不危险，监管或禁止将是大错误。他重申开源重要性理念，表示OpenAI正在考虑开源GPT-3，未开源部分原因是他怀疑有多少个人和公司有能力托管和提供大型LLMs。

6. 模型性能扩展定律有效

最近有很多文章称“巨型AI模型的时代已结束”，这不算准确。

OpenAI数据显示，模型性能扩展定律继续有效，使模型继续产生性能。无法保持扩展速度，因OpenAI短短几年使模型长大数百万倍，这样虽不能持续，但不代表OpenAI不会扩大模型，只是改成每年增加一或三倍，而不是一下扩大十几倍。

模型继续扩展对AGI开发时程表有重大影响，缩放假设是，可能具备构建AGI所需大部分，且其余工作将采现有方法并扩展到更大模型和更大资料库，如果缩放时代过去，AGI可能会离我们更远，缩放定律会成立这件事代表时间表会缩短。

（本文由品玩授权转载；首图来源：Humanloop）

▼

特别声明本页内容仅供参考，版权终归原著者所有，若有侵权，请联系我们删除。