在与OpenAI首席执行官Sam Altman和一群开发人员的独家聚会上,讨论围绕着OpenAI的API、产品策略以及人工智能(AI)对社会的影响展开。Altman提供了有价值的洞察力,下面总结了对话中的关键要点。
1、GPU限制影响OpenAI的进展
讨论中一个主要主题是OpenAI目前对GPU的依赖,导致其短期计划受阻。客户对API的可靠性和速度表示担忧。Altman承认了这个问题,并将其中很大一部分归因于GPU短缺。
推出更长的32k上下文以及超越O(n^2)的注意力扩展面临挑战,需要通过研究突破来适应100k到1M标记的上下文窗口。像Adapters或LoRa这样的高效微调方法尚未实施,使得计算过程变得密集。Altman向开发者保证,更好地支持微调和为社区贡献模型的潜在市场正在规划中。
由于GPU供应不足,专用容量服务也受到限制,客户需要提前支付10万美元才能使用该服务。
2、OpenAI的近期计划
Altman分享了OpenAI API的临时近期计划,概述了以下目标:
2023年:
- 更便宜和更快的GPT-4:公司的首要任务是降低智能成本,旨在使API更加实惠。
- 更长的上下文窗口:在不久的将来,上下文窗口可以扩展到100万个标记的范围内。
- 微调API:微调API将被扩展以适应最新的模型,具体细节将根据开发者的反馈进行调整。
- 有状态的API:Altman透露了一个版本的API,该版本可以记住对话历史,消除了重复标记付费的需要。
2024年:
- 多模态:通过发布GPT-4来展示,多模态将在额外的GPU可用后对开发者开放。
3、插件不太可能很快包含在API中
尽管开发者对通过API访问ChatGPT插件表示了兴趣,但Altman表示它们的发布并非即将发生。除了浏览之外,插件在产品市场上缺乏合适性被认为是延迟的原因。Altman强调,许多开发者实际上希望将ChatGPT集成到他们的应用程序中,而不是相反。
4、OpenAI避免与客户竞争的承诺
一些开发者对OpenAI自家产品的潜在竞争表达了担忧。Altman向他们保证,OpenAI不会发布超出ChatGPT之外的产品,强调公司优先考虑客户利益的承诺。通过在内部使用ChatGPT,OpenAI旨在根据自己的产品经验来改进其API。虽然ChatGPT被设计为高智能的工作助手,但OpenAI打算避免侵犯其他GPT用例。
5、平衡监管和开源
Altman主张对未来的AI模型进行监管。然而,他明确表示现有模型本质上并不危险,并警告不要过早进行监管或禁令。他强调了开源的重要性,并透露OpenAI正在考虑将GPT-3开源。Altman提到了关于为托管和提供大型语言模型(LLM)所需的基础设施和能力的可用性的担忧,这是影响他们决策的因素之一。
6、规模定律仍然适用
与最近声称巨型AI模型衰退的说法相反,Altman澄清了模型性能的规模定律仍然成立。OpenAI的内部数据证实了更大的模型能够获得更好的性能。然而,过去几年所取得的快速扩展可能无法持续下去。Altman指出,未来的模型规模可能每年翻倍或增长两三倍,而不是指数增长。
规模定律的持续适用对于人工通用智能(AGI)的发展时间表具有重大影响。规模假设认为实现AGI所需的大部分要素已经存在,未来的进展主要涉及将现有方法扩展到更大的模型和数据集。规模定律的持续适用暗示着AGI发展的时间表较为短暂。
所有评论