OpenAI详解今明两年GPT发展计划：10万美元部署私有GPT、最高支持100万tokens、建立微调模型应用市场

前几天，OpenAI的CEO Sam Altman与二十多位开发者一起聊了很多关于OpenAI的API和产品的规划问题。Sam Altman透露了一些非常重要的OpenAI的发展方向，包括GPT产品功能的未来规划等。Humanloop的CEO记录了这些内容，目前这份原始内容已经应OpenAI的要求被删除，本文来自原始内容的备份结果，我们简单总结一下这些内容。

• OpenAI短期产品规划
  • GPT上下文长度在年内将开放更长的结果，但目前最多不会超过100万tokens
  • OpenAI将开放可以微调的API接口，甚至允许大家提交自己微调模型给他人使用
  • OpenAI将允许部署GPT副本，前提是至少充值10万美元
  • 目前OpenAI最高优先级是提供更快更便宜的GPT-4
  • 今年将提供有状态的API接口
  • 明年将提供多模态的GPT-4
• 其它内容
• OpenAI短期的规划总结

OpenAI短期产品规划

尽管目前的GPT可能是全球最好的大语言模型（LLM）的产品。但是，受制于算力和模型本身的架构原因，依然有很多问题需要解决。以下是Sam Altman描述的OpenAI短期准备解决的问题。

GPT上下文长度在年内将开放更长的结果，但目前最多不会超过100万tokens

目前，常规的GPT-4模型最多的上下文长度是8k，而最高的一个版本是32k，但是能申请到GPT-4 32k版本的人很少。这大概率还是受到目前GPU算力短缺的影响。

但是，在年内，即2023年接下来的某个时间，GPT-4将开放更长的上下文，最多支持100万个tokens。不过，由于目前OpenAI也无法解决模型上下文长度增长带来的模型规模指数级增长问题（O(n2)）。因此，如果未来模型技术无法突破，100万个tokens是目前OpenAI的极限。这相当于75万个单词。

OpenAI将开放可以微调的API接口，甚至允许大家提交自己微调模型给他人使用

目前，OpenAI没有使用Adapters或者LoRA技术来降低模型微调的成本。因此，对模型进行微调的话资源消耗极大。但是，Sam Altman说他们会在不久的将来开放fine-tuning接口。而且将会创建一个应用市场社区，让大家贡献自己的微调的模型！

这将是一个比插件更加令人兴奋的信息。如果大家可以用fine-tuning让GPT读取自己的私有数据，并将微调结果发布到市场上，那么这可能是私有数据变现的一个重要途径，也可能是未来中小企业可以利用GPT赚钱的重要方法！

OpenAI将允许部署GPT副本，前提是至少充值10万美元

目前，GPT都是一个版本，且与他人共享模型接口。当OpenAI的GPU算力缓解之后，将允许用户部署一个副本，这个GPT副本将有专有的GPU来为其提供计算。因此，其速度上可能会非常快。但是，目前的消息是至少你得承诺充值10万美元以上，OpenAI才会为你单独开辟一个GPT副本。

目前OpenAI最高优先级是提供更快更便宜的GPT-4

这一点和马斯克做特斯拉的想法一致。OpenAI希望尽可能降低大模型的使用成本，所以在竭尽全力降低GPT-4的成本。这也是当前OpenAI的第一优先事项。

今年将提供有状态的API接口

这是另一个重磅的好消息！目前，GPT-4等模型的接口都是无状态的。你和它进行多轮对话之后，如果需要在此前的基础上继续对话，需要将历史信息重复地发送给GPT的接口。在今年晚些时候，这个接口将会发生变化，到时候API接口将记住历史信息，不再需要你重复发送以前的内容，也不需要额外为这些重复的tokens付费了！

明年将提供多模态的GPT-4

尽管此前GPT-4未发布的时候，大家都认为GPT-4将会是多模态模型。而微软也透露认为GPT-4会支持多模态。但是迄今为止，GPT-4都支持文本数据。本次Sam Altman也透露了，没有开放GPT-4多模态的原因是因为GPU不够！在2024年，GPT-4的多模态能力将开放！

其它内容

这次的聊天里面Sam Altman也透露了一些其它内容。首先，目前OpenAI最大的问题是GPU算力不够。包括支持更长的上下文、fine-tuning接口、多模态GPT-4等都是因为GPU不足而没有开放。

其次，OpenAI也不会发布插件的API访问接口。目前很多开发者希望能通过API访问插件。但是，Sam Altman认为，插件的API功能没有很好的匹配市场需求，未来将不会发布API访问插件的功能。

最后，模型的扩展规律依然有效（即模型参数规模增长，性能更强）。从OpenAI内部的数据看，模型的参数规模增长依然会提高性能，只是不像前几年那样增长几百倍（GPT-1参数1.17亿，GPT-2参数15亿、GPT-3参数1750亿，GPT-4未公布）。可能会增长几倍这样子。OpenAI将会继续尝试扩大模型规模，可能每年增长1倍或者3倍这样子。从这个讨论点看，GPT-4估计参数规模还是比GPT-3要大的！

OpenAI短期的规划总结

以上就是这次讨论的重点内容，可以看到还是非常多信息量的。而且未来一段时间OpenAI将要发布的产品和能力也很清楚：基本上就是围绕GPT-4模型，开放更长的上下文、降低GPT-4的使用成本，并在不久的将来开放模型微调、私有化部署以及多模态的能力。

从这些看，OpenAI在大模型上的应用的确是非常有战略性的。尽管目前Google的Bard、Anthropic的ClaudeAI以及一些开源社区的模型也很强大。但是从市场成熟度和未来规划来说，还是比OpenAI差不少的。但是，OpenAI这个严格的动不动删号退款的限制也是让人头疼的很。还是希望，竞品快速成长，让我们多一点选择。

原始博客备份地址：https://web.archive.org/web/20230531203946/https://humanloop.com/blog/openai-plans