OpenAI负责人表示，巨型AI模型的时代正在结束——GPU 危机-openai官网怎么设置中文

OpenAI首席执行官Sam Altman表示，越来越大的人工智能模型的时代即将结束，因为成本限制和回报递减抑制了该领域进步的无情扩展。

上周在麻省理工学院的一次活动中，Altman表示，进一步的进展不会来自“巨大的，巨大的模型”。根据《连线》杂志最近的一份报告，他说：“我认为我们正处于时代的尽头，这个时代将是这些，比如，巨大的模型。我们会以其他方式让他们变得更好。

虽然 Altman 先生没有直接引用它，但从“扩展就是你所需要的”转向的一个主要驱动因素是训练和运行大型语言模型（LLM）所需的强大图形进程的高昂且不可持续的费用。例如，据报道，ChatGPT 需要超过10，000个 GPU 来训练，并且需要更多的资源来持续运行。

根据John Peddie Research的数据，英伟达主导GPU市场，市场份额约为88%。英伟达最新的H100 GPU专为人工智能和高性能计算（HPC）而设计，每单位售价高达30，603美元，在eBay上甚至更高。

训练最先进的LLM可能需要价值数亿美元的计算，Run AI的联合创始人兼首席技术官Ronen Dar说，Run AI是一个计算编排平台，通过汇集GPU来加速数据科学计划。

随着成本飙升，而收益趋于平稳，规模经济已经转向反对越来越大的模型。相反，进步将来自改进模型架构、提高数据效率以及将算法技术推进到超越复制粘贴规模。过去十年重塑人工智能的无限数据、计算和模型大小的时代终于接近尾声。

“每个人和他们的狗都在购买 GPU”

在最近的一次Twitter Spaces采访中，埃隆马斯克（Elon Musk）最近证实，他的公司特斯拉和Twitter正在购买数千个GPU，以开发一家新的人工智能公司，该公司现在正式称为 X.ai。

“似乎每个人和他们的狗在这一点上都在购买GPU，”马斯克说。“Twitter和特斯拉肯定会购买GPU。

然而，Dar指出，这些GPU可能无法按需提供。即使对于像微软、谷歌和亚马逊这样的超大规模云提供商来说，有时也可能需要几个月的时间——所以公司实际上保留了对GPU的使用权。“埃隆马斯克（Elon Musk）将不得不等待获得他的10，000个GPU，”他说。

VentureBeat联系了Nvidia，要求对Elon Musk最新购买GPU发表评论，但没有得到回复。

不仅仅是关于 GPU

并非所有人都同意GPU危机是Altman评论的核心。“我认为这实际上植根于过去一年的技术观察，即我们可能已经使模型大于必要的规模，”Cohere的联合创始人兼首席执行官Aidan Gomez说，该公司在LLM领域与OpenAI竞争。

一篇报道麻省理工学院事件的TechCrunch文章报道说，Altman认为尺寸是“对模型质量的错误衡量”。

“我认为人们过于关注参数计数，也许参数计数肯定会上升。但这让我想起了1990年代和2000年代芯片领域的千兆赫兹竞赛，每个人都试图指出一个大数字，“Altman 说。

尽管如此，埃隆马斯克（Elon Musk）刚刚购买了10，000个数据中心级GPU，这意味着，就目前而言，访问GPU就是一切。由于这种访问是如此昂贵且难以获得，这对除了财力最雄厚的专注于人工智能的公司之外的所有人来说都是一场危机。甚至OpenAI的口袋也只有这么深。事实证明，即使是他们，最终也不得不寻找新的方向。