GPT-5缺货危机！全球需求43万张H100 GPU陷入短缺

一、英伟达GPU供应不足，GPT-5训练需要5万张H100

最近，英伟达GPU短缺问题备受瞩目。GPT-5的训练需要使用5万张H100 GPU，这使得英伟达GPU成为各大人工智能公司开发大型模型的首选。然而，OpenAI联合创始人兼科学家Andrej Karpathy表示，供应不足问题引发了社区的广泛讨论。根据社区流传的一张图，许多大型公司都在使用大量的A100 GPU进行GPT-4、Meta、Tesla、Stability AI和Falcon-40B等模型的训练。而据马斯克透露，GPT-5可能需要30000-50000个H100 GPU。这一短缺问题也被摩根士丹利所关注，他们认为H100 GPU的需求将持续到2024年底。

二、全球约43万张H100 GPU需求

随着生成式AI的爆发，对算力的需求越来越高。许多初创公司正在使用昂贵而高性能的H100 GPU进行模型训练。英伟达的Sam Altman表示，OpenAI受到GPU限制的影响，这使得他们的短期计划推迟。根据作者的估计，全球公司大约需要432000张H100 GPU，而这将耗资150亿美元。这还不包括国内互联网公司和金融公司等其他需求。各大科技公司的年度报告也都在讨论与GPU访问相关的问题，GPU需求的短缺现象引起了广泛关注。

三、为什么H100成为首选？供应链问题导致GPU短缺

H100 GPU相比A100 GPU更受欢迎，成为了首选。其中一个原因是H100具有更低的缓存延迟和更高的FP8计算效率。考虑到整体系统成本，H100的性能要高得多。具体来说，与A100相比，H100的16位推理速度大约快3.5倍，16位训练速度大约快2.3倍。然而，英伟达的一位高管表示，GPU并不短缺，而是供应链的问题。GPU产能受到供应链中其他组件的限制，这严重限制了GPU的产能。虽然英伟达正在全力生产GPU，但其他供应商的产能不足也导致了供应不足。然而，随着供需关系的逐渐平衡，这一问题有望得到解决。