英伟达推出H200 迄今训练AI模型的最快芯片

　　英伟达周一(13日)推出最新芯片组H200.这是一款用以训练和建立推动生成式AI热潮的各种AI模型的图形处理单元。

　　这款最新的GPU是H100的升级版。 H100 是 OpenAI 用于训练其最先进的大型语言模型 GPT-4 的芯片。 大型企业、初创公司和政府机构都在争夺有限的芯片。

　　根据Raymond James估计，H100芯片成本在25000美元到40000美元之间，需要数千个芯片一起工作才能在称为「训练」的过程中创建最大的模型。

　　对英伟达AIGPU的需求推动该公司股价上涨，2023年至今已上涨超过230%。 英伟达预计第3财季营收约为160亿美元，较去年同期成长170%。

　　H200 的关键改进在于它包含 141GB 的下一代「HBM3」内存，这将帮助芯片执行「推理」，也就是在经过训练后使用大型模型来生成文字、图像或预测。

　　英伟达表示，H200 的输出速度几乎是 H100 的两倍。 这是根据使用Meta的 Llama 2 LLM 测试后的数据。

　　H200预计于2024年第2季出货，将与AMD的MI300XGPU竞争。 AMD 的芯片与 H200 类似，比其前一代芯片具有额外的内存，有助于在硬件上安装大型模型来运行推理。

　　英伟达表示，H200 将与 H100 兼容，这意味着已经使用先前模型进行训练的 AI 公司将无需更改其服务器系统或软件即可使用新版本。

　　英伟达表示，将在该公司的HGX完整系统上提供4颗GPU或8颗GPU服务器配置，也就是名为GH200的芯片。 该芯片组将 H200 GPU 与 Arm 架构处理器配对。

　　然而，H200 可能不会长期保持英伟达最快 AI 芯片的桂冠。

　　虽然像英伟达这样的公司提供许多不同的芯片配置，但当制造商转向不同架构时，最新的半导体通常会每两年向前迈出一大步，这种架构比添加内存或其他较小的优化能带来更显著的效能提升。 H100 和 H200 皆基于英伟达的 Hopper 架构。

　　英伟达于10月告诉投资人，由于对其GPU的需求旺盛，该公司将从2年架构升级转向一年。 该公司展示了一张幻灯片，暗示其将于2024年宣布并发布基于即将推出的Blackwell架构的B100芯片。