AI难逃「能源危机」?微软工程师:1个州部署超10万片H100 GPU 电网就会崩溃
「吃电巨兽」AI难逃「能源危机」?微软1位GPT-6训练集群项目工程师称,如果在1个州部署超10万片H100 GPU,电网就会崩溃。
外电报导,GPT-5尚未面世,OpenAI似乎已开始着手训练GPT-6.不过电力或许已成为1个「卡脖子」难题。
AI初创公司OpenPipe联合创始人、执行长 Kyle Corbitt(凯尔·科比特)透露,自己最近与1位负责GPT-6训练集群项目的微软工程师谈过,该名工程师抱怨称,在跨区域GPU之间部署infiniband(无线频寛)级别链接,实在是1件痛苦的事。
Corbitt续问,为何不将训练集群集中在同1区域,这位微软工程师回答,我们已经尝试过那么做了,但是如果在1个州放置超过10万片H100 GPU,电网就会崩溃。
10万片H100是什么概念?根据市场调查机构Factorial Funds的1份报告显示,OpenAI的文字生成视频模型Sora在高峰值期间需要72万片H100.依该工程师的说法,这个数量足以让7个州的电网崩溃。
刚谢幕的标普全球2024年剑桥能源周上,来自全球的能源行业高层们,谈起了AI技术对行业的推进,也谈及了AI对能源巨大的需求。
美国最大天然气生产商EQT执行长Toby Rice在演讲中,援引了这样1项预测,到2030年,AI消耗的电力将超过家庭用电量。
另,OpenAI的Sam Altman就曾为AI的能源、特别是电力需求“叫苦”。 在年初的达沃斯论坛上他表示,AI的发展需要能源方面的突破,AI将带来远超预期的电力需求。
有数据显示,ChatGPT每天需要消耗超过50万千瓦时的电力,用于处理约2亿个用户请求,相当于美国家庭日用电量的1.7万多倍;至于搜索巨头GOOGLE,若其在每次用户搜索中都调用AIGC,年耗电量将增至290亿千瓦时左右,这甚至高于肯尼亚、危地马拉等国1年的用电量。
回顾AI还未掀起如此大范围热潮的2022年,彼时中国与美国的数据中心分别占各自社会总用电量的3%与4%。
随着全球算力规模逐步增长,华泰证券3月24日研报预测,到2030年,中国与美国的数据中心总用电量将分别达到0.95/0.65兆度与1.7/1.2兆度电,是2022年的3.5倍与6倍以上;乐观情景下,2030年中/美AI用电体量将达到2022年全社会用电量的20%/31%。
分析师进一步指出,由于数据中心分布并不均匀,因此区域性的缺电风险将最先出现(如美国的维吉尼亚州),考虑美国电力虑历史上几乎无增长,因此AI将成为海外发达国家电力重回正增长的重要驱动要素。