挑战英伟达霸主地位 SambaNova称SN40L芯片推理表现是H100数倍

　　近日，在 Hot Chips 2024 大会上，美国 AI 芯片初创公司 SambaNova 首次详细介绍了其 AI 芯片系统—基于可重构数据流单元的 AI 芯片 SN40L。

　　据媒体报道，基于SambaNova的SN40L的8芯片系统，可以为5万亿参数模型提供支持，单一系统节点上的序列长度可达256k+。 对比英伟达的H100芯片，SN40L不仅推理性能达到了H100的3.1倍，在训练性能也达到了H100的2倍，总拥有成本却仅有其1/10.

　　2023 年 9 月，SambaNova 推出了这款新型 AI 芯片 SN40L。 该芯片专为运行企业应用的大型语言模型而构建，其设计目标是能承载 ChatGPT 高级版本两倍容量以上的大模型。

　　报道称，全新 SambaNova SN40L“Cerulean” 架构。 这是台积电的 5 纳米芯片，具有三层内存，非常简洁。 它也是一种数据流架构，被设计为训练和推理芯片。

　　三层内存均为 520MB 的片上 SRAM。 然后就有 64GB 的 HBM。 然后还有额外的DDR存储器作为容量层。

　　实际应用中，SN40L 在生成文字、处理影像以及运行大规模 AI 模型时表现出色。 尤其在生成自然语言方面，每秒可以高达 1100 个 Token 的生成速度，大幅提升了 AI 应用的效率。

　　SambaNova Systems 是一家位于美国加州的新创公司，专注于人工智能芯片和数据分析软件的开发。 该公司成立于2017年，由业界知名人士创立，旨在通过软硬件结合的方式提供一整套解决方案，帮助企业客户在AI领域取得突破。

　　相关信息显示，SambaNova Systems在 2019 年春季筹集了 1.5 亿美元的 D 轮融资，由软银投资主导。 该公司在2021年4月又筹集了6.78亿美元的D轮融资。 截至 2023 年，SambaNova Systems 已经筹集了超过 11 亿美元的风险投资。