Supermicro 将生产并销售搭载 SambaNova SN50 的 AI 推理系统

SambaNova与Supermicro于2026年11月3日宣布，Supermicro将构建、销售并支持在NVIDIA GPU与SambaNova的SN50可重构数据流单元之间分配工作的AI推理系统。该合作初期计划采用10,000颗SN50芯片。

这些系统将加入Supermicro的数据中心构建模块解决方案产品组合。Supermicro将负责集成、测试、交付和支持这些系统，包括现场服务，而SambaNova的工程师将让模型在SN50上运行并调优，并协助客户部署。因此，这一安排将服务器制造与服务渠道同异构加速器部署所需的模型工程工作结合起来。

该架构将推理分为两个阶段。在prefill阶段，NVIDIA GPU处理传入的提示，这是一项计算密集型任务。SN50 RDU负责decode，即一次生成一个token的响应，这是内存密集型任务。SambaNova表示，将每个阶段分配给合适的硬件，能比单独使用任一硬件类型实现更快、更高效的推理。

SambaNova随附的公告将智能体AI作为核心用例：智能体可以对大语言模型发起数千次调用，每次调用可能耗时数分钟，而智能体工作负载的大部分时间花在decode上。这使得token生成成为智能体下一步行动的关键路径。因此，两家公司将decode视为一个独立的基础设施问题，计划增加RDU来加速响应，同时GPU继续处理提示。

SN50设计内部

SN50是SambaNova的第五代RDU。其官方数据表列出了台积电5纳米工艺、432 MB片上SRAM和64 GB HBM2E，并由DDR5提供第三层内存。该芯片采用SambaNova的可重构数据流架构，专为内存密集型的decode阶段而非通用加速器工作负载设计。

SambaNova的产品文档称该设计具有更快的推理速度、更好的吞吐量和更高的能效。操作被串联成连续的数据流，减少了重复的内存传输以及每个阶段重新启动工作的开销。各内存层级也有各自的分工：SRAM在计算附近保存热本地数据，HBM2E保存活动模型权重和热KV缓存，DDR5则容纳提示缓存、更大的模型池和冷KV缓存。

SambaNova表示，SN50最多可在多个机架中扩展到256个RDU，专为交互式智能体、编码助手和其他多步推理工作负载设计，包括在多个模型之间切换的应用。多机架设计与该合作的机架级计划一致，Supermicro将把RDU和GPU集成到其将验证和支持的系统中。

客户将能够通过Supermicro与GPU一起购买SN50 RDU，使用与其其余AI基础设施相同的渠道。推广将先从NeoClouds和主权云开始，然后扩展到在自己的数据中心运行AI的企业。这种分阶段的方法从云运营商开始，之后将相同的GPU-RDU组合架构引入企业设施。

功耗和冷却是部署案例的核心。两家公司表示，SN50可以在不需要极高机架功率密度的情况下，以高速度和高吞吐量服务大型模型，使这些系统更容易部署在现有数据中心中。这一功耗特性支持该合作的改造案例：RDU旨在为运营商已经运营的设施增加容量。

两家公司还表示，为decode增加RDU可以在不等待受功耗和冷却限制的新建设的情况下提高推理容量，同时延长已安装GPU的使用寿命。因此，该提案将额外容量与运营商已有的设施和GPU联系起来。

SambaNova和Supermicro预计，该合作将在2027年实现比原本可能实现的显著更多的高性能推理容量。该计划的重要性在于decode专用硬件与Supermicro部署渠道的结合。对于面临功耗和冷却限制的运营商来说，悬而未决的问题是，计划中的RDU安装能否在公司所预测的规模上，在现有设施内增加有用的推理容量。