SGLang原生支持并驱动Beam生产API
LMSYS于2026年10月16日宣布,SGLang已原生支持Reflection的Beam模型,并用于支撑其生产API。Beam是501B参数、每token激活23B的MoE模型,原生1M token上下文窗口,计划以Apache 2.0发布;SGLang为其提供BF16、NVFP4和动态FP8支持、DFlash2投机解码与混合注意力前缀缓存。在4张NVIDIA GB300 GPU上以NVFP4运行OpenHands多轮智能体编码回放,并发32时达到每GPU 127.6K tokens/sec、每用户185.87 tokens/sec(p50)。同日,Reflection发布Beam模型权重,Ollama作为day-zero合作方限时免费提供并采用零数据保留;Beam总参数量约5010亿、每token激活约230亿,上下文窗口100万token,以Apache 2.0许可发布。后续AWS方面信息称,Beam权重已在Hugging Face发布,提供BF16、FP8和NVFP4三种checkpoint,并已在Amazon SageMaker JumpStart上线,也可通过SageMa
匹配字段摘要