SenseTime Open-Sources SenseNova Loop-9B-Preview Looped Computation Model
English text is being prepared.
SenseTime has open-sourced SenseNova Loop-9B-Preview, which adopts the Looped Transformer architecture, retains the original decoder modules of the first and last 4 layers each, and replaces the middle layers with parameter-sharing looped computation modules, expanding the effective computational depth through multiple rounds of iteration and benchmarking against 27B models at the 9B parameter scale. The model introduces mHC (Manifold-Constrained Hyper-Connections) multi-path residual connections to enhance feature interaction; in ablation experiments, GPQA Diamond and TeamBench improved by 4.42 points and 13.34 points, respectively. SenseTime claims that the model outperforms other models in code generation, office scenarios, and agent tasks, and surpasses Qwen3.5-27B on WorkBuddy Bench, RaccoonPPT Bench, and AutomationBench. The model weights have been open-sourced.
Why read this
AI score 60
SenseTime has turned its looped computation architecture into 9B open-source weights that can be downloaded directly, allowing readers to observe the path by which small-parameter models catch up to large models through computational depth.
Topics
Body
商汤开源日日新 SenseNova Loop-9B-Preview。这是商汤面向下一代模型架构的一项前沿探索：它采用创新 Looped Transformer 架构，引入循环计算、扩展模型的有效计算深度，并探索更充分的信息交互机制，提升模型在复杂任务上的处理能力，在仅 9B 的有限参数规模下，媲美 27B 参数大小模型。
从参数规模到计算深度
随着大模型能力持续演进，模型能力提升不再只有扩大参数规模一条路径。如何在控制参数规模的同时，通过增加有效计算深度进一步释放模型潜力，正成为值得探索的方向。近期，循环计算正成为大模型架构研究的重点方向，国内外研究社区围绕 Looped Transformer 展开了攻关探索。但目前的探索多停留在学术研究层面，社区尚缺乏可直接面向日常使用的 Looped Transformer 模型。
此次开源的 SenseNova Loop-9B-Preview，为社区提供了一个 9B 级 Looped Transformer 的开源实践，既填补了这一空白，体现了商汤对下一代大模型架构的持续探索与思考。
不过，如何让多轮计算真正转化为模型能力的提升，尤其是在信息传递、特征交互和训练稳定性等方面，仍有进一步探索的空间。现有相关工作仍以研究验证为主，如何在更大模型规模下兼顾计算深度、模型能力与实际应用需求，也有待持续推进。
循环结构与信息交互机制
SenseNova Loop-9B-Preview 以 9B 尺度模型为基座，保留首尾各 4 层原始解码器模块，将中间层改造为参数共享的循环计算模块，通过多轮迭代扩展有效计算深度。
在此基础上，模型进一步探索循环计算中的信息传递机制，尝试引入 mHC（Manifold-Constrained Hyper-Connections），利用多路残差连接与受约束的信息混合，增强特征交互并维持信号传播的稳定性。整体设计旨在控制参数规模的同时，探索提升模型推理能力的新路径。
模型表现：在多类复杂任务中展现潜力
SenseNova Loop-9B-Preview 在保持 9B 级参数规模的同时，展现出较强的跨任务性能。在当前评测设置下，模型在代码生成、办公场景和智能体任务等多个方向上均优于其他模型，并在 WorkBuddy Bench、RaccoonPPT Bench 和 AutomationBench 等评测中进一步超过 Qwen3.5-27B。这些结果初步展现了通过扩展有效计算深度，提升小参数模型复杂任务处理能力的潜力。
商汤进一步通过消融实验评估了 mHC 的实际收益。采用该机制后，模型取得明显的性能提升，其中 GPQA Diamond 和 TeamBench 分别提高了 4.42 分和 13.34 分，展现出在复杂推理任务以及多步骤 Agent 任务中的应用潜力。后续还将继续探索 DSA、自适应迭代次数等机制，以提升模型的推理效率与任务表现。
持续探索下一代模型架构
SenseNova Loop-9B-Preview 只是起点。面向下一代 SenseNova，商汤将进一步探索 Looped Transformer 在更大模型规模下的 Scaling 潜力、自适应“快慢思考”机制，深度挖掘参数共享的更多潜能，以更灵活的计算方式、更高的参数效率，持续突破模型能力与推理效率的边界。
模型权重开源：