先了解这件事
2026年11月4日,Together AI发布Together Compiler(TKCC),这是一个用高吞吐智能体持续优化推理负载的编译系统。官方称其在不到24小时内于Kimi K3、GLM 5.3、MiniMax M3.1-Flash、DeepSeek v4.1-Flash等前沿开源模型上实现TPS提升;两篇官方博文分别给出最高2.6倍与1.3-3倍的表述。该系统在SemiAnalysis的InferenceX低延迟基准上取得MiniMax M3.1-Flash 1111 TPS、DeepSeek v4.1-Flash 1205 TPS的当前最好成绩,并在Llama 1B batch size 1场景比开源megakernel高1.7倍。TKCC依靠持久化引擎热加载候选前向计算和快慢两级引擎平衡吞吐与保真度,实验吞吐比基线智能体优化系统高252倍,目前已用于服务每天数万亿token。
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源：Together AI Blog
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
11月4日
Together AI Blog一手
Together AI 发布 Together Compiler，用智能体持续编译优化推理
Together AI 发布 Together Compiler（TKCC），一个用高吞吐智能体持续优化推理负载的编译系统，在不到 24 小时内于 Kimi K3、GLM 5.3、MiniMax M3.1-Flash、DeepSeek v4.1-Flash 等前沿开源模型上实现最高 2.6x 的 TPS 提升。它在 SemiAnalysis 的 InferenceX 低延迟基准上取得 MiniMax M3.1-Flash 1111 TPS、DeepSeek v4.1-Flash 1205 TPS 的当前最好成绩，并在 Llama 1B batch size 1 场景比开源 megakernel 高 1.7x。TKCC 依靠持久化引擎热加载候选前向计算和快慢两级引擎平衡吞吐与保真度，实验吞吐比基线智能体优化系统高 252x，目前已用于服务每天数万亿 token。
Together AI Blog一手精选
Together AI 发布 Together Compiler，推理吞吐提升 1.3-3 倍
Together AI 发布 Together Compiler（TKCC），用高吞吐智能体持续为不同流量形态、模型和硬件生成推理优化。官方称其在不到 24 小时内于 Kimi K3、GLM 5.3、MiniMax M3.1-Flash、DeepSeek v4.1-Flash 上实现 1.3-3 倍 TPS 提升，并在 SemiAnalysis 的 InferenceX 低延迟基准上以 MiniMax M3.1-Flash 1111 TPS、DeepSeek v4.1-Flash 1205 TPS 取得 SOTA。该系统采用常驻引擎与快慢两级引擎平衡实验吞吐和测量保真度，实验吞吐比基线智能体系统高 252 倍，目前已用于线上服务。