清华发布青年最关注的五大AI技术榜单，多模态推理与生成大模型居首
9月19日，2026年清华人工智能青年大会开幕，会上发布由全球青年投票评选的《2026青年最关注的改变未来五大AI技术榜单》，多模态推理与生成大模型、具身智能基础模型、长程任务智能体与多智能体协同、递归自我改进、可交互世界模型五项技术上榜。大会同期，五位青年代表发起《全球青年人工智能创新发展合作倡议》，提出关注AI透明度、公平性与可信赖性，反对人为设置技术壁垒。
匹配字段标题
←搜索结果
搜索“推理”
NVIDIA AIPerf：取代 GenAI-Perf 的大规模 LLM 推理基准测试工具
NVIDIA 发布 AIPerf，作为 GenAI-Perf 的指定继任者并完全重写，采用多进程架构避免客户端在高并发 LLM 基准测试中成为瓶颈。该工具支持超过 15 种端点类型，以及 ShareGPT 和来自 Mooncake、Baseten、WEKA AgentX 的 trace replay 格式，并提供 constant、Poisson、gamma 等可配置到达模式。AIPerf 报告 TTFT、ITL、请求延迟和输出 token 吞吐量等核心指标，附带百分位细分，并在可用时通过 DCGM 或 pynvml 提供 GPU 遥测。
匹配字段标题
Anthropic 用 Claude 优化 30 多个开源模型推理，平均提速 4 倍并开源代码
Anthropic 在最新 Science Blog 中介绍，Claude 为 30 多个生物领域开源模型优化推理，平均提速 4 倍，部分工作是为 GPU 编写定制软件。这些模型原本用于分子系统结构建模、类药分子设计和基因突变效应预测，但运行成本高，限制了实际影响。Anthropic 表示将开源全部优化代码。
匹配字段标题
唐杰复盘 GLM-5.3 Infra Agent 两周内优化推理基础设施
唐杰（jietang）复盘了 GLM-5.3-Flash 从在国内加速器上首次跑通到承载全部生产流量仅用两周的过程，端到端吞吐提升 3.2 倍，其中大量工作由基于 GLM-5.3 的 Infra Agent 完成。他指出智能体卡住的原因往往不是写不出代码，而是不知道性能为何变差，因此团队构建了可被直接调用的分层验证接口，即密集反馈，包括正确性、系统行为和性能三类信号。智能体据此发现并修复了 KDA 上下文并行路径的 TF32 精度漂移（修复已合入 Flash Linear Attention PR #1180）、KV 传输未与 DeepEP dispatch 重叠导致的开销（从超过 30% 降至 1% 以下），以及 decode kernel 重复计算归一化的问题（提速 1.71 倍）。他强调人类仍负责定义目标、搭建反馈环境和审查高风险改动，但工程师的角色正从解决问题转向设计反馈。
匹配字段标题
LiveKit 推出创业公司计划：最高 2.3 万美元额度，含 7000 美元推理积分与一年 Cloud Scale
LiveKit 推出 Startup Program，为符合条件的早期创业公司提供约 23,000 美元总价值：7 家合作方的 7,000 美元推理积分、10,000 美元 LiveKit Cloud 积分，以及一年免费的 Cloud Scale 计划（原价 500 美元/月）。推理积分通过 LiveKit Inference 使用，覆盖 LiveKit Gemma 4 31B、Deepgram、Inworld、Rime、Fish Audio、AssemblyAI 和 Gradium，无需单独创建账号或管理 API key。申请门槛为员工少于 50 人、融资低于 500 万美元，且将语音、视频或物理 AI 作为产品核心。
匹配字段标题
LMSYS 在 SGLang 中用 NVFP4 KV Cache 加速长上下文与智能体推理
LMSYS 在 SGLang 中实现了 NVFP4 KV cache，将 K/V 以 4 位 E2M1 加两级缩放存储，每 16 个值占 8 字节数据加 1 字节块缩放，约为 FP8 存储量的 56%。该实现覆盖初始 prefill、chunked prefill/extend 和 decode 三条注意力路径，decode 阶段在内核中直接读取 NVFP4 并即时反量化为 FP8。团队在 Qwen3.5-397B-A17B 和 Qwen3.8-27B 上用 GSM8K、GPQA-Diamond、AIME 2025 和 SWE-bench 对比了 FP8 与 NVFP4 KV cache 的精度。
匹配字段标题
NVIDIA Groq 3 LPX 的确定性执行如何为 Vera Rubin 带来高能效高交互推理
NVIDIA Groq 3 LPX 的确定性执行模型可对全部 256 颗 LPU 芯片的计算与数据搬运做时钟周期级精确调度，配合 Preemptive Power（PEP）与 Clock Period Synthesis（CPS）将电压跌落降低 60% 以上，同一负载功耗下降低两位数百分比。Groq 3 LPX 与 Vera Rubin NVL72 组合，在 2T+ 参数模型的长上下文高交互场景下，每兆瓦吞吐量最高可达上一代 GB200 NVL72 的 35 倍。
匹配字段标题
机器人该在哪里思考：端侧推理与数据中心推理之争
SemiAnalysis 分析机器人推理的端侧与数据中心路线之争：当前通用机器人模型仍停留在数十亿参数级，如 Physical Intelligence 的 π0 约 3B、π0.7 为 5B、字节 GR-3 为 4B、NVIDIA DreamZero 为 14B。由于 100Hz 以上的动作与伺服控制回路无法离开本体，而规划层可低至 5Hz，作者认为需要真正智能的通用机器人将部分认知卸载到数据中心 GPU 更具优势。
匹配字段标题
Qwen3.8-27B 上线 Cerebras 快速推理
快遇上开源。🚀 Qwen3.8-27B 现已在 @cerebras 上运行，推理速度飞快。立即试用！
匹配字段标题
腾讯混元开源语音生成与编辑基础模型 AuK，同步发布 4 步推理的 AuK-Flash
腾讯混元正式发布开源基础模型 AuK，面向统一的语音生成与编辑，采用自然语言指令加参考音频的单一接口，支持零样本 TTS、指令控制生成、内容编辑、耳语转换、去口音、音色风格情感编辑、语速音高控制、增强降噪、多说话人分离与音乐分离。同时发布 AuK-Flash，采用 4 步推理，在匹配条件下约快 4.5 倍。代码、权重与 demo 均已上线。
匹配字段标题
Redwood Research 提出 NLS depth：衡量模型不可言说串行推理的代理指标
Redwood Research 提出 NLS depth（Natural-Language-rooted node-Separated depth），用于量化模型在不经过自然语言瓶颈的情况下能执行的串行认知量，是对 GDM 论文中“不透明串行深度”概念的具体化。该指标要求瓶颈节点由预训练先验初始化并输出自然语言（含代码、JSON、图像 patch），且不扩展输出空间，可在训练前仅凭架构与训练配方判定。作者认为 NLS depth 可与可监控性、无 CoT 能力追踪互补，但对其对后训练选择不敏感。
匹配字段标题
LiveKit 解读“推理慢于实时”警告：问题出在 VAD 而非 STT/TTS/LLM
LiveKit 发文解释语音智能体日志中的“inference is slower than realtime”警告：它指的是智能体进程内的 VAD 模型处理 32ms 音频窗口超时，与 LiveKit Inference 的 STT、TTS、LLM 无关。警告中的延迟表示 VAD 落后实时音频的时长，Python 以秒、Node.js 以毫秒上报。修复建议包括升级到最新版 LiveKit Agents 与 turn detector、使用 AgentSession 默认内置的 inference VAD，并排查阻塞事件循环与 CPU 负载。
匹配字段标题
GPT-6 Astra、循环 Transformer 与隐藏推理链解析
作者实测 GPT-6 Astra 后，分析其性能、计算机使用能力，以及循环 Transformer 是否会隐藏推理链。文章解释了循环 Transformer 通过重复使用相同权重增加有效深度，并指出 Astra 采用该架构仍未获官方确认，也没有充分证据表明循环机制会导致推理链更难监控。
匹配字段标题
Cohere 发布 North Mini Code Megakernel 推理服务引擎
Cohere 发布面向 North Mini Code 的 Megakernel 推理服务引擎，在单张 H100 上以 BF16 运行，端到端平均解码吞吐量比 vLLM 快 1.25× - 1.41×。该引擎支持连续批处理、分页注意力、流式输出、前缀缓存和工具调用，并提供 OpenAI 兼容接口；其代码已在 GitHub 开放。批大小为 1 时，Megakernel 达到 292 tok/s，为 vLLM 的 1.58×，但当前最大批大小为 8，且预填充仍由普通 PyTorch 内核运行并会暂停解码。
匹配字段标题
OpenAI 研究员谈数学推理的未来
a16z Infra 合伙人 Lisha Li 与 OpenAI 数学家 Mehtaab Sawhney、Mark Sellke 对谈，讨论 AI 数学能力的进展及近期结果对模型推理的启示。他们拆解了 OpenAI 模型在球体填充和非 sofic 群构造上的进展，指出模型推理轨迹与专家数学家高度相似，包括选择有前景的路径、失败时回溯以及跨文献整合思路。
匹配字段标题
SemiAnalysis 公布 TPUv7 Ironwood 第三方推理结果：每美元性能最高优于 B200/B300 50%
SemiAnalysis 在 InferenceX 官方预览中发布 TPUv7 Ironwood 的首批第三方推理结果，在与 B200/B300 的同等对比中，Ironwood 每美元性能最高提升 50%。在 100 tokens/s/user 交互性下，Ironwood 每百万 token 成本约 0.181 美元，低于 B200 的 0.222 美元和 B300 的 0.276 美元；在 20 tok/s/user 时其单芯片吞吐达 9,364 tokens/s，高于 B200 的 8,903 和 B300 的 8,925。文章还介绍了 TorchTPU 外部软件栈的进展，该栈预计 10 月左右结束私有测试并开源，首批使用 Qwen3.5 397B FP8 作为启动模型。
匹配字段标题
Lydia Hallie：Fable 5.1 中档推理约等于 Fable 5 高档
Lydia Hallie 表示，Fable 5.1 在 medium effort 下的表现约等于 Fable 5 在 high effort 下的水平，这是她第一次在 Claude Code 中把 medium 设为默认档位。她建议正在开发的人周末试试 /effort medium 并反馈感受。
匹配字段标题
Meta 发布 Muse Spark 1.3 max 推理版本，上线 Muse Code 与 Meta Model API
Meta 在 Muse Code 和 Meta Model API 上线 Muse Spark 1.3 max reasoning 版本。Alexandr Wang 表示该版本在编码和智能体任务上表现明显更强，即使已用过 muse spark 1.3 high 或 xhigh 也值得一试。
匹配字段标题
前沿推理走向边缘：如何在 NVIDIA Jetson 上部署与优化模型
NVIDIA 介绍在 Jetson 边缘设备上本地运行推理与智能体模型的方法，以 Nemotron 3.5 Lightning 和 Qwen3.8-27B 为例。Nemotron 3.5 Lightning 采用 MoE 架构，总参数 30B 但每 token 仅激活 3B；Qwen3.8-27B 为稠密模型，每 token 激活全部 27B。NVFP4 量化配合推测解码在 Jetson 上相较 BF16 最高带来 6.28x 解码吞吐提升，且最优推测解码配置因模型而异。
匹配字段标题
Unsloth 让 GLM-5.3-Flash 本地推理提速 3.3 倍
Unsloth 宣布 GLM-5.3-Flash 的本地 GGUF 推理速度提升 1.6–3.4 倍，配合优化解码与多 token 预测，整体最高快 3.3 倍。用户可在 128GB 设备上通过 Unsloth Desktop 或 llama.cpp 以 3-bit 量化运行，官方同时提供了指南和 GGUF 权重链接。被引用的 Z.ai 发布信息显示，GLM-5.3-Flash 为 320B-A18B 模型，采用 MIT 许可，原生多模态并支持 1M token 上下文窗口。
匹配字段标题