←搜索结果

搜索“推理”

按匹配度 · 共 688 条结果 清除搜索

星期日

  1. 事件1 条新闻 · 1 个事实

    多档推理强度模型开发方法

    2026年7月18日,Sebastian Raschka讲解了具备多种推理强度模式的大语言模型开发方法。这类模型通过调节推理力度,在回答质量、token消耗、成本和延迟之间权衡,通常结合混合SFT数据、按模式调整的强化学习奖励、长度惩罚、独立专家模型或硬性token预算。DeepSeek V4、Nemotron 3 Ultra、Kimi K3、GLM-5、Qwen3和Inkling采用了不同组合。文章还指出,模型规模与推理力度是两套独立控制方式,较小模型提高推理力度有时可取得与较大模型降低推理力度相近的基准成绩。

    匹配字段标题

  3. 事件1 条新闻 · 1 个事实

    Together AI推出预留推理服务

    2026年7月8日,Together AI推出面向MiniMax M3和GLM-5.2的Provisioned Throughput预留推理服务。据Together AI Blog介绍,该服务为前沿开放模型提供预留推理容量,采用按token计费并附带99%可用性SLA,成本最高比Claude Opus 4.8标价低90%。容量覆盖北美、EMEA等地区,最短承诺期一个月。用户按Provisioned Throughput Units(PTU)购买,每个PTU每分钟0.05美元;在MiniMax M3上,单个PTU每分钟可提供138,840输入token、694,200缓存输入token或23,140输出token。目前该服务已支持上述两款模型,暂无后续发展事实。

    匹配字段标题

  4. 事件1 条新闻 · 1 个事实

    分享语音推理扩容方法

    ElevenLabs 研究工程师 Angelos Perivolaropoulos 于 2026 年 6 月 30 日分享并测试了通过标准工程优化提升单 GPU 语音推理吞吐的方法。主要手段包括连续批处理、FP8 量化、多 token 预测和经蒸馏适配的 FP8 KV cache。其中,KV cache 缩小 2.5 倍后,吞吐量从 28 名用户增至 70 名;架构级改造则可达到约 140 名用户。各项技术会引入延迟、内存上限或质量损失,实际选择取决于具体工作负载。

    匹配字段标题

  5. 事件1 条新闻 · 1 个事实

    推理可解锁大模型参数知识

    Google Research 于 2026 年 6 月 24 日发布研究,发现推理能帮助大语言模型回忆简单事实。该研究在 COLM 2026 论文中揭示,其机制包括用生成的推理 token 进行隐式计算,以及生成相关事实来激活正确答案。研究在 Gemini-2.5 Flash/Pro 和 Qwen3-32B 上,用 SimpleQA Verified 与 EntityQuestions 数据集对比推理开关模式,发现开启推理后模型能回忆起关闭时几乎无法获取的答案。目前该研究由 Google Research 作为第一方来源发布,尚无后续发展事实。

    匹配字段标题

星期六

星期三

星期三

星期五

星期三

  1. 事件1 条新闻 · 1 个事实

    Zyphra在AWS Neuron推理栈实现Domino式通信重叠

    2026年5月29日,Zyphra Research 与 AWS 合作,在 AWS Neuron 推理栈中实现了 Domino 式张量并行通信重叠。据 Zyphra Research 发布的信息,该工作在 Inferentia2 上针对 Llama 3-8B 进行了不同 NeuronCore 数量的基准测试。测试结果显示,聚合输出吞吐量提升,首 token 时间和每输出 token 时间均下降;在张量并行度更高、集合通信占关键路径更大时,收益最为明显。目前该事件尚无后续发展事实,状态停留在上述实现与基准测试结果。

    匹配字段标题

  2. 事件1 条新闻 · 1 个事实

    SGLang与AMD团队展示MI355X分布式推理TCO结果

    2026年5月28日,SGLang与AMD团队展示了在AMD Instinct MI355X GPU上进行大规模DeepSeek-R1分离式推理的竞争性TCO结果。据LMSYS Blog介绍,团队通过SGLang与MoRI通信库优化,在129 tok/s/user交互性下达到每百万token 0.169美元,比B200 TRT-LLM低5%、比B200 SGLang低40%;每GPU吞吐2,436 tok/s(24 GPU),比B200 SGLang高1.25倍。优化手段包括MoRI量化all-to-all(往返带宽最多降低2.56倍)、MoRI-IO KV cache后端(吞吐比Mooncake高约10%)、SDMA双批次重叠、ROCm上的Specv2 MTP以及CPU流式优化。结果已开源,并通过SemiAnalysis的InferenceX持续验证。目前尚无后续发展事实。

    匹配字段标题

  3. 事件1 条新闻 · 1 个事实

    LG AI Research 分享利用空闲推理 GPU 池调度 GPU 作业

    2026年5月26日,LG AI Research 分享了一套名为“GPU Job Scheduling using an idle inference GPU pool”的方案,将 LLM 服务夜间闲置的推理 GPU 用于训练和研究任务。该方案基于 vLLM 内部指标做自动扩缩容;其分析显示,单副本占 4 张 GPU 时,平均约 52 张 GPU 每天闲置约 12 小时。相关任务以 best-effort 方式运行,当服务流量上升时可随时被中断回收。目前该信息来自 LG AI Research 官方博客,尚无后续发展事实。

    匹配字段标题

星期五

星期四

星期二

星期二