←搜索结果

搜索“推理”

按匹配度 · 共 695 条结果 清除搜索

星期一

星期日

  1. 事件1 条新闻 · 1 个事实

    Thinking Machines Lab 发布 LLM 推理非确定性分析文章

    2026年10月11日,Thinking Machines Lab 发布一篇关于 LLM 推理非确定性的技术文章。文章指出,LLM 推理不确定性的主因不是并发加浮点非结合性,而是内核缺少 batch invariance,导致请求结果随服务端负载和 batch size 变化。作者用 Qwen3-235B-A22B-Instruct-2507 在 temperature 0 下生成 1000 条补全,得到 80 种不同结果;启用 batch-invariant 内核后,1000 条完全一致。相关内核已开源在 thinking-machines-lab/batch-invariant-ops,并给出 vLLM 确定性模式示例。文章还称该特性可让采样与训练结果逐位一致,实现真正的 on-policy RL。目前尚无后续发展事实。

    匹配字段标题

  2. 事件1 条新闻 · 1 个事实

    研究发现关闭思考仍会显式推理

    清华大学、牛津大学和斯坦福大学研究团队发现,大语言模型在关闭思考后仍可能输出推理过程。该发现于2026年10月10日由论文披露,在开放式问题上尤其明显:关闭思考时,DeepSeek-V4-Flash在99.9%的开放式回答中仍写出了推理内容,缺少think标签或回复简短并不能证明模型跳过了推理。研究还显示,对5个模型强制只给答案可将开放式任务的遵从率提升到约40%,但准确率下降约15个百分点。论文地址为arxiv.org/abs/2610.11765。目前尚无后续发展。

    匹配字段标题

  3. 事件1 条新闻 · 1 个事实

    清华提出TokenRouter推理系统

    2026年10月10日,清华大学提出逐Token大小模型路由服务系统TokenRouter。据相关报道,该系统在token级别对大小模型进行路由,让每个模型独占服务器并互相传递半成品答案,同时保留KV cache,并短暂挂起请求以凑成更大批次。报道称,在5种路由方法上,其吞吐量相比更强的现有方案提升2.01至64.15倍,最高达现有方案的64.15倍。目前该工作以论文形式公开,尚无后续进展披露。

    匹配字段标题

  4. 事件2 条新闻 · 2 个事实

    DeepSeek发布V3.2与V3.2-Speciale推理模型

    2025年12月1日,DeepSeek发布DeepSeek-V3.2与DeepSeek-V3.2-Speciale两款面向智能体的推理优先模型。据官方信息,V3.2已在App、Web和API上线,定位日常使用、推理与长度更均衡,是DeepSeek首个将思考直接融入工具调用的模型,支持思考与非思考两种模式下的工具调用;Speciale暂仅提供API,主打极限推理能力,通过临时端点提供,价格与V3.2相同,不支持工具调用,可用至2025年12月15日15:59(UTC)。此前2025年9月29日,DeepSeek曾发布实验模型DeepSeek-V3.2-Exp,基于V3.1-Terminus构建,首次引入DeepSeek Sparse Attention(DSA),官方称基准测试显示其与V3.1-Terminus表现相当,同时API价格立即下调50%以上。

    匹配字段标题

  5. 事件1 条新闻 · 1 个事实

    AgentCore支持按次推理支付

    2026年10月9日,AWS 正式发布 Amazon Bedrock AgentCore payments,为 AI 智能体提供按需付费的托管能力,支持 x402 协议端点,其中包括 Amazon Bedrock 推理端点,使智能体可按次支付模型推理费用。据 AWS Machine Learning 发布的信息,Incarna 借助该服务让智能体逐次向 BlockRun 支付模型推理费用,集成工作从原计划的 2 至 3 个月缩短到 3 天,约 200 行应用代码。测试期间智能体已处理超过 1000 笔支付,单次金额在 0.001 至 0.05 美元之间,每笔在链上独立结算,花费上限由基础设施层强制执行。目前该能力已正式可用,尚无进一步发展事实。

    匹配字段标题

  6. 事件1 条新闻 · 1 个事实

    Dynamo实现会话感知推理

    2026年10月9日,NVIDIA Dynamo 通过统一的会话级标识符实现会话感知推理。据 PyTorch Blog 介绍,Dynamo 使用 session_id 与 parent_session_id,把请求级推理服务改造成程序感知系统,实现会话感知路由、共享 KV cache 索引和跨 vLLM、SGLang 的缓存调度。Dynamo 可直接识别 Claude Code、Codex、OpenCode 等编码智能体发出的身份头,无需配置;其他 harness 可通过 X-Dynamo-Session-ID 头或 agent-plugins 仓库中的插件接入。目前尚无后续发展事实。

    匹配字段标题

  7. 事件1 条新闻 · 1 个事实

    llama.cpp通过ggml RPC后端分发异构推理

    2026年10月7日,llama.cpp作者Georgi Gerganov介绍,llama.cpp可以通过ggml RPC后端在异构设备上分发推理。他表示该能力目前属于高级设置,并预计未来会降低普通用户的使用门槛。被引用的演示显示,MiMo 2.6 Flash的原生mxfp4权重可跨RTX 6000 GPU与M5笔记本运行,在10 GbE下达到40 tokens/sec,且llama.cpp开箱支持。目前该故事没有后续发展事实,状态停留在上述介绍与演示。

    匹配字段标题

星期二

  2. 事件2 条新闻 · 2 个事实

    LeCun称推理含搜索优化时能产生创造性解法

    2026年10月10日,Yann LeCun 提出判断:只要推理涉及搜索或优化,就能找到创造性的解决方案;AlphaZero 会执行搜索,而普通 LLM 不会。同日稍后,他进一步表示,自回归预测无论是否随机,都不构成搜索,因为搜索或优化需要考察多种配置并对其评估以找出一个好的,而 CoT 中没有这种事。目前该判断仍以 LeCun 本人公开发言为证据,暂无其他来源补充或官方回应。

    匹配字段标题

  6. 事件1 条新闻 · 1 个事实

    百度智能云联合SGLang社区举办推理基础设施Meetup

    2026年9月23日,百度智能云联合SGLang社区举办Agent时代的推理基础设施Meetup。据新京报报道,百度智能云主任架构师黎世勇在会上透露,百度内部智能体平均上下文已达60k左右,并可能继续涨至100k、500k。百度百舸通过权重零冗余分布式部署、显存优化和MoE专家压缩支撑长上下文,测试中MoE专家压缩50%后,长输出与高并发场景输出吞吐峰值达原来的2.23倍;sglang-kunlun插件打通SGLang与昆仑芯,国产卡开发可复用70%至80%的CUDA生态经验。目前该活动暂无后续发展事实。

    匹配字段标题

星期六

星期三

星期三

  1. 事件1 条新闻 · 1 个事实

    Google AI Edge 团队开源 ML Drift GPU 推理引擎

    2026年10月8日,Google AI Edge 团队以 Apache 2.0 协议开源端侧 GPU 计算引擎 ML Drift。该引擎抽象 OpenGL ES、OpenCL、Metal 和 WebGPU,是 LiteRT 的核心 GPU 加速引擎,也可作为独立库使用。相比旧版 TFLite GPU delegate,它引入张量虚拟化统一 shader、可扩展自定义算子框架、5D 张量支持和针对 LLM 的阶段性优化,并新增 Windows 和 Linux 桌面预览。官方称 Gemma 基准中内存开销最多降低 12%,YouTube Shorts 平均帧延迟最多降低 40%,Google Photos 提速最多 2 秒,Adobe Lightroom 与 Photoshop 端侧性能最多提升 30%,Snapchat 镜头模型延迟改善 30%。旧版 TFLite GPU delegate 将不再获得新功能更新。目前尚无后续发展事实。

    匹配字段标题

星期四

星期三