←搜索结果

搜索“推理”

按匹配度 · 共 3239 条结果 清除搜索

星期日

  1. 事件1 条新闻 · 1 个事实

    Cohere推出代码模型推理引擎

    2026年9月8日,Cohere发布面向North Mini Code的Megakernel推理服务引擎并开放GitHub代码。该引擎在单张H100上以BF16运行,端到端平均解码吞吐量较vLLM提升1.25至1.41倍;批大小为1时达到292 tok/s,为vLLM的1.58倍。它支持连续批处理、分页注意力、流式输出、前缀缓存、工具调用及OpenAI兼容接口。目前最大批大小为8,预填充仍由普通PyTorch内核运行,期间会暂停解码。

    匹配字段标题

  2. 事件1 条新闻 · 1 个事实

    Unsloth 提升 GLM-5.3-Flash 本地推理速

    2026年9月4日,Unsloth 宣布对 GLM-5.3-Flash 的本地 GGUF 推理完成优化并公布结果。据其说法,本地推理速度提升 1.6 至 3.4 倍,配合优化解码与多 token 预测,整体最高快 3.3 倍。用户可在 128GB 设备上通过 Unsloth Desktop 或 llama.cpp 以 3-bit 量化运行,Unsloth 同时提供了使用指南和 GGUF 权重链接。被引用的 Z.ai 发布信息显示,GLM-5.3-Flash 为 320B-A18B 模型,采用 MIT 许可,原生多模态并支持 1M token 上下文窗口。目前该优化已公布,尚未见后续更新。

    匹配字段标题

  3. 事件1 条新闻 · 1 个事实

    Groq 3 LPX长上下文推理测速

    2026年8月24日,Artificial Analysis 对 NVIDIA Groq 3 LPX 进行基准测试。在 Gemma 4 31B、100K 上下文测试中,其输出速度中位数达到每秒3431个 Token;在 SPEED-Bench 上,中位速度为每秒4767个输出 Token,P80 为每秒5520个。材料称,其确定性执行、编译器调度芯片间通信,以及细粒度的计算与通信重叠,面向长上下文低延迟推理。

    匹配字段标题

  4. 事件1 条新闻 · 1 个事实

    微软推出空间推理基准MindTopo

    2026年8月13日,微软研究院推出多模态模型拓扑空间推理基准MindTopo。该基准从连通性、包围、顺序、打结等五类拓扑属性评估多模态大语言模型的空间理解能力,每类又分为静态推理与交互规划两个认知层级。测试显示,模型在静态推理上普遍强于交互规划,两者均远低于人类水平;规划错误多发生在场景已被理解之后,模型无法在连续动作中维持拓扑关系。图像与视频生成仅在单帧关系可见时偶有帮助,跨序列时经常改变拓扑或违反任务动态。目前尚无后续发展。

    匹配字段标题

  6. 事件1 条新闻 · 1 个事实

    Unsloth推出DSpark加速DeepSeek本地推理

    2026年8月6日,Unsloth发布DSpark,用于加速DeepSeek-V4-Flash-0731的GGUF本地推理。据Unsloth介绍,该方案使本地生成速度提升约1.4至2倍,且精度不变,本地可达到120 tokens/s。Unsloth同时提供了对应的GGUF文件与使用指南。目前该事件仅有这一条进展,尚无后续更新。

    匹配字段标题

星期二

星期五

星期二

星期三

星期三

  1. 事件1 条新闻 · 1 个事实

    Johann Rehberger 复现加密推理轨迹恢复攻击

    2026年8月17日,Johann Rehberger 复现了论文《Stealing Reasoning Traces from Proprietary LLM APIs》中的攻击方法。他利用一个 OpenAI 账号下 GPT-5.6 Sol 生成的加密推理链,改用另一账号的 GPT-5.6 Luna 配合轻度越狱提示词,还原出底层推理内容,其中包括原推理中出现过的密码。他指出,这类加密推理 blob 可能因厂商在用户、会话和模型间共用密钥而被跨会话、跨账号恢复。论文作者还从公开仓库抓取的 315,320 个推理块中还原出 367 条 PII 和 182 条凭据。测试期间该攻击曾于 8 月 11 日前后完全失效,三天后又恢复可用,原因不明。

    匹配字段标题

  2. 事件1 条新闻 · 1 个事实

    Microsoft 发布 MAI-Thinking-1 推理模型

    2026年8月12日,Microsoft AI 发布推理模型 MAI-Thinking-1,并已在 Microsoft Foundry 开启公开预览。据微软 AI Blog 介绍,该模型采用 35B 激活参数、约 1T 总参数的稀疏 MoE 架构,支持 256k token 上下文窗口、函数调用和开发者指令,兼容 Chat Completions API。微软称其训练未使用第三方模型蒸馏,数据为可追溯的企业级数据。评测方面,该模型在 SWE-Bench Pro 上与 Claude Opus 4.6 持平,AIME 2025 得分 97.0%、AIME 2026 得分 94.5%,并在与 Claude Sonnet 4.6 的盲测人评中被更多用户偏好。目前尚无后续发展事实。

    匹配字段标题

星期一

星期三

星期四

星期一

  1. 事件1 条新闻 · 1 个事实

    Amazon发布自动推理组十年回顾

    2026年8月12日,Amazon发布自动推理团队(ARG)成立十周年的回顾。回顾称,该团队十年来已将形式化验证从学术研究转化为每天处理数十亿次查询的生产服务,其Tiros、Zelkova等工具演化为IAM Access Analyzer、Amazon Inspector和Reachability Analyzer。回顾还提到,该团队证明了Nitro隔离引擎、密码学实现以及每秒处理10亿次API调用的授权引擎的正确性;Amazon Bedrock Guardrails的自动推理检查用形式逻辑验证模型响应是否符合既定策略,验证准确率最高达99%。目前没有该回顾之后的新发展事实。

    匹配字段标题

星期二

星期四