←搜索结果

搜索“推理”

按匹配度 · 共 695 条结果 清除搜索

星期五

  2. 事件3 条新闻 · 1 个事实

    Apple 发布 MLX 新版本支持 Mac Studio 本地与分布式大模型推理

    2026年10月16日,Apple Machine Learning Research 发布最新版本 MLX,支持在 Mac Studio 上本地及分布式推理大语言模型。据其介绍,该版本借助 macOS 26.2 的 RDMA over Thunderbolt 5 驱动和 MLX v0.30.1 起的 jaccl 通信集合实现多机分布式推理;在四台 M5 Ultra Mac Studio 上,816B 参数的 Muse Spark Open 以 NVFP4 精度生成速度超过 36 tokens/s;单机上 M5 Ultra 相比 M3 Ultra 的 TTFT 最高快 4.6 倍,生成速度提升 1.6 倍。文中还给出 mlx_lm.benchmark、mlx.launch 和 mlx_lm.server 的命令示例,并说明可用 OpenCode 等工具接入本地 LLM 服务。同日另有报道称,Apple 与 Meta 合作使 Muse Spark Open 可在两台或四台 Mac Studio 上本地运行并完成智能体任务,并提到 M5 Ultra 集成 GPU 每台可用最多 512 GB

    匹配字段标题

  3. 事件1 条新闻 · 1 个事实

    Aravind Srinivas 称 Neoclouds 需拥有完整智能体推理平台

    2026年10月16日,Aravind Srinivas 提出判断,认为 Neoclouds 不能只出租 GPU,还需要拥有完整的智能体推理平台。他列举该平台应包含开放权重模型(SGLang)、微调模型(Miles、River)以及安全沙箱(SPACE),并表示期待与 Coreweave、Akamai、Crusoe 等伙伴合作。同一来源还提到,Perplexity 开源了其沙箱 SPACE,并与 Akamai、Coreweave、Crusoe 等合作推进 AI 安全。目前该判断尚无后续发展事实。

    匹配字段标题

  5. 事件1 条新闻 · 1 个事实

    Apple提出SSR框架,多模态搜索智能体推理延迟降低超90%

    2026年10月16日,Apple提出Selection-based Structured Reasoning(SSR)框架。该框架将推理从开放式生成改为从预设可复用自然语言候选中选择,无需辅助任务头,并借助共享上下文KV cache并行打分。在2B和4B模型、七个多模态搜索基准上,SSR平均成功率与同规模领先搜索智能体相当,单轮推理延迟降低超90%,每题模型总推理延迟降低28–54%。目前尚无后续发展事实。

    匹配字段标题

星期日

  1. 事件1 条新闻 · 1 个事实

    美光开发面向物理AI的边缘推理内存EIM

    美光(Micron)正在开发面向物理AI的边缘推理内存EIM,其做法是将LPDDR堆叠在逻辑裸片上,以降低AI推理延迟并提升带宽。美光副总裁Lee Cheol在SEDEX 2026上表示,公司正与主要客户讨论适配自动驾驶、人形机器人、AR/VR等新兴市场的产品,并计划将EIM应用于LPDDR6;业界预计2028年下半年量产。美光还预计,未来高性能人形机器人需要约200GB DRAM和4TB存储,而当前服务机器人仅12GB DRAM和256GB存储。目前该产品仍处于开发阶段,尚无进一步量产或客户落地的时间表披露。

    匹配字段标题

星期三

  1. 事件1 条新闻 · 1 个事实

    LMSYS推出SGLang低延迟模式,NVIDIA与AMD GPU推理提速

    LMSYS于2026年10月18日发布SGLang Low-Latency Mode,通过插件框架把专用kernel接入SGLang,在NVIDIA和AMD GPU上降低推理延迟。据LMSYS Blog介绍,在四块NVIDIA GB300上回放AgentX trace,单并发会话的P90每用户token生成速度从671.2提升到928.4 tokens/s,为1.38倍;在四块AMD MI355X上四并发会话从331.6提升到516.0 tokens/s,为1.56倍。NVIDIA侧kernel位于sgl-nvidia-mega,AMD侧位于sgl-amd-mono,均针对DeepSeek-V4.1-Flash与DSpark的验证和草稿执行做优化。目前尚无后续发展事实。

    匹配字段标题

星期六

星期四

  2. 事件1 条新闻 · 1 个事实

    Inworld 推出面向消费级 AI 应用的推理 API

    2026年10月15日,Inworld 推出 Inworld Inference,一个面向消费级 AI 应用的 LLM 推理 API。据 Testing Catalog 报道,该 API 支持 Gemma 4、GLM、DeepSeek 和 MiMo 等开源模型。官方称在 Gemma 4 26B 上首 token 中位延迟为 0.17 秒,对比 OpenRouter 上其他供应商中位值 0.61 秒快 3.6 倍;95 分位为 0.31 秒对 2.42 秒,快 7.8 倍。开发者还可设置首个模型失败或耗时过长时自动切换到备用模型。目前尚无后续发展事实。

    匹配字段标题

  4. 事件1 条新闻 · 1 个事实

    Clément Delangue 呼吁关注推理大模型之外的多元 AI 模型

    2026年10月14日,HuggingFace CEO Clément Delangue 公开呼吁,把推理大模型之外的多元 AI 模型重新置于聚光灯下。他表示,很高兴看到 Google 的 Embedding Gemma 2 登上 HF 趋势榜。他认为媒体和硅谷只关注推理 LLM,但嵌入向量、决策模型、音频、视频、时间序列等 AI 模型同样极具影响力,HF 上已有超过 300 万个公开模型,应让它们重新获得关注。目前尚无后续发展事实。

    匹配字段标题

星期三

  2. 事件1 条新闻 · 1 个事实

    Qwen祝贺LightSeek的TokenSpeed推理结果

    2026年10月14日,Qwen(通义千问)公开祝贺LightSeek取得TokenSpeed推理成果。据Qwen发布的信息,Qwen3.8-Flash-Next在Nvidia GPU上实现每用户685 output tokens/s,Qwen对此表示祝贺,并期待社区进一步释放Qwen的推理潜力。目前该事件仅有Qwen一方发布的信息,尚无其他来源的独立报道或后续进展。

    匹配字段标题

  4. 事件4 条新闻 · 2 个事实

    MiniCPM-V 4.7 在 Apple Silicon 上实现端侧推理

    2026年10月13日,面壁智能宣布 MiniCPM-V 4.7 在 Apple Silicon 上获得 Day 0 全端侧推理支持。据当日报道,该模型(1B 与 35B-A3B)通过与 Nativ 合作在 Mac 上实现全本地推理,支持图像与视频理解;在 Apple Silicon 搭配 Nativ v0.4.x 实测中,1B 版 prefill 超 24K tokens/s、decode 315 tok/s,35B-A3B 版 prefill 超 4K tokens/s、decode 90 tok/s。10月13日至14日的后续报道称,面壁智能发布新一代端侧多模态大模型 MiniCPM-V 4.7,为 35B-A3B 的 MoE 模型,可在手机上以仅 3GB 内存运行,能识别现实路牌、按约束做规划、解析复杂文档并对视觉数据推理,同时提供轻量 1B 版本,覆盖 iOS 与 Android。

    匹配字段标题

  5. 事件3 条新闻 · 2 个事实

    Liquid AI 发布 LFM2.5-24B-A2B 端侧推理模型

    2026年10月13日,Liquid AI 发布 LFM2.5-24B-A2B 端侧智能体模型。该模型总参数 24B、每 token 仅激活 2B,是 LFM2.5 家族中最大也是最后一款模型,基础版与后训练版均已在 Hugging Face 和 Playground 开放权重。据官方博客,它采用显式思维链的纯推理模式,上下文窗口从 32,768 扩展到 131,072 tokens,词表从 65K 扩至 128K,预训练数据从 17T 扩至 33T tokens;在八项智能体与工具调用基准中的五项领先或持平 Qwen3.6-35B-A3B,AutomationBench 得分为 27.69 对 8.72,LiveClaw 为 48.09 对 38.19;在 Apple M5 Max 上解码 184 tokens/s,单张 NVIDIA B300 GPU 高并发下输出超过 21K tokens/s。10月14日,OpenRouter 宣布该模型已上线,称其会先推理再作答,面向智能体与工具调用场景。

    匹配字段标题

  6. 事件1 条新闻 · 1 个事实

    Rohan Paul 提出推理定价存在规模惩罚

    2026年10月14日,Rohan Paul 提出判断:推理定价存在规模惩罚,最优每 token 价格给到承诺量最大者。其同源证据以 RouterPlus 为例说明这一判断:该服务把多个团队的需求合并成与供应商的一笔大单,各团队按自身流量份额享受该批量单价,使非批量买家也能拿到批量定价。该服务还会用真实用量测试模型,挑出够用且成本最低的那个,避免所有任务都付费调用顶级模型。作者认为这种模式最适合热门开源模型,因为多个团队本就需要相同权重跑在同类硬件上。目前尚无后续发展事实。

    匹配字段标题

星期二

  1. 事实所属事件

    Liquid AI 发布 LFM2.5-24B-A2B 端侧推理模型

    2026年10月13日,Liquid AI 发布 LFM2.5-24B-A2B 端侧智能体模型。该模型总参数 24B、每 token 仅激活 2B,是 LFM2.5 家族中最大也是最后一款模型,基础版与后训练版均已在 Hugging Face 和 Playground 开放权重。据官方博客,它采用显式思维链的纯推理模式,上下文窗口从 32,768 扩展到 131,072 tokens,词表从 65K 扩至 128K,预训练数据从 17T 扩至 33T tokens;在八项智能体与工具调用基准中的五项领先或持平 Qwen3.6-35B-A3B,AutomationBench 得分为 27.69 对 8.72,LiveClaw 为 48.09 对 38.19;在 Apple M5 Max 上解码 184 tokens/s,单张 NVIDIA B300 GPU 高并发下输出超过 21K tokens/s。10月14日,OpenRouter 宣布该模型已上线,称其会先推理再作答,面向智能体与工具调用场景。

    English translation is being prepared.

    匹配字段标题

    查看事件：Liquid AI 发布 LFM2.5-24B-A2B 端侧推理模型