←搜索结果

搜索“推理”

按匹配度 · 共 695 条结果 清除搜索

星期日

  1. 事件1 条新闻 · 1 个事实

    Together AI联合IBM和NVIDIA扩建企业推理集群

    2026年10月6日,Together AI宣布与IBM、NVIDIA合作扩展企业级AI推理能力,首批在IBM Cloud上部署大规模NVIDIA B300 GPU集群,并采用NVIDIA Spectrum-X以太网网络。据Together AI博客介绍,这是IBM Cloud上首个此类专用大规模推理集群,Together AI也是首个客户。三方分工为:Together AI负责推理层,IBM提供云,NVIDIA提供芯片与网络。其平台每月服务超百万开发者、处理数百万亿token。目前尚无后续发展事实。

    匹配字段标题

  2. 事件1 条新闻 · 1 个事实

    Hao AI Lab开源DJev-serve推理引擎

    2026年10月5日,Hao AI Lab开源了DJev-serve推理引擎。据该实验室介绍,每一步都是DJev在DiffusionGemma上的一次前向传播,零token生成;该开源引擎在NVIDIA GB200 NVL72和B200上,把每个决策作为一张CUDA graph运行。目前尚无后续有合格事实证据的发展,事件状态停留在开源发布这一节点。

    匹配字段标题

  3. 事件1 条新闻 · 1 个事实

    Baseten的GLM-5推理速度登顶

    2026年10月3日,Baseten宣布通过优化并部署GLM-5模型API,在Artificial Analysis独立基准测试中实现每秒200余Token的生成速度和约200毫秒的首Token延迟,位列榜首。据Baseten工程博客介绍,其采用低开销MTP投机解码引擎、针对GLM-5架构优化的MoE路由内核,以及为DeepSeek Sparse Attention定制的推理内核。GLM-5是Z.ai的最新开源旗舰模型,总参数744B、每轮前向激活40B、训练token量28.5T,采用MIT许可,在SWE-bench Verified得分77.8、AIME 2026得分92.7%。目前该事件尚无后续发展事实。

    匹配字段标题

  4. 事件2 条新闻 · 1 个事实

    Baseten用智能体优化推理引擎

    Baseten 工程博客作者基于 MetaInfer 技能框架,让 Claude Code 自主构建并优化推理引擎。在单张 B200 上,其为 Qwen-3.6-35B-A3B(NVFP4)构建的 VibeQwen 单流解码速度最高比 vLLM 0.25.1 快 90%,TTFT 快 2.33 倍,并发 32 时单副本吞吐高出 71%;整个项目约一周,消耗约 17 亿 token 和 200 B200 小时,成本在数千美元量级。作者随后用同一知识库为图像分割模型 SAM 3.1 构建推理服务 Sammie,在单张 H100 上达到 91 张图/秒,比 Facebook 参考服务吞吐提升 50%,耗时数天、约 2 亿 token。目前尚无后续发展。

    匹配字段标题

  5. 事件2 条新闻 · 1 个事实

    Prime Intellect推出Prime Inference推理平台

    2026年10月,Prime Intellect推出面向前沿开源模型的推理服务平台Prime Inference,提供无服务器端点和预留GPU容量,支持通过OpenAI SDK接入,并具备跨数据中心自动故障转移能力。据其官方发布,首个公开部署的GLM-5.3已于9月22日上线OpenRouter,工具调用错误率接近零、上线以来保持100%可用;服务栈结合NVIDIA Dynamo、vLLM、Mooncake和FlashInfer,采用预填充与解码分离部署,在GB200 NVL72上以1:4的P/D比例实现每组66个会话、每用户101 tok/s。另有报道称,该平台在公开发布前内部日均处理近一万亿token,负载来自RL rollout、合成数据生成、评测和长时间运行的编码智能体,测试中p90词元间延迟降低近40%。

    匹配字段标题

  6. 事件2 条新闻 · 1 个事实

    OpenAI阻止推理窃取活动

    OpenAI 称已检测并关闭一场针对其模型隐藏推理的对抗性蒸馏攻击。据其说法,该活动 7 月 1 日以小规模开始,7 月 24 至 25 日激增至来自 4000 多名用户的 16000 次请求,涉及 15000 多个关联账号,到 7 月 28 日已全部封禁。OpenAI 将核心参与者与 Moonshot AI 相关人员关联,并称已封禁欺诈账号、收紧注册,堵住加密推理被复用读取的漏洞。研究者 Joachim Schaeffer 团队 9 月 13 日复测发现,该攻击在 OpenAI 和 Anthropic 自家 API 上被拦截,但在 Microsoft Azure 上对包括 GPT-6 Astra 在内的每个 OpenAI 模型以及最高到 Sonnet 5 的 Anthropic 模型仍然有效,一次尝试即可逐字提取推理内容。

    匹配字段标题

星期二

星期一

星期六

星期三

星期二

  2. 事件1 条新闻 · 1 个事实

    前DeepMind研究者称已离职以寻求机器推理新方法

    2026年10月2日,一名前Google DeepMind研究者宣布离职,表示将寻求机器推理的新方法。该研究者在同日发表的撰文中指出,大语言模型逐token预测的本质只是System 1式直觉,链式思维仍由同一预测过程生成,缺乏可检视的持久认知状态,也缺乏知识与推理的分离,且常事后编造推理过程。作者据此主张借鉴AlphaGo的搜索架构,为机器推理建立独立的认知状态。目前该事件仅有这一篇代表报道,尚无后续发展事实。

    匹配字段标题

  4. 事件1 条新闻 · 1 个事实

    Cerebras 主张推理速度已成为准确率杠杆

    2026年2月19日,Cerebras 提出一项主张:推理速度不再只是可用性阈值,而是提升准确率的关键杠杆。其官方博客称,Cerebras 推理速度最高可达 NVIDIA GPU 的 15 倍,且无需 CUDA 迁移成本,可直接在现有开源模型上用于生产环境。该文章认为,自 2024 年底 OpenAI 首个推理模型发布后,准确率越来越依赖更多推理步骤,因此速度的意义从可用性门槛转向准确率杠杆。目前该主张仅有 Cerebras 一方来源,尚无其他独立来源或后续发展事实。

    匹配字段标题

  5. 事件1 条新闻 · 1 个事实

    StackAI 集成 Cerebras 推理层

    2026年1月28日,StackAI 集成 Cerebras 推理层。据 Cerebras 官方博客,StackAI 将 Cerebras 集成进其低代码企业 AI 智能体平台,在理赔分诊、合规检查、信贷决策等需要人工介入的环节默认采用 Cerebras 推理,实现亚秒级延迟,速度最高可达 GPU 的 15 倍。StackAI 支持企业按步骤自选开源模型与推理提供商;Cerebras 还支持私有部署、混合部署和安全 API 集成,服务金融、医疗与政府客户。目前尚无后续发展事实。

    匹配字段标题

  6. 事件1 条新闻 · 1 个事实

    Cerebras 称超低延迟推理正成为平台级优先事项

    2026年4月28日,Cerebras 提出判断:超低延迟推理正从差异化优势转变为 AI 应用的关键要求,并成为平台级优先事项。Cerebras 正把超低延迟推理从差异化优势变成平台基础设施,其晶圆级引擎在单芯片上统一算力、内存与带宽,推理速度最高可达传统 GPU 系统的 15 倍。公司同时扩展模型、云与开发者工具生态,覆盖 AG2/AutoGen、CrewAI、Aider、Cline、VS Code、Windsurf 等框架,并支持公有云、本地及私有部署。目前该判断由 Cerebras 官方博客披露,尚无其他独立来源交叉印证。

    匹配字段标题

星期五

星期三

星期四