←搜索结果

搜索“推理”

按匹配度 · 共 3279 条结果 清除搜索

星期三

  1. Hugging Face精选

    vLLM 的原生速度 Transformers 建模后端

    Hugging Face 更新了 vLLM 的 Transformers 建模后端，使兼容架构无需编写定制推理代码即可达到原生 vLLM 速度。该后端通过 torch.fx 分析模型图，并用 ast 重写操作、应用融合内核，已对 Qwen3 4B、32B 和 235B FP8 MoE 模型进行对比测试。目前尚不支持线性注意力，代码位于 Hub 仓库的自定义模型也可能无法运行。

    Hugging Face 更新了 vLLM 的 Transformers 建模后端，使兼容架构无需编写定制推理代码即可达到原生 vLLM 速度。该后端通过 torch.fx 分析模型图，并用 ast 重写操作、应用融合内核，已对 Qwen3 4B、32B 和 235B FP8 MoE 模型进行对比测试。目前尚不支持线性注意力，代码位于 Hub 仓库的自定义模型也可能无法运行。 · Hugging Face updated vLLM’s Transformers modeling backend so compatible architectures can reach native vLLM inference speed without custom inference code. The backend analyzes model graphs with torch.fx and uses ast to rewrite operations and apply fused kernels, with comparisons covering Qwen3 4B, 32B, and

    匹配字段摘要

    #lab#产品更新#部署/工程#Hugging Face

星期二

  1. Berkeley AI Research (BAIR) Blog

    智能免费之后：为智能体、由智能体构建的数据系统

    Berkeley AI Research 博客指出，GPT-4 级能力从 2023 年初约 $30/百万 token 降至如今不到 $1，部分厂商已低于 $0.10，推理价格年降幅在 9x 到 900x 之间、中位数约 50x。作者提出近零推理成本下的三大方向：为智能体设计的数据系统、支撑智能体集群的数据系统，以及由智能体合成数据系统。其中智能体查询会产生大量重复子计划，text-to-SQL 基准中仅 10-20% 子计划互不相同。

    A cartoon database character and an AI robot agent holding hands

    匹配字段摘要

    #lab#现象/趋势#Agent#数据/训练

星期一

  1. Modal 官方工程博客

    Modal 如何为 serverless GPU 定价

    Modal 官方工程博客发布交互式工具，帮助团队估算 serverless 与预留 GPU 的成本，默认采用 Modal 上 B200 的 serverless 现价与超大规模云厂商三年预留价格。模型显示，当峰值与均值比高于预留折扣率时，serverless GPU 总成本更低；Modal 观察到推理、训练和智能体开发负载的峰值均值比常达 5:1 甚至 10:1，而行业调查显示预留 GPU 利用率普遍低于 30%、常低于 10%。

    Applicaton GPU demand over two months, showing high variability

    匹配字段摘要

    #company#教程/实践#部署/工程#数据/训练

星期三

  1. Hugging Face

    Hugging Face 与 Cerebras 将 Gemma 4 用于实时语音 AI

    Hugging Face 与 Cerebras 搭建了开放、模块化的实时语音到语音管线，以 Nvidia Parakeet 识别语音、在 Cerebras 上运行 Google DeepMind Gemma 4 31B，并通过阿里巴巴 Qwen3TTS 生成语音回复。Cerebras 旨在缩短并稳定模型推理延迟；该管线已用于超过 9,000 台 Reachy Mini 机器人，开发者可体验 Demo 并查看 huggingface/speech-to-speech 仓库。

    Hugging Face 与 Cerebras 搭建了开放、模块化的实时语音到语音管线，以 Nvidia Parakeet 识别语音、在 Cerebras 上运行 Google DeepMind Gemma 4 31B，并通过阿里巴巴 Qwen3TTS 生成语音回复。Cerebras 旨在缩短并稳定模型推理延迟；该管线已用于超过 9,000 台 Reachy Mini 机器人，开发者可体验 Demo 并查看 huggingface/speech-to-speech 仓库。 · Hugging Face and Cerebras built an open, modular real-time speech-to-speech pipeline using Nvidia Parakeet for speech recognition, Google DeepMind’s Gemma 4 31B running on Cerebras, and Alibaba’s Qwen3TTS for spoken responses. Cerebras is intended to reduce a

    匹配字段摘要

    #lab#产品更新#语音#部署/工程
  2. Together AI Blog

    Together AI 完成 8 亿美元 C 轮融资，加速开源 AI 转型

    Together AI 宣布完成 8 亿美元 C 轮融资，投资方包括 NVIDIA、Aramco Ventures、Vista Equity、General Catalyst 等，并额外锁定超过 500 MW 算力容量。其平台客户涵盖 Cursor、Eleven Labs、Suno、Cognition、Decagon 等，使用 DeepSeek、Nemotron、MiniMax、Kimi、GLM 等开源权重模型可实现 6x 至 20x 的成本降低，Decagon 迁移后推理成本下降六倍。

    匹配字段摘要

    #company#行业动态#数据/训练#部署/工程
  3. Claude 应用发布说明精选

    Anthropic 发布 Claude Sonnet 5，主打智能体能力与成本效率

    Anthropic 发布 Claude Sonnet 5，称其为迄今最具智能体能力的 Sonnet 模型，在推理、工具使用、编码和知识工作方面较 Sonnet 4.6 有显著提升，性能接近 Opus 4.8 但价格更低。该模型现已在所有套餐中可用，定价为每百万输入 token 2 美元、每百万输出 token 10 美元，开发者可通过 Claude API 使用 claude-sonnet-5。

    匹配字段摘要

    #company#模型发布#Agent#编码

星期二

  1. Together AI Blog

    Together AI 在 ICML 2026 发布九篇全栈前沿研究论文

    Together AI 在 ICML 2026 发表九篇论文，覆盖从智能体到 GPU kernel 的全栈研究。其中 ThunderAgent 为智能体推理带来 1.5–3.6 倍吞吐提升，三行代码即可接入；TTT-Discover 用开源 gpt-oss-120b 在数学、GPU kernel、竞赛算法和生物学四个领域取得 SOTA 发现，单题成本约 500 美元。Aurora 自适应投机解码已作为 ATLAS speculator 落地生产。

    匹配字段摘要

    #company#论文/研究#Agent#推理

星期六

  1. Google Research

    Google 用冻结多 token 预测加速 Pixel 上的 Gemini Nano

    Google Research 提出将多 token 预测（MTP）改造到已冻结的 Gemini Nano v3 上，在不改动主干权重的前提下加速端侧推理。该方法在主干最后几层附加轻量 Transformer 头，直接交叉注意力读取主干的 KV cache，省去独立草稿模型的预填充延迟，并比独立草稿模型节省最多 130MB 内存。在 Pixel 9 上，其 token 预测速度比同参数量独立草稿模型快 50% 以上，已随 Pixel 9 和 10 系列推送，用于 AI 通知摘要和校对等功能。

    Accelerating Gemini Nano models on Pixel with frozen Multi-Token Prediction

    匹配字段摘要

    #lab#产品更新#端侧#部署/工程

星期五

  1. LMSYS Blog

    LMSYS 用 Waterfill 与 LPLB 改进 SGLang 中 DeepEP MoE 负载均衡

    LMSYS 在 SGLang 中为 DeepEP MoE 推理引入两种调度期负载均衡方案：面向共享专家路径的 Waterfill 和基于线性规划、面向冗余专家副本的 LPLB。在两台 Hopper GPU 节点上，Waterfill 在 MMLU、GPQA、GSM8K 上把总吞吐提升 1.48% 至 4.66%，DeepSeek V4 上最佳点从 49,253 tok/s 升至 51,677 tok/s（+4.92%）；LPLB 在冗余 EPLB 部署下提升 0.84% 至 7.34%。

    Waterfill timeline before and after shared-expert balancing

    匹配字段摘要

    #company#教程/实践#部署/工程#开源生态
  2. Lilian Weng

    Lilian Weng 发布 scaling laws 长文

    一篇拖了很久（3 年多？）的关于 scaling laws 的文章。 算力很贵。scaling laws 是一种帮助我们在投入大规模训练之前，推理数据与模型规模之间最优算力分配的方法。 文章涵盖 scaling laws 预测了什么、算力最优分配如何运作、为什么 Kaplan et al. 与 Chinchilla 结论不一致，以及数据限制 + 拟合细节如何让外推变得棘手。

    一篇拖了很久（3 年多？）的关于 scaling laws 的文章。 算力很贵。scaling laws 是一种帮助我们在投入大规模训练之前，推理数据与模型规模之间最优算力分配的方法。 文章涵盖 scaling laws 预测了什么、算力最优分配如何运作、为什么 Kaplan et al. 与 Chinchilla 结论不一致，以及数据限制 + 拟合细节如何让外推变得棘手。

    匹配字段摘要

    #editorial#教程/实践#数据/训练

星期四

  1. Johann Rehberger / Embrace The Red

    Claude Computer-Use 的 TOCTOU 攻击：点击的并非所见

    安全研究者 Johann Rehberger 复现了针对 Claude Computer-Use 的 TOCTOU 竞态攻击，利用推理期间屏幕变化让智能体点击与预期不同的对象。他构造的钓鱼页面把 Continue 按钮放在 Outlook 草稿 Send 按钮的同一位置，并用 bash 计算 1+1 拖延时间等待页面加载，从而让智能体误点发送邮件。作者去年十月已向 Anthropic 报告，对方称已跟踪该风险，并在后续 Cowork 中表示会在动作前确认像素未变化。他建议在推理开始和结束时各做一次快照，确认 UI 未发生显著变化再执行动作。

    匹配字段摘要

    #analysis#安全/对齐#Agent#Anthropic
  2. Modal 官方工程博客

    Modal 推出 serverless Servers：p50 延迟从 39ms 降至 6ms

    Modal 发布 serverless Servers，为 HTTP、WebSocket 和 gRPC 流量提供区域化、自动扩缩的 HTTP 服务器副本池，面向 LLM 推理等毫秒级敏感场景，将 p50 延迟从 39ms 降至 6ms。与内置队列和平台管理请求生命周期的 Modal Web Functions 不同，Servers 走更轻量的低延迟路径，无可用副本时客户端收到 503，队列与降载交由容器应用处理。

    匹配字段摘要

    #company#产品更新#部署/工程#推理
  3. Liquid AI 模型与工程博客

    Liquid AI 发布 LFM2.5-230M 端侧小模型

    Liquid AI 发布目前最小的模型 LFM2.5-230M，基于 LFM2 架构，预训练 19T tokens 并含 32K 上下文扩展阶段，Base 与后训练版本已在 Hugging Face 开放。官方称其在 Galaxy S25 Ultra 上解码速度 213 tok/s、Raspberry Pi 5 上 42 tok/s，并在 GPQA Diamond、MMLU-Pro、IFEval、BFCLv3/v4 等十项基准上与参数量两倍以上的模型竞争。该模型已适配 llama.cpp、MLX、vLLM、SGLang 和 ONNX，官方同时提示不适合高级数学、代码生成和创意写作等重推理任务。

    匹配字段摘要

    #company#模型发布#端侧#开源生态

星期三

  1. Google DeepMind精选

    Google DeepMind 在 Gemini 3.5 Flash 中内置 computer use

    Google DeepMind 将 computer use 作为内置工具集成进 Gemini 3.5 Flash，此前该能力仅以独立的 Gemini 2.5 computer use 模型形式提供。开发者可通过 Gemini API 和 Gemini Enterprise Agent Platform 使用它构建能跨浏览器、移动端和桌面环境感知、推理并执行操作的智能体，面向持续软件测试等长周期与企业自动化任务。为降低实时环境中的提示词注入风险，官方对 computer use 做了针对性对抗训练，并发布两套可选的企业级防护系统。

    匹配字段摘要

    #lab#产品更新#Agent#Google

星期一

  1. Interconnects

    GLM-5.2 是开源智能体的转折点

    Interconnects 作者认为 GLM-5.2 是首个在编码智能体框架中真正好用的开源权重模型，社区基准显示它是唯一能与 OpenAI、Anthropic 最新模型同场竞争的开源模型。作者实测用 Fireworks API 在 Claude Code 中调用该模型，整体能力立刻感觉可用，但遇到框架向模型发送图片导致 API 会话中断、需手动清空上下文的问题。作者测算 Claude Opus 4.5 发布到 GLM-5.2 发布相隔 204 天，落在常说的 6 至 9 个月开源与闭源性能差距区间内，并认为这会加剧 token 消耗大户的定价压力，利好开源模型推理与微调生态。

    匹配字段摘要、正文

    #newsletter#行业动态#开源生态#Agent
  2. The Next Platform

    HPE 借智能体 AI 浪潮重返数据中心

    HPE 用 GreenLake Intelligence 智能体框架和与 Nvidia 合作的 Private Cloud AI 在本地搭建 AI 优先支持平台，将成本降低逾 30 倍，每月节省近 10 万美元。其 CTO Fidelma Russo 称，智能体让推理变成持续运营负载，每次推理、验证和行动都消耗 token，HPE 由此从 AI 消费者变为智能生产者。Signal65 数据显示，智能体消耗的 token 是普通 AI 对话的 4 至 15 倍。

    匹配字段摘要

    #hot-signal#行业动态#Agent#部署/工程
  3. Prime Intellect精选

    Prime Intellect 发布 prime-rl 0.6.0，支持万亿参数规模强化学习

    Prime Intellect 发布 prime-rl 0.6.0，可在重智能体负载下训练万亿参数规模模型，并称能在 28 个 H200 节点上以最高 131k 序列长度训练 GLM-5 完成 SWE 任务，步时间低于 5 分钟、批量 256 条 rollout。该版本采用异步 RL，将训练与推理解耦，并给出 FP8 推理、Wide EP、P/D 分离、KV cache 分层卸载、router replay 以及 FSDP、EP、CP 三维并行等优化细节。这些优化同样适用于 Kimi-K2.7-Code、NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16 等其他大型 MoE 模型。

    RL at 1T Scale: prime-rl Performance Deep Dive

    匹配字段摘要

    #company#产品更新#数据/训练#部署/工程

星期日

  1. Sakana AI：Blog精选

    Sakana AI 发布 Fugu 与 Fugu Ultra 多智能体编排模型

    Sakana AI 发布 Sakana Fugu，把多智能体编排系统做成一个基础模型，通过单一 OpenAI 兼容 API 调用，内部自行完成模型选择、任务委派、验证与结果整合。首发包含 Fugu 和 Fugu Ultra 两个版本，前者兼顾性能与低延迟，后者面向多步难题；官方称 Fugu Ultra 在工程、科学与推理基准上可与 Fable 5、Mythos Preview 比肩。其智能体池可替换，官方表示若某家供应商限制访问，Fugu 会动态绕开，并计划后续纳入开放模型与自家模型。

    匹配字段摘要

    #company#产品更新#Agent#MCP/工具调用
  2. 电子技术应用

    AI时代CPU与GPU的主角之争：中科曙光发布百核级512线程国产CPU平台

    中科曙光2026年6月15日发布新一代通用高性能计算平台，搭载国产百核级512线程通用CPU，单芯片FP64双精度算力达10T，HPL双精度浮点性能较上一代提升近2倍。该平台是国内首个原生支持AVX-512指令集的国产通用计算平台，现有HPC软件无需重新编译即可运行，实现零迁移成本。文章指出，随着推理与Agentic AI兴起，国内AI集群CPU:GPU配比已从1:8升至1:2，CPU正从配角走向指挥中枢。

    匹配字段摘要、正文

    #chinese#行业动态#数据/训练#推理

星期四

  1. Amp Chronicle

    Amp Librarian 提速约 3 倍，成本降低 43%

    Amp Librarian 在质量不变的情况下提速约 3 倍、成本降低 43%，现改用无推理的 GPT-5.5、websocket 模式和新版系统提示词。每轮并行工具调用从约 3 次增至约 8 次，搜索由约 15 轮缩至约 5 轮；内部测试耗时从 2 分钟降至 40 秒，成本从 $1.08 降至 $0.47。

    匹配字段摘要

    #company#产品更新#Agent#编码