←搜索结果

搜索“OpenAI”

按匹配度 · 共 457 条结果 清除搜索

星期四

  1. Pydantic AI 官方文章精选

    Pydantic AI 将 E2B 沙箱接入为原生能力

    Pydantic AI 把 E2B 接入为原生沙箱提供方，在智能体能力列表中加入 E2BSandbox() 后，所有 shell 命令和文件操作都在隔离的 E2B microVM 中执行，环境变量和 SSH 密钥不会进入沙箱。沙箱在运行结束后可暂停、下次运行恢复，文件系统和内存保持不变，并通过无凭据的引用标识跨进程复用。文章给出两个示例，一是诊断后暂停再修复的两轮运行，二是在 Temporal 工作流中杀掉 worker 后由新 worker 接着在同一个沙箱里完成修复。

    Laís Carvalho avatar

    t is off your machine Install the harness with the E2B and Temporal extras, the provider extras the snippets below use (the quick start calls Anthropic, the cookbook examples call OpenAI), and the Logfire extra so the runs are traced. Then set E2B API KEY and the provider key: uv add "pydantic-ai-harness[e2b,anthropic,temporal]" "pydantic-ai-slim[openai,logfire]" Then give the agent the sandbox alongside the tools that will use it: import logfire from pydantic ai import Agent from pydantic ai ha

    匹配字段正文

    #company#产品更新#Agent#部署/工程

星期三

  1. t3n

    DeepSeek 开源推理框架 Deepinfer，降低模型自建部署成本

    DeepSeek 在 GitHub 开源内部推理框架 Deepinfer，目标是降低自行部署模型时的算力与能耗成本。该框架在推理阶段把负载更均匀地分配到可用处理器核心，用投机解码加快响应，并在输出前改善结果结构；目前仅支持 DeepSeek-V4.1-Flash，后续将开放更多自家模型。硬件上需要 SM100 架构的 Nvidia GPU 或华为 Ascend 950 NPU，因此并非面向个人用户。

    不再错过任何新闻！ Deepseek：这款开源工具旨在降低AI成本——它面向谁 中国AI公司Deepseek发布了一款新的开源工具，以向竞争对手施压。据称这将显著降低AI使用成本。 Deepseek正用其工具向竞争对手施压。（图片：Shutterstock/Samuel Boivin） 来自中国的AI模型在业界和市场上正日益受到关注。与OpenAI和Anthropic的大型AI工具相比，中国模型通常相当便宜，并且逐渐也能在高水平上与之匹敌。如今，AI巨头Deepseek希望通过进一步降低用户成本，来增强人们转向其模型的动力。广告广告 Deepinfer：Deepseek这款工具里有什么？ 为此，该公司在GitHub上发布了一款新的开源工具。它名为Deepinfer，是这家中国公司的内部框架，用于压低AI使用成本。这里涉及的并不是通过公司网站上的聊天界面或App使用Deepseek的用户所需承担的成本。相反，它旨在降低所有自行运行这些模型者的成本。 正如Deepseek所强调的，Deepinfer降低了算力和能源成本，并应“借此让AI更可负担”。为实现这一点，该框架在模型推理阶段进行了多

    匹配字段正文

    #hot-signal#开源/仓库#部署/工程#DeepSeek
  2. Unite.AI

    NVIDIA 发布 OpenShell 参考架构，面向智能体治理

    NVIDIA 在 GTC Berlin 发布 OpenShell 参考架构，用于在企业基础设施和边缘系统上构建、隔离、观测并约束 AI 智能体，架构现已可用。该设计以 Vera Rubin NVL72 运行模型、Vera CPU 运行 OpenShell 安全运行时、BlueField-4 DPU 运行 Sentry 安全框架，对智能体行为做带外持续监控与芯片内策略执行。OpenShell 运行时包含 Gateway、Supervisor、Sandbox 和 Policy Prover 四个组件，Sentry 计划于明年年初开放，DOCA Argus、DOCA Flow 等库现已可供实验。

    tainers, and on cloud operating systems from Amazon Web Services, Google Cloud and Microsoft Azure. Enterprises can run agents from model builders Anthropic, Cohere, Google, Meta, OpenAI, Perplexity, Reflection and SpaceX Super Intelligence on OpenShell infrastructure. Cybersecurity vendors 1Password, Check Point, CrowdStrike, Cisco, F5, Fortinet, Microsoft, Okta, Palo Alto Networks, TrendAI and Zscaler are integrating support for the architecture into their agent security products. Banks BBVA a

    匹配字段正文

    #hot-signal#产品更新#Agent#部署/工程
  3. Unite.AI

    Databricks 正式发布 AI Runtime 托管 GPU 训练平台

    Databricks 于 2026 年 10 月 21 日宣布 AI Runtime（AIR）正式可用，这是内置于 Databricks Lakehouse 的全托管无服务器 GPU 平台，用于在企业数据上训练和微调深度学习模型。Databricks 称已有数百家公司使用 AIR，平台经过超过 10 万 GPU 小时的训练运行，并支持通过一条 CLI 命令启动首个工作负载、用自然语言提示迁移 Kubernetes 或 SLURM 上的工作负载。Superhuman 的 Kostia Omelianchuk 表示，团队把训练从单节点 8 块 A100 扩展到多节点 16 块 H100，训练时间从约 7 天降到 48 小时。

    mechanisms that expose the host kernel, and that it supports PrivateLink and serverless egress controls, backed by its serverless security investments. The announcement cited the OpenAI Hugging Face incident as underscoring the risks of managing GPU infrastructure separately from governed enterprise data. AIR usage and costs appear in Databricks billing system tables alongside other Databricks workloads, with workload-level usage records showing which training runs consume GPU budget. Robert Ma

    匹配字段正文

    #hot-signal#产品更新#部署/工程#数据/训练
  4. Hugging Face

    NVIDIA 在 Hugging Face 发布 SimReady Central 仿真就绪 3D 资产开放库

    NVIDIA 在 Hugging Face 上线 SimReady Central，这是一个面向机器人与 AI 工厂仿真的开放 3D 资产库，资产为带质量、碰撞几何、摩擦等仿真属性的 OpenUSD 格式。OEM 可借助 SimReady Central 提交技能按 SimReady 配置校验并提交 CAD 设备模型，开发者与 AI 智能体可通过 NVIDIA USD Search 用自然语言检索资产并组装成 Isaac Sim 场景。文中以 FANUC 机械臂配 Robotiq 夹爪的抓取放置场景和 AI 工厂布局对比为例，演示了借助 GPT-6 Astra 生成场景组装与校验代码的流程。

    Central Library 提供自然语言搜索支持，帮助开发者和 AI 智能体在参与的数据集中查找资产。Hugging Face 也已将 USD Search 集成到其平台搜索中，并索引了 USD 属性和仿真元数据，帮助智能体发现适合其物理 AI 仿真任务的 SimReady 资产。 AI 辅助创作提供了另一种利用这些资产进行构建的方式。开发者可以使用 OpenAI GPT-6 Astra 等前沿模型，结合资产搜索和场景创作工具，利用 SimReady Central Library 构建环境。根据任务要求和空间约束，Astra 可以帮助找到合适的资产、编写代码来组装场景，并创建场景变体。 OEM 还可以使用 Astra，在验证 OpenUSD 资产并将其提交到库之前，帮助按照 SimReady Foundation 的要求准备和优化这些资产。 构建机器人抓取放置场景 例如，一位构建机器人抓取放置场景的开发者可以从以下提示词开始： 使用 Hugging Face 上 SimReady Central 的 SimReady 资产，在 Isaac Sim 中使用 PhysX 创建一个基

    匹配字段正文

    #lab#产品更新#开源生态#具身智能
  5. 36氪 · AI

    DeepSeek 开源搜索、推理框架与编解码组件，并公开单卡每小时收入

    DeepSeek 在一周内接连推出自研搜索 Search 与 Fetch、推理框架 DeepInfer 和编解码组件 deepseek-recipe，除搜索服务将于 11 月 1 日开始收费外，其余均免费开源。Search 与 Fetch 是面向模型的 JSON 接口，每 1000 次成功请求 5 元，可在 DeepSeek Harness、Claude Code、Codex 中通过服务端工具调用，且不绑定 DeepSeek 模型；DeepInfer 以 Apache 2.0 开源离线推理版本，兼容英伟达和国产算力平台。官方部署实践还披露单一集群每天 155 万亿 Tokens 吞吐、平均每卡每小时 38 美元收入，按此计算单卡月收入约 2.7 万美元。

    在DeepSeek公众号最新文章里还有这么一句话“为善与众行之，为巧与众能之。” 这句话出自战国名家尹文的《尹文子・大道上》。翻译成现代语言，就是做善事，要带着大家一起做；学本事、有手艺，要让众人都能掌握。 而这也是梁文锋发布这三个产品最根本的动机，用户免费拿去用，DeepSeek也能因此获得数据流和入口，最终实现双赢。 梁文锋的做法看起来“特立独行”，毕竟OpenAI、Anthropic，乃至全球所有的AI公司，都不曾敢开源到如此坦诚相待的地步。 不过如果你把视角拉高一点就会发现，梁文锋的打法和可口可乐出奇一致。 这三个产品都是干什么用的？ 先来简单说说这三个产品。一句话概括，Search与Fetch是餐厅的“采购员”，负责去外面的市场把食材买回来；DeepInfer是“后厨”，是模型干活的地方；deepseek-recipe是“多语种菜谱”，不同国家的人也能认清自己吃的是什么。 我们平时用的搜索引擎是给人看的。一页结果里有广告、有推荐、有一堆需要人自己判断的链接，点进去还有导航栏、弹窗、侧边栏。人可以忽略这些，但模型不行，每一个多余的字都要占用它的上下文，这些可都是token，都要

    匹配字段正文

    #hot-signal#行业动态#开源生态#DeepSeek
  6. 钛媒体 · AGI

    豆包内嵌抖音直播间并主动推送电商优惠券

    豆包App在聊天的商品推荐中新增抖音直播间，用户可在豆包内看直播、领券并下单支付，无需跳转抖音。豆包还会在用户未聊到购物时主动推送抖音商城满减券，并弹出介绍下单、查物流、退货取件等电商能力的小卡片。文章提到豆包月活4.19亿，其商业化收入与算力成本之间的压力是这一系列动作的背景。

    ，也和传统意义的平台完全不同。 那么，豆包该怎么解决这个问题？或许还是要沿着抖音的路走。 抖音的核心逻辑无非两条：算法推荐和强运营。 豆包其实已经有了一个支点——对话开始页的“为你推荐”。如果未来这一入口能根据用户的兴趣和使用场景，增加商品推荐，豆包就有机会从单纯响应需求，走向主动发现需求。 只要豆包愿意，它就可以捅破窗户纸。 不过，这未必是不能碰的边界。 OpenAI今年年初上线了广告业务，200天年化营收突破10亿美元。但这也成了OpenAI被攻击的点，比如Anthropic就在今年超级碗广告中，以“无广告”作为自身差异化定位。 对Chatbot来说，商业化路径本就有限，如果能在不严重伤害体验的前提下，跑通一条路，至少值得一试。做成了，是为Chatbot找到一种可复用的变现方式；做不成，也能看清边界在哪里。 参考资料： 《字节下调电商和本地生活全年目标》虎嗅 《字节跳动的 AI 账本：豆包每天不足百万收入、Seedance 毛利70%》晚点 LatePost 《2026年三季度AI应用市场发展报告》QuestMobile 《2026年AI应用市场发展半年报》QuestMobile

    匹配字段正文

    #hot-signal#产品更新#Agent#行业动态
  7. cnBeta

    DeepSeek 开源推理框架 DeepInfer 与分词组件 deepseek-recipe

    DeepSeek 发布技术博客《DeepSeek V4.1 Flash 大规模推理部署实践》，并以 Apache 2.0 协议开源支撑其线上百亿级调用的云服务推理框架 DeepInfer 和生产级分词组件 deepseek-recipe。博客称基于该框架单一集群服务吞吐已达每天 155 万亿 Tokens，未来新模型的推理代码和性能优化也会持续放进 DeepInfer。文中还提到用 8 卡机器做 Prefill、64 到 128 卡超节点做 Decode，以及用 3FS 分布式存储保留 KVCache、SWA Bounded Replay 只重算最后 128 个 token 等优化。

    token，最终把总 Prefill 计算量砍掉一半。 具体到 Prefill 的性能测试，随着每批处理的 Token 数量增加，未命中缓存的输入吞吐逐渐提高，最终趋于平缓，继续扩大批次主要增加了单步处理耗时。 纯纯手艺人，Bro。 再看这次同步开源的 Rust 组件 deepseek-recipe，解决的全是开发者天天在生产环境里头疼的脏活累活。 它把 OpenAI 的 Chat Completions、Responses 和 Anthropic 的 Messages 三家 API 协议统一转成同一种格式，还顺手用分段并行编码解决了长文本分词卡顿，外加从底层把 Special Token 注入攻击给堵死了。 到了底层调度，通过 GPU 和 CPU 的异步流水线重叠，硬生生做到了 GPU 全程无空闲，连投机解码 DSpark 都用上了变长验证，在线上生生又抠出来 6% 的吞吐提升。 到了生成回答的 Decode 阶段，性能曲线也呈现出一个直观的取舍，同时处理更多请求，可以提高每张 GPU 的总输出吞吐，但分到每个用户的生成速度也会随之下降。 其实早在 2024 年 DeepSeek

    匹配字段正文

    #hot-signal#开源/仓库#推理#部署/工程
  8. Latent Space精选

    DeepSeek 开源推理框架 DeepInfer，单集群日处理 155 万亿 token

    DeepSeek 开源了支撑 DeepSeek-V4.1-Flash 的自研推理框架 DeepInfer，并公布单集群每天处理 155 万亿 token、96% 输入缓存命中、首 token 延迟 400ms、生成速度 230 tokens/s 的生产数据。该框架基于 vLLM 定制，支持分布式推理、投机解码、SWA Bounded Replay 和结构化输出，目标平台为 NVIDIA SM100 与华为昇腾 950。DeepSeek 同时说明 KV cache 管理和负载均衡等组件尚未完全开源，vLLM 团队则称在 GB200 匹配配置下解码吞吐与 DeepInfer 公布结果相差 6% 以内。

    eepSeek timed an intercontinental ballistic missile into the discussion by open sourcing DeepInfer, their production stack, capable of up to 72 hour prompt caching to the 12 hours OpenAI just announced:DeepSeek@deepseek ai🚀 Introducing DeepInfer, our in-house inference framework, now fully open source! Powering DeepSeek-V4.1-Flash at scale with high throughput and low latency. We’re sharing our production stack to help the community lower compute costs, reduce energy use, and make AI more…9:30 A

    匹配字段正文

    #newsletter#开源/仓库#推理#部署/工程
  9. Latent Space

    DeepSeek 开源推理框架 DeepInfer，单集群日处理 155 万亿 token

    DeepSeek 开源了支撑 V4.1 Flash 的生产推理框架 DeepInfer，并公布单集群日处理 155 万亿 token、输入缓存命中率 96%、首 token 平均 400ms、生成 230 tokens/s 等生产数据。该框架基于 vLLM 定制并采用 Apache 2.0 许可，支持分布式推理、投机解码、SWA Bounded Replay 和结构化输出，目标平台为 NVIDIA SM100 与华为昇腾 950。DeepSeek 称 KV 缓存管理和负载均衡等组件因与内部基础设施耦合尚未完全开源，vLLM 团队则报告在 GB200 匹配配置下解码吞吐与 DeepInfer 公布结果相差 6% 以内。

    eepSeek timed an intercontinental ballistic missile into the discussion by open sourcing DeepInfer, their production stack, capable of up to 72 hour prompt caching to the 12 hours OpenAI just announced: This is their customization of vLLM with credit to SGLang and TRRTLLM, but there is a lot added… minus their crown jewels - their ultra optimized KV cache (compact + 8hour lifetime), PD/disggregation, and load balancing (their 3FS was open sourced a while ago). We have translated their blogpost a

    匹配字段正文

    #newsletter#开源/仓库#推理#部署/工程
  10. SiliconANGLE

    Google 发布 TorchTPU，让 PyTorch 应用可直接运行在 TPU 上

    Google 发布 TorchTPU，这是 PyTorch 的一个专用版本，让开发者无需重写底层代码、只需调整少量配置，就能把现有模型和应用迁移到 TPU 上运行。Google 称与 Meta、Hugging Face 以及 vLLM、SGLang 的开发者合作，确保相关代码库兼容；同时推出 TPU agent suite 协助迁移并自动修复错误，并更新端侧工具 LiteRT 以兼容 PyTorch 应用。此前 AWS 也发布了面向自家 Trainium 芯片的 TorchNeuron。

    d Starlink in embattled Ukraine Arda Industries raises $232M to make production lines more adaptable Eka Robotics nets $150M at a $1.45B valuation for robot hands that sense force OpenAI acquires Orchestra Bio to bring AI agents into drug development LATEST STORIES AI infrastructure management software startup ASI hits $3B valuation after raising $325M in funding AI - BY MIKE WHEATLEY . 57 MINUTES AGO SpaceX's stock soars as Elon Musk reveals crushing earnings and revenue beat EMERGING TECH - BY

    匹配字段正文

    #hot-signal#产品更新#部署/工程#开源生态
  11. cnBeta

    Perplexity Computer 新增 Mac 本地运行模式

    Perplexity 宣布 Mac 版应用支持 Computer 代理完全在本机运行，任务规划、推理、文件处理和工具执行都在设备端完成，代码与工具执行在隔离沙盒中进行。本地模式使用 Qwen 3.6 或基于 Qwen 训练的 PPLX Pro 模型，面向支持的 Apple 芯片 Mac，建议至少 36GB 内存，目前提供给 Pro、Max 和 Enterprise 订阅用户。另提供混合计算模式，由云端模型负责联网研究、本地模型处理私人文件，官方称可在至少 24GB 统一内存、运行 macOS 15 或更新版本的 Apple 芯片 Mac 上使用。

    5或更新版本的Apple芯片Mac上使用。 Perplexity表示，本地模式让用户能够在处理敏感文件时保留更多控制权，但是否启用云端协助仍由用户授权。新功能已开始提供，实际能否使用取决于Mac芯片、内存配置、应用版本和订阅方案。 了解更多： - 对文章打分 Perplexity Computer新增Mac本地运行模式 AI任务可留在设备端处理 美国法官驳回OpenAI首席执行官山姆·奥特曼妹妹提起的性侵诉讼 3 小时前 ChatGPT新增“锁定聊天” 可用四位PIN或生物识别隐藏敏感对话 3 小时前 ChatGPT浏览器扩展迎来重大升级 可直接操控标签页并完成网页任务 5 小时前 AI辅助开发助力ReactOS突破技术难关 成功实现雷电4支持 6 小时前 Claude想让中国人全被封号：天才AI的访问头脑战 阅读 (849) 评论 (1) 2 80、90后经历过的那个盗版年代 好像又要回来了 阅读 (823) 评论 (0) 3 尊界刹车踏板检测合格 懂车帝：无语，没事别升级啊 阅读 (814) 评论 (1) 4中国刻蚀机之父：AI或是个泡沫国内半导体厂得倒闭90% 5几十元笔记本清灰

    匹配字段正文

    #hot-signal#产品更新#Agent#端侧
  12. The New Stack

    Respan 发布 Rust 开源 AI 网关，替代两年 LiteLLM 封装代码

    Respan 发布用 Rust 编写的开源 AI 网关，用一个精简内核加插件替代此前围绕 LiteLLM 构建的 10 万多行封装代码。转折点是 2026 年 1 月一次常规 LiteLLM 升级引发间歇性连接失败，回滚后原因仍未查明，此后团队不再直接升级 LiteLLM。新网关借鉴 Nginx 思路，把模型供应商、路由、MCP 工具、实时语音和安全控制拆为插件，Mistral 供应商插件仅 22 行代码；自定义插件需编译进网关二进制，且按注册顺序执行，缓存若排在安全检查之前可能绕过检查。网关目前仍为 pre-alpha，可从 GitHub 下载预构建二进制运行。

    use the same format, the gateway can leave the original request and its provider-specific fields intact. The gateway can also translate between protocols. An application built for OpenAI’s Realtime API, for example, can connect to Gemini Live without changes to the client, according to Respan, although some features may not carry over. When both sides use the same format, the gateway can leave the original request and its provider-specific fields intact. Plugins you must compile Custom plugins a

    匹配字段正文

    #hot-signal#开源/仓库#部署/工程#MCP/工具调用
  13. SiliconANGLE

    Zoom 在 Zoomtopia 推出统一上下文层及多项 AI 产品更新

    Zoom 在 Zoomtopia 大会上发布 Unified Context Layer，把会议、通话和客户互动信息与 Salesforce、ServiceNow、Workday 等系统数据整合成实时更新的关系图谱，供 AI 智能体共享记忆和协同工作，该层已可用。Zoom 称内部基准显示这一方式比独立智能体各自解析信息降低成本 45% 至 65%，但未提供独立验证。同期还推出 ZoomMate Agent Teams、扩展到 40 多个第三方应用的智能体搜索、支持多语言广播的翻译与语音克隆，以及通过 MCP 服务器和 Search、Ask API 向外部应用开放上下文，多数功能计划在 2027 年初前陆续发布。

    ce interaction, leveraging theCUBEai.com neural network to help technology companies make data-driven decisions and stay at the forefront of industry conversations. LATEST STORIES OpenAI acquires Orchestra Bio to bring AI agents into drug development DeepSeek open-sources DeepInfer, the inference framework behind its production services Inception says Mercury 3 beats GPT-6 Luna and Claude Haiku 5.5 at up to 8x the speed Otter.ai raises $320M in funding for its AI meeting assistant Dell's AI play

    匹配字段正文

    #hot-signal#产品更新#Agent#MCP/工具调用
  14. SiliconANGLE

    DeepSeek 开源生产推理框架 DeepInfer

    DeepSeek 开源了支撑其生产服务的推理框架 DeepInfer，采用 Apache 2.0 许可证发布在 GitHub 上。目前该框架只支持 DeepSeek-V4.1-Flash 一个模型，默认加载周末发布的 1017 版本，可运行在 Nvidia SM100 Blackwell GPU 和华为昇腾 950 NPU 上，不支持 Hopper 等较旧的 Nvidia 架构。DeepSeek 称单个集群每天服务 155 万亿 token，并暂未开源与内部基础设施强耦合的 KV cache 管理和负载均衡代码。

    ce interaction, leveraging theCUBEai.com neural network to help technology companies make data-driven decisions and stay at the forefront of industry conversations. LATEST STORIES OpenAI acquires Orchestra Bio to bring AI agents into drug development Inception says Mercury 3 beats GPT-6 Luna and Claude Haiku 5.5 at up to 8x the speed Otter.ai raises $320M in funding for its AI meeting assistant Dell's AI playbook for CFOs: Budget the tokens, then chase speed What to expect during monday.com’s El

    匹配字段正文

    #hot-signal#开源/仓库#推理#部署/工程
  15. The Decoder

    DeepSeek 开源推理框架 DeepInfer，支撑 V4.1-Flash 快速低成本推理

    DeepSeek 以 Apache License 2.0 开源内部推理框架 DeepInfer，该框架是支撑 V4.1-Flash 模型大规模快速生成回答的服务软件。DeepInfer 基于 vLLM 构建，包含优化的计算内核、多芯片分布式处理和更快的文本生成技术，未来 DeepSeek 模型的代码也将开源。DeepSeek 同时发布 deepseek-recipe，可复现官方 API 的 token 处理，使自托管部署行为保持一致，官方称目标是帮助社区降低算力成本与能耗。

    odels are already dirt cheap . DeepInfer fills the last gap for running them even more cheaply. The goal is "to help the community lower compute costs, reduce energy use, and make AI more affordable," the company said on X . But the release also adds pricing pressure on Western providers like OpenAI and Anthropic. Given the AI race between China and the US, the move could be politically motivated too. If Western AI companies miss their growth targets, that's a risk for the US economy and beyond.

    匹配字段正文

    #ai-vertical#开源/仓库#部署/工程#DeepSeek

星期二

  1. LMSYS Blog精选

    SGLang-TorchTPU 开源：把 SGLang 服务栈带到 TPU

    SGLang 团队联合 Google 和 Meta 开源 SGLang-TorchTPU，这是一个基于 PyTorch 的原生后端，把 SGLang 的完整服务栈带到 Google Cloud TPU，并已在 Meta 大规模生产环境使用。首发支持 Muse Spark Open、GLM-5.3、Kimi K3、DeepSeek V4、Qwen3.8、Gemma 4 等模型，覆盖投机解码、KV cache 卸载、PD 分离和 FP8 KV cache 等功能。团队还用 TorchTitan 与 Miles 在单台 4 芯片 TPU v7x 上完成 Qwen3-4B 的 GRPO 训练，奖励曲线与 6 张 H200 基线在随机波动范围内一致。

    SGLang-TorchTPU

    码端已从其自身前缀缓存中持有的页永远不会被发送。当预填充和解码使用不同的张量并行规模时，TPU Sync 会在传输中重新分片：每个预填充 rank 将其 KV 头切片按步长推入解码 rank 的页布局。 图 2：使用 TPU Sync 进行 KV 缓存传输。 功能与模型覆盖 以下是发布时在 TPU 上可用的 SGLang 服务功能： 领域支持的功能 核心服务OpenAI 兼容 API；连续批处理；分块预填充；结构化输出和函数调用（实验性） 智能体与多轮RadixAttention 前缀缓存，包括混合滑动窗口和线性注意力模型；KV 缓存卸载到主机内存；每晚在智能体工具调用工作负载上测试 交互式、低延迟使用 EAGLE-3、DFlash、DFlash2、DSPark 和 MTP 草稿模型的投机解码 高吞吐批处理带专家并行的数据并行注意力 长上下文FP8 KV 缓存；预填充和解码的上下文并行 分离式服务预填充和解码位于不同主机，并在不同张量并行规模之间进行 KV 重新分片 多模态支持图像输入的视觉语言模型：Qwen3-VL、Qwen3.5-VL、Kimi MoonViT 和 Gemma 4

    匹配字段正文

    #company#开源/仓库#部署/工程#开源生态
  2. 智东西精选

    DeepSeek 开源推理框架 DeepInfer 与 token 编解码组件 deepseek-recipe

    DeepSeek 开源了内部大规模云服务推理框架 DeepInfer 和生产级 token 编解码组件 deepseek-recipe，前者支持分布式推理、推测解码、SWA Bounded Replay 和结构化输出，可在英伟达与华为昇腾平台运行。DeepSeek 称 DeepSeek V4.1 Flash 的高吞吐低延迟推理服务即基于该框架，单一集群服务吞吐为 155 万亿 Tokens/天，按谷价计算每卡每小时 38 美金。deepseek-recipe 的处理逻辑与 DeepSeek 官方 API 完整对齐，团队同时说明 KVCache 管理与负载均衡组件因与内部基础设施耦合较深，相关代码尚未完整开源。

    FF百度小米英特尔苹果高通华为360通用大模型iPhone三星IDx腾讯智东西微软谷歌 梁圣大气！DeepSeek推理框架全开源，公布日均吞吐和毛利，真正的OpenAI来了 智东西10月20日报道，刚刚，DeepSeek开源了其内部使用的、大规模云服务推理框架DeepInfer和生产级token编解码组件deepseek-recipe。 DeepInfer框架集成了高性能算子和深度优化的推理引擎，支持分布式推理、推测解码、SWA Bounded Replay、结构化输出等能力，可在英伟达与华为昇腾平台上运行。 据DeepSeek团队公布，DeepSeek V4.1 Flash的高吞吐、低延迟大规模推理服务就是基于该框架实现的。目前，其单一集群的服务吞吐是155万亿Tokens/天，整体收入按照谷价计算是每卡每小时38美金（约合人民币253.81元）。 这个数字是什么概念？按这个数字粗略计算，一张卡24小时满负荷运行，每天收入为6091.38元；一个月按照30天计算，那月收入就有185711.4元。 生产级Token编解码组件deepseek-recipe则支持主流大模型API协议与模型

    匹配字段正文

    #hot-signal#开源/仓库#推理#部署/工程
  3. MarkTechPost

    DeepSeek 开源生产推理框架 DeepInfer，支撑 DeepSeek-V4.1-Flash

    DeepSeek 以 Apache 2.0 协议开源了其生产服务所用的推理框架 DeepInfer，该框架目前只支持 DeepSeek-V4.1-Flash，运行在 NVIDIA SM100 和华为昇腾 950 上。官方称单个集群每天可服务 155 万亿 token，在 131,072 上下文、64 卡解码配置下解码吞吐超过 25,000 tokens/s/GPU。此次发布仅覆盖离线推理，KV cache 系统、P/D 分离和负载均衡未包含在内，DeepSeek 表示这些组件与内部基础设施紧密耦合。

    ix, EAGLE, DFlashYes, via SpecForge draftsYes P/D disaggregationNot in this releaseYes (prefill, decode, encode)Via llm-d, Dynamo and othersYes Online servingOffline inference onlyOpenAI-compatible serverYesYes What are DeepInfer’s limitations? A full service still needs a KV cache system and VE/Prefill/Decode disaggregation. It also needs load balancing across data-parallel replicas. DeepSeek team states that those components are tightly coupled to internal infrastructure. Hardware is narrow. B

    匹配字段正文

    #ai-vertical#开源/仓库#推理#部署/工程
  4. 36氪 · AI精选

    DeepSeek 开源推理框架 DeepInfer 与 Token 编解码组件 deepseek-recipe

    DeepSeek 开源自研推理框架 DeepInfer（Apache 2.0）和生产级 Token 编解码组件 deepseek-recipe（MIT），支撑 DeepSeek V4.1 Flash 单集群一天服务 155 万亿 Token。官方线上统计显示平均每请求输入 77K Token、首字延迟约 400 毫秒，生成阶段每秒输出 230 个 Token，平均 96% 的输入命中缓存。DeepInfer 目前支持 V4.1 Flash，开源版本仅提供离线推理，KV 缓存管理与负载均衡代码因与内部基础设施绑定暂未完整开源。

    Prefill用常见的8卡机器，Decode用64到128卡的超节点。 请求里带图片的，还会先交给单独部署的图像编码服务。 实践中，两边需要的卡数差不多是1比1。按官方的建议，想要效率高，最小部署单元是64卡Prefill加64卡Decode。 官方API那套逻辑，也开源了 请求进门后，先过deepseek-recipe这一关。 眼下主流的API格式有三种，OpenAI的Chat Completions和Responses，加上Anthropic的Messages。 deepseek-recipe把它们统一转成同一种对话格式，再按模型版本拼好prompt、编码成Token。模型输出的Token，也由它翻译回各家格式，流式返回。 它还顺手堵了一个口子。DeepSeek的模型靠一批特殊Token标记对话结构，比如用户发言从哪开始、思考到哪结束、什么时候调用工具。 96%的输入，不用再算第二遍 Agent每调用一次工具，都要把系统提示、工具说明，连同之前每一轮的回复和工具结果，整个重新发给模型。 这里面绝大部分，上一轮早就算过了。 DeepSeek的做法是，把算过的KV缓存存下来，下一轮只算

    匹配字段正文

    #hot-signal#开源/仓库#推理#部署/工程