←部署/工程
← 全部主题

部署/工程

与“部署/工程”标签匹配的公开内容。

公开阅读组
454
近 30 天
168
目录状态
兼容主题

最新NVIDIA 开源 NVIDIA Recovery,自动恢复集群分布式训练任务

最新阅读组

同一事实的重复报道已合并

  1. NVIDIA Developer · Generative AI一手产品发布
    AI 评分69

    NVIDIA 开源 NVIDIA Recovery,自动恢复集群分布式训练任务

    NVIDIA 发布开源工作负载级恢复服务 NVIDIA Recovery,通过应用日志、GPU 指标和调度器信号检测训练中断,并按检测、归因、隔离、重启或停止四阶段循环处理。该服务以 Apache 2.0 许可在 dsx-ai-factory/NVIDIA-Recovery 仓库开放,Slurm 集成通过 Helm chart 部署的 Advisor Controller 实现,支持集群内和 SSH 两种模式。新部署默认处于监控模式,只输出恢复建议不执行调度动作;7 月 9 日至 10 月 9 日在一个训练集群上的监控覆盖每天近 200 个任务,记录约 8,550 次异常检测,平均检测与恢复动作延迟分别为 69 秒和 94 秒。

    Five-layer stack diagram showing where NVIDIA Recovery sits in the health and resilience architecture. From the base up: infrastructure, compute node, cluster, workload (where NVIDIA Recovery and NVIDIA Attribution sit), and framework (NVIDIA Resiliency Extension, or NVRx).

    推荐理由原文给出四阶段恢复循环、Slurm 集成方式和监控模式默认值,可据此判断集群级训练恢复如何落地。

  2. Zyphra Research一手研究
    AI 评分63

    Zyphra 提出分层注意力 ZHA,实现亚二次复杂度稀疏注意力

    Zyphra 提出分层注意力 ZHA,通过构建并搜索 KV cache 的压缩树为每个查询挑选相关 token,在合适 top-p 阈值下实现亚二次复杂度。ZHA 只需用几十亿 token 的 KL 蒸馏即可把已有预训练模型适配过来,在 Qwen3.6-35B-A3B 上仅新增 81,920 个可训练参数;RULER-13 256K 上宽树达 96.2%、深树 93.3%,LongBench v2 深树 63.4% 高于稠密注意力的 58.0%,SWE-bench Verified 上与稠密基线相当。其 GPU 性能模型预测在约 48K token 时快于稠密注意力、约 480K token 时快于 MSA,一千万 token 上下文下相对稠密注意力约 32–35 倍加速。

    Top-p Set Growth Rate is Sublinear

    推荐理由原文给出稀疏注意力在超长上下文下的复杂度与速度模型对比,可据此判断长上下文推理的成本边界。

  3. Claude Devs一手产品发布
    AI 评分60

    Claude Code 集成消息线程,长请求首 token 延迟降低约 35%

    Claude Code 集成消息线程后,在 500K 至 1M token 的请求上,首 token 中位延迟降低约 35%;长对话中单次请求的中位体积从约 800 KB 降至 1.8 KB。消息线程已在 Messages API 进入公开测试,服务端在轮次之间缓存对话,调用方只需发送新消息和上一条消息 ID,并需添加 thread 参数和 beta header,可在 Claude Platform、AWS 上的 Claude Platform、Microsoft Foundry 中的 Claude 以及 Google Cloud 上的 Claude 使用,按标准 token 价格计费。

    推荐理由官方给出消息线程在长上下文请求上的首 token 延迟与请求体积变化,可据此判断长对话场景的工程收益。

  4. Claude Devs一手产品发布
    AI 评分66

    Anthropic 在 Messages API 公测消息线程功能

    Anthropic 在 Messages API 上公测消息线程功能,API 会在服务端缓存对话,开发者只需发送新消息和上一条消息 ID,无需重发完整对话。该功能已在 Claude Code 中集成,在 500K 至 1M token 的请求上,首 token 中位时间降低约 35%;长对话中请求体积中位数从约 800 KB 降至 1.8 KB。使用时需在请求中加入 thread 参数和 beta header,该功能已在 Claude Platform、AWS 上的 Claude Platform、Microsoft Foundry 中的 Claude 以及 Google Cloud 上的 Claude 提供,按标准 token 价格计费。

    推荐理由官方给出消息线程在 Messages API 公测的接入方式,并披露 Claude Code 中首 token 延迟与请求体积的实测变化。

  5. Unite.AI
    AI 评分88

    Anthropic 修订版 S-1 披露约 8954 亿美元算力采购与租赁承诺

    Anthropic 在 11 月 2 日提交的修订版 S-1 中披露约 8954 亿美元采购承诺与租赁协议,称其中绝大部分与算力和基础设施相关,约 4475 亿美元将在 2030 年 12 月 31 日前发生。其中对 Microsoft 的最低承诺至少 449 亿美元(2026 年 11 月至 2033 年 6 月)、对 Google 至少约 1213 亿美元(2026 年 4 月至 2033 年 7 月)、对 Amazon 至少 1100 亿美元(2026 年 5 月至 2036 年 4 月),另有与 Broadcom 等方的五年设备租赁约 1612 亿美元租金。文件同时给出三季度营收 169.56 亿美元、同比增长 1127%,算力与基础设施支出 98.63 亿美元,当季经营亏损 5.67 亿美元。

    推荐理由修订版 S-1 披露 Anthropic 约 8954 亿美元采购与租赁承诺的期限分布,以及三季度营收与亏损的对照。

  6. NVIDIA Developer · Generative AI一手产品发布
    AI 评分62

    NVIDIA 发布 Cosmos Framework 与 Cosmos NIM,支持世界模型训练与部署

    NVIDIA 发布面向物理 AI 的 Cosmos Framework 和 Cosmos NIM,前者提供训练、强化学习、优化与推理的模块化工具和智能体技能,后者以容器形式提供加速推理服务。Cosmos 3 Nano 仿真配方可从已发布 checkpoint 生成同步的相机视频与 LiDAR 观测,覆盖自动驾驶、机器人和手术场景。NIM 通过量化、投机解码和 KV-cache 感知路由,在 H200 上实测约 2–3 倍加速,Cosmos3-Nano 生成任务在 BF16 下需 58 GiB 显存。

    A policy model (e.g., Alpamayo) or user sends an action to the AlpaSim simulation runtime. AlpaSim updates the simulation state and forwards the context to Cosmos3-Nano-Sim-Auto, which synthesizes the next camera frames and returns them to the policy, completing the loop.

    推荐理由原文给出 Cosmos Framework 的智能体技能与 NIM 部署路径,读者可据此判断世界模型从训练到上线的具体环节。

  7. AWS Machine Learning一手解读
    AI 评分61

    在 Amazon SageMaker AI 上用知识蒸馏构建高效智能体

    AWS 官方博客介绍如何用序列级知识蒸馏(SeqKD)在 Amazon SageMaker AI 上微调购物智能体:以 Amazon Bedrock 上的 GLM-5.3 作为教师模型生成轨迹,用 ShoppingBench 评分器只保留解出任务的轨迹,再对 Qwen3.5-4B 学生模型做服务端无服务器 SFT。在 324 道留出测试题上,蒸馏后 4B 学生平均绝对成功率从 0.297 提升到 0.541,与教师模型和中等规模前沿模型基本持平;去掉教师推理过程只学工具调用时,平均成功率降至 0.415。

    Diagram of an agentic task as a loop: search, read results, refine, verify, and decide, with each step a separate billed call to the frontier model

    推荐理由原文给出从教师轨迹生成到学生模型部署的完整流程与实测对比,可迁移到其他智能体蒸馏场景。

  1. Trail of Bits Blog一手解读
    AI 评分71

    Trail of Bits 用 Codex 为稳定版 Linux 回移安全补丁,已覆盖 149 个 CVE

    Trail of Bits 用 Codex 配合 GPT-5.6 为稳定版 Linux 内核和发行版回移安全补丁,截至 10 月 29 日已向稳定内核分支交付 149 个 CVE 的修复,另有若干 Fedora 和 Ubuntu 软件包修复。其流程由智能体识别缺失修复、适配补丁、组装验证证据、运行测试并准备提交材料,工程师负责审核并提交给维护者;不含项目初始配置时,一次简单回移约需 30 分钟人工投入,复杂情况约 3 小时。作者同时给出 Linux 内核各稳定分支及 Debian 13、Ubuntu 26.04 中已修复于新版本但未回移的 CVE 数量,并说明回归测试与维护者接受仍是必要环节。

    “A Codex-generated graph of recently installed kernel packages from Debian’s popcon”

    推荐理由Trail of Bits 公开了用 Codex 回移安全补丁的具体流程与人力耗时,可据此评估 AI 智能体承接遗留安全工作的可行性。

  2. 凤凰科技模型发布
    AI 评分78

    美团 LongCat 团队发布 1.6 万亿参数原生多模态模型 LongCat-2.5

    美团 LongCat 团队发布面向长程智能体任务的原生多模态模型 LongCat-2.5,总参数量 1.6 万亿,每个 Token 激活约 480 亿参数。在美团公布的 AutomationBench、LongCatClawBench 等基准上,LongCat-2.5 领先 Claude-Opus-5、GPT-5.6-Sol;在 Terminal Bench v4.0 上得分 38.5,超过 GPT-5.6-Sol 但落后于 Claude-Opus-5。模型将视觉信号转为多层级离散 Token 与文本统一处理,并针对国产加速器单卡不足 80GB 显存重设并行策略,长序列 SFT 单卡吞吐量较 DDP 基线提升 86%。

    推荐理由原文给出了模型在多项 Agent 基准上的对比结果和国产加速器上的训练优化细节,可据此判断长程智能体模型的工程路线。

  3. MiniMax一手产品发布
    AI 评分66

    MiniMax M3.1 Flash 获多个社区量化方案支持本地运行

    MiniMax 官方汇总了社区为 428B 的 M3.1 Flash 提供的多种量化与本地推理方案,包括 UnslothAI 的 2-bit Dynamic GGUF 权重(143.9 GB)、SAGE-EXL3、Project Maya 的专家卸载、EXL3-EAQ、Apple Silicon 上的 oQ 量化与 oMLX 解码、适配 AMD Instinct 的 Quark MXFP4,以及在 4× RTX 3090 上结合量化权重与专家缓存的推理实现。官方称低位权重可降低加载模型所需内存和解码时搬运的权重数据,但需要仔细校准、高效低位 kernel 以及跨 GPU 与系统内存的专家放置。

    推荐理由原文列出了多个团队为 428B 模型做的量化方案与显存占用,可据此判断本地部署门槛。

  1. 新浪科技研究
    AI 评分78

    DeepSeek 开源 Super-agent 架构原型,公布五大模块设计

    DeepSeek Harness 团队公布自主 Agent 探索项目 Super-agent 的底层架构,并在 GitHub 开源原型 dsh-superagent-prototype。该架构由双层 Router/Worker、事件驱动、异步多信道交互、存算分离与外部 Watchdog 五个模块组成,目标是让 Agent 持续在线、并行多任务并主动响应环境事件。初步实验中任务 p50 完成时间为 12.4 分钟、p95 为 15.7 分钟,Router 批处理把单个决定分摊的推理时间从 6.4 秒降到 1.6 秒,团队称实验基于合成负载与简化环境,该插件仅为验证技术路线的原型,并非 DeepSeek 正式产品。

    推荐理由DeepSeek Harness 公开 Super-agent 架构,把调度、缓存、看门狗等系统设计搬进 Agent,并给出初步实验数据。

  1. Google DeepMind一手产品发布
    AI 评分62

    Google DeepMind 的 PlanAssist 将扩展至 12 个英国地方规划部门

    Google DeepMind 与英国政府合作开发的 AI 规划工具 PlanAssist 将扩展至另外 12 个英格兰地方规划部门,使参与总数达到 15 个。在 Barnet、Camden 和 Dorset 的早期试点中,该工具把规划官员处理家庭住宅申请评估任务的平均时间缩短了 58%,超过 70% 的生成报告无需修改即获官员批准。PlanAssist 基于 Gemini 构建,负责核验申请材料与图纸、对照遗产保护限制和地方及国家规划政策、检查既往异议,并起草带引用的报告,最终决定仍由规划官员做出。该工具自 6 月起试点,现进入为期 12 个月的 Beta 阶段,若测试顺利,英国政府计划于 2027 年向英格兰所有地方议会开放。

    Abstract 3D illustration of miniature houses on layered, wavy terrain with architectural plans in the foreground.

    推荐理由原文给出试点中评估时间下降 58% 和 70% 报告无需修改的数据,可据此判断 AI 辅助公共审批的落地方式。

  2. Google Blog一手
    AI 评分67

    Google 收到 Project Suncatcher 原型卫星在轨 TPU 的首次 AI 回复

    Google 收到 Project Suncatcher 原型卫星的首次回复,在轨的数据中心级 TPU 成功运行 Gemma 4 开放模型并返回一首关于太空的俳句。该卫星于 10 月 1 日发射,此前已完成主机与 TPU 托盘上电及早期机器学习测试。接下来 Google 将测试 TPU 在轨道热应力和辐射暴露下的表现,为 2027 年双星互联目标铺路。

    推荐理由Google 首次在轨 TPU 上跑通 Gemma 4 并收到模型回复,读者可了解太空 AI 算力这一长期研究路线的当前进展。

  3. Tomasz Tunguz 博客观点
    AI 评分65

    Tomasz Tunguz:谁先跨过万亿美元营收鸿沟

    Tomasz Tunguz 分析 Andy Jassy 与 Elon Musk 分别提出的 1 万亿美元营收目标,按当前增速并以每年 15% 衰减推算,Google Cloud 与 SpaceX 将在 2030 年达到 2500 亿美元季度营收(1 万亿美元年化),AWS 在 2032 年跟进。他指出市场抛售部分云厂商的原因是担心旧业务现金流撑不住资本开支,Google 搜索广告增速已从 Q1 的 19% 降至 Q3 的 12%,AI Mode 的变现率低于传统搜索。微软是唯一靠 AI 提升 ARPU 快于席位增长放缓的超大规模厂商,ServiceNow 则因席位制业务受 AI 侵蚀担忧市值下跌 29%。

    推荐理由文章用四家云厂商的季度数据推演万亿营收路径,并指出旧现金牛被 AI 侵蚀是穿越鸿沟的关键变量。

  1. Cursor Blog一手
    AI 评分75

    Cursor 插件市场出现恶意版 Anthropic.claude-code 2.1.313,官方发布安全通告

    Cursor 在 VS Code 扩展市场发现被恶意篡改的 Anthropic.claude-code 2.1.313,该版本并非 Anthropic 开发,最多影响 5000 名用户。恶意代码会收集主机与用户信息、尝试写入攻击者 SSH 公钥并建立反向 SSH 隧道,但因权限限制该步骤在多数 macOS 和 Windows 主机上会失败。Cursor 已下架该版本、重建市场并关停攻击者服务器,同时给出检测 svc-telemetry 公钥的命令和 macOS、Windows 清理脚本。

    推荐理由Cursor 官方披露插件市场被植入恶意版本,并给出检测命令与清理脚本,可供使用该扩展的开发者按步骤自查。

  2. CNBC Technology
    AI 评分76

    Google 调整云业务策略,借 Oracle 等合作伙伴对外销售 TPU

    Alphabet 宣布 Oracle 将提供 Google 的 TPU,这是客户首次能在 Google 基础设施之外使用 TPU。Google 此前已在第二季度向外部数据中心开放 TPU,分析师预计 Google Cloud 收入同比增长约 90%。TD Cowen 预计今年下半年 TPU 销售额为 94 亿美元、2027 年为 625 亿美元,Wells Fargo 预计第三季度约 90 亿美元、明年 990 亿美元;Anthropic 去年 10 月达成使用最多 100 万块 TPU 的协议,OpenAI 也计划向 Google 采购 TPU。

    推荐理由Google 首次把 TPU 卖到自家数据中心之外,读者可据此观察它对 Nvidia 主导的 AI 芯片市场格局的影响。

  3. SiliconANGLE模型发布
    AI 评分81

    Mistral 开放 Mistral Large 4 权重,1 万亿参数原生多模态

    Mistral AI 宣布开放其前沿模型 Mistral Large 4(代号 Le Chonk)的权重,该模型拥有 1 万亿参数、520 亿激活参数,原生支持多模态。ML4 在欧洲数据中心用 3800 块 Nvidia Grace Blackwell GPU 训练,在 Terminal-Bench 4.0 上从 28% 提升到 41%,与 GLM-5.3 并列编码智能体最佳成绩,且平均每任务少用 47% token。开放权重意味着企业可在自有硬件和防火墙内部署,模型提供低、中、高三档推理模式。

    推荐理由原文给出 1 万亿参数、开放权重和三种推理模式,读者可据此判断自托管前沿模型的实际取舍。

  4. Unsloth一手产品发布
    AI 评分81

    Unsloth 发布 1-bit GGUF,Mistral Le Chonk 可在 Mac Studio 本地运行

    Unsloth 发布 Mistral Le Chonk 的 1-bit GGUF 量化版本,使这个 1 万亿参数模型可以在 Mac Studio 上本地运行,并称量化后仍保留 91% top-1 准确率。Unsloth 同时提供了 GGUF 下载链接和使用指南,并称 Le Chonk 是目前最强的西方开源模型。

    推荐理由Unsloth 给出 1-bit GGUF 量化后仍保留 91% top-1 准确率,读者可据此判断万亿参数模型在本地设备上的可行边界。

  5. Factory 研究 / 产品一手产品发布
    AI 评分66

    Factory 发布 Droid 1.0 智能体框架,默认启用程序化工具调用

    Factory 发布 Droid 1.0,这是其智能体框架迄今最大的一次更新,默认启用程序化工具调用(PTC),让模型写 JavaScript 脚本在沙箱中一次请求内执行数百次工具调用。在 Terminal-Bench 4 上,搭配 GPT-6.1 Sol 时 Droid 比 Codex 高 3.5 分且成本低 12%,搭配 Claude Opus 5.5 时比 Cursor、OpenCode、Devin、Claude Code 高 3.0 至 7.6 分,成本最多低 24%。Droid 1.0 今日开放 macOS 和 Windows 桌面版与终端 UI,并提供 Droid SDK(@factory/droid-sdk)。

    推荐理由原文给出程序化工具调用与提示缓存的具体机制和实测数据,可据此理解长任务智能体的成本与延迟从何而来。

  6. Pydantic AI 官方文章一手解读
    AI 评分68

    Pydantic 用 5,276 次运行对比 code mode 与工具调用

    Pydantic 的 Michael Pfaffenberger 用 5 个小型 Pydantic AI 应用、8 个模型做了 5,276 次评分运行,对比 code mode 与直接工具调用。长任务上 code mode 平均成本降 58%、耗时降 51%、成功率提高 16 个百分点;但 5 条目的短任务在 5 个任务中有 3 个反而贵了 21% 到 38%。作者认为模型写循环比充当循环更擅长,差距随任务变长而扩大。

    Michael Pfaffenberger avatar

    推荐理由作者用 5,276 次运行对比 code mode 与工具调用,给出长任务成本、耗时和正确率随规模变化的曲线。