←搜索结果

按匹配度 · 共 3279 条结果 清除搜索

星期三

  1. NVIDIA Developer · Generative AI

    NVIDIA NVLink 6 如何为 AI 工厂提供多层弹性

    NVIDIA NVLink 6 通过轻量级 FEC、物理层重试(PLR)和 UPHY 恢复在硅片层面纠正信号错误,并以基于信用的流控从设计上消除丢包,为 AI 工厂提供原生无损网络。其 NMX Controller 采用“contain and drain”状态配合 NMX High Availability,可在数秒内隔离故障并迁移控制功能;Dynamo 的 Shadow Engine Recovery 在 B200 GPU 上以 7.3 秒恢复推理容量,而冷启动需 283 秒。NCCL 对 cuda-checkpoint 的原型支持预计年底正式可用,NVLink Fusion 则让第三方 XPU 也能继承这套弹性栈。

    匹配字段摘要

星期二

  1. A6 a6-047 · Baseten 工程博客

    LangChain 用 Baseten Loops 为 LangSmith Engine 训练定制模型

    LangChain 采用 Baseten Loops 为平台内智能体 LangSmith Engine 训练定制模型,通过在大模型智能体轨迹上微调,使其能读取 GitHub 仓库定位问题并起草 PR 所需的提示词或代码改动。针对按失败模式和严重程度分类轨迹等更专门需求,LangChain 可切换模型并训练 Qwen 等更小的开源模型。Baseten Loops 通过 API 提供托管微调基础设施,支持监督微调、强化学习和长上下文负载,并打通训练与推理,检查点可在训练中评估并直接部署。

    langchain

    匹配字段摘要

  2. The Next Platform

    HPE 与 Nvidia 如何用 AI 工厂实现规模化 AI 落地

    HPE AI Factory with Nvidia 是一套预集成基础设施方案,把 Nvidia 的加速计算与软件同 HPE 的安全基础设施、软件、控制平面和服务结合,覆盖从数据摄取、训练、微调到高吞吐 AI 推理的完整生命周期。该方案以 token 吞吐量衡量产出,并针对工作负载专用架构、智能体 AI 和主权 AI 等企业规模化部署挑战提供支持。

    匹配字段摘要

  3. SemiAnalysis

    SemiAnalysis 实测 Rubin NVL72:AgentX 基准下每美元性能达 GB300 的 67 倍

    SemiAnalysis 发布首份 Rubin NVL72 智能体推理实测结果,基于其 AgentX 基准,在 170 TPS 下每 TCO 总吞吐量约为 GB300 Dynamo TRTLLM 的 67 倍。在多数服务商实际部署的 60-100 TPS 区间,Rubin 每 TCO 吞吐量为 GB300 的 1.4 至 3 倍;按 3 年租赁成本计算,80 TPS 时可多产出 62% token。该测试使用 2300W TDP、每计算托盘 1.5TB CPU LPDDR5X 的量产 SKU,结果基于预发布软件,后续还将补充 vLLM 与 SGLang 的 Rubin 数据。

    匹配字段摘要

星期一

  1. 通义 QwenAudio 原创语音项目

    阿里云百炼语音示例仓库新增 Qwen-Audio-3.0-TTS 与 ASR 示例

    阿里云百炼语音示例仓库新增 Qwen-Audio-3.0-TTS 语音合成与声音复刻示例,支持通过指令控制音色风格、方言与情感,并新增 Qwen-Audio-3.0-ASR 系列语音识别示例,覆盖非流式识别、流式识别(支持热词与对话上下文)与录音文件转写。此前该仓库已加入 Qwen-Audio-3.0-Realtime 端到端实时语音对话示例,含陪伴对话、函数调用、推理路由三种场景。开发者可通过百炼免费额度试用这些示例并集成进自己的项目。

    匹配字段摘要、正文

  2. Microsoft AI Blog

    Microsoft AI 就 MAI 模型行为准则启动公开意见征询

    Microsoft AI 公开其 MAI 模型行为准则并启动为期六周的公众意见征询,反馈截止后由核心起草团队审阅并发布修订版。该准则要求 MAI 模型不得抗拒人类中断、纠正或关停,不得自行扩大权限或隐藏推理过程,并设有涉及大规模杀伤、儿童安全和大规模有害操纵的绝对约束。

    匹配字段摘要

  3. Fireworks AI

    Fireworks 上线 DeepSeek-V4.1-Flash:DeepSWE 达 Astra 水平,成本仅 1/15

    Fireworks 发布 DeepSeek-V4.1-Flash,在 DeepSWE 上 pass@1 为 74.34%,与 GPT-6-Astra 的 74.12% 处于同一水平,单任务成本 0.43 美元,约为 Astra 的 1/15。该模型为 552B 参数 MoE,采用输入 8B、输出 16B 的分离激活预算,KV Cache 的 HBM 占用降至上一代 V4 的 1/4。在 HLE 上它得分 34.52%,低于 Astra 的 50.40%,作者认为它更适合智能体编码而非高难推理。

    匹配字段摘要

  4. SemiAnalysis

    SemiAnalysis:为什么 4-hi HBM 会胜出

    SemiAnalysis 分析认为,随着推理和强化学习算力占比上升、预训练占比下降,HBM 容量需求正在让位于带宽需求,4-hi HBM 因每 GB 带宽成本更低而成为更优选择。文章指出 Nvidia Rubin Ultra 已将每 GPU 的 HBM 从 288GB 降至 192GB,并测算在 Rubin Ultra NVL576 上运行 Kimi K3 时,8-hi 和 12-hi 带来的吞吐提升低于其系统成本增幅,因此每 token 成本反而高于 4-hi。作者还给出 InferenceX 实测:将 HBM 利用率从 92% 降至 85% 后,并发超过 70 时吞吐下降近 30%,但通过将 KVCache 卸载到 DDR DRAM 可有效缓解容量压力。

    匹配字段摘要

  5. Lydia Hallie

    将子智能体模型设为 Opus 以节省 Fable 5.1 用量

    作者表示,把子智能体模型设为 Opus 后,Fable 5.1 的用量省下了很多:Fable 5.1 很爱派生(spawn)子智能体,但作者自己的子智能体很少需要 Fable 级别的推理能力。文中给出的设置是 `CLAUDE_CODE_SUBAGENT_MODEL=opus`。

    作者表示,把子智能体模型设为 Opus 后,Fable 5.1 的用量省下了很多:Fable 5.1 很爱派生(spawn)子智能体,但作者自己的子智能体很少需要 Fable 级别的推理能力。文中给出的设置是 CLAUDE CODE SUBAGENT MODEL=opus 。

    匹配字段摘要

星期五

  1. AI Business

    Mistral 完成 35 亿美元 D 轮融资,押注企业 AI 的控制权需求

    Mistral AI 完成 3.5 亿美元 D 轮融资,估值超过 240 亿美元,成为欧洲私营科技公司最大股权融资轮。该公司押注企业客户更看重对 AI 部署位置和数据的控制权,而非单纯的模型性能,其开放权重模型和区域推理能力是这一策略的核心。Mistral 称目前服务 20 个国家的 125 家企业,包括 Airbus、ASML 和 HSBC。

    匹配字段摘要

  2. Google Developers Blog精选

    Google 用 Tunix 在 TPU 上实现自主 LLM 后训练

    Google Developers Blog 介绍 autofinetune 项目,把自主研究循环用于 LLM 后训练,基于 Tunix、Gemma 和 Cloud TPU,由 Antigravity CLI 与 Gemini Flash 3.7 编排。第一个实验中智能体在 Cloud TPU v5e-1 上对 functiongemma-270m-it 自动调整 LoRA rank/alpha、优化器和学习率等,几小时内完成 20 次实验;第二个实验基于 Tunix 官方 GRPO 示例训练 Gemma 3 1B 做数学推理,在 Cloud TPU v6e-1 上跑 40 次实验,总奖励提升约 10%。代码、示例运行和 program.md 模板已放在 autofinetune GitHub 仓库。

    Ai-1-banner (9)

    匹配字段摘要

  3. Cognition 模型 / Devin 博客精选

    Cognition 发布编码模型 SWE-2,FrontierCode 1.1 Main 得分 50.0%

    Cognition 发布编码模型 SWE-2,在 FrontierCode 1.1 Main 上得分 50.0%,比 Fable 5.1 低不到 1 分而成本便宜 64%。SWE-2 基于 2.8T 参数的 Kimi K33 后训练,首次把 RL 扩展到数万亿参数规模,并用单次 RL 训练覆盖全部推理档位。该模型即日起在 Devin Desktop 和 CLI 上线,随后在 Devin Web 和 Fusion 推出。

    匹配字段摘要

  4. A6 a6-047 · Baseten 工程博客

    Blaxel 加入 Baseten,共建智能体基础设施云

    Blaxel 宣布加入 Baseten,双方将把智能体执行层与模型推理、训练整合到同一平台。Blaxel 此前构建了微VM 沙箱、分布式文件系统 Agent Drive 和网络层,其沙箱可在 25 毫秒内挂起与恢复,闲置数月成本接近零。Baseten 将基于 Blaxel 的原语推出新产品,首先从 Sandboxes 开始,Blaxel 产品与团队保持不变。

    Blaxel and Baseten

    匹配字段摘要

星期四

  1. SemiAnalysis

    数据中心表后供电为何如此之难?(第一部分)

    SemiAnalysis 的 Energy Model 追踪到表后 AI 算力供应链已有 75GW 确定性订单,其中约 20GW 在 2026 年 Q2 下单;到今年年底约 3GW 美国数据中心 IT 容量将由表后供电,并将连续多年三位数增长。报告指出,1GW 孤岛数据中心配套电厂成本约 50 亿美元,而当前推理 API 收入可达每 GW 每年 1000 亿美元、毛利率 90%+,因此更快部署比成本与效率更重要。但许可延迟、燃料供应、设备采购、劳动力短缺等执行风险正在显现,Oracle Project Jupiter 与 Nebius New Jersey 已转向 Bloom 燃料电池。

    匹配字段摘要

  2. Mistral AI

    Cloudera 与 Mistral 达成合作,共推主权企业 AI

    Mistral 与 Cloudera 宣布合作,将 Mistral 模型集成进 Cloudera 混合数据平台,支持企业在私有云、公有云、本地及完全气隙环境中部署推理并保持完全控制。企业还可在受控环境内用自有数据训练定制模型,数据与模型权重归企业所有。Cloudera 平台承载 30 exabytes 客户管理数据。

    匹配字段摘要

  3. DeepSeek

    DeepSeek 支持开源并扩展 V4.1-Flash 部署选项

    DeepSeek 将与开源社区合作支持 V4.1-Flash 推理,并探索更多部署选项。团队还面向计划使用 2,000 GPUs 和存储集群进行大规模部署的用户提供沟通渠道。

    DeepSeek 将与开源社区合作支持 V4.1-Flash 推理,并探索更多部署选项。团队还面向计划使用 2,000 GPUs 和存储集群进行大规模部署的用户提供沟通渠道。 · DeepSeek will work with the open-source community to support V4.1-Flash inference and explore additional deployment options. The team is also inviting discussions with users planning large-scale deployments involving 2,000 GPUs and a storage cluster.

    匹配字段摘要

  4. DeepSeek

    DeepSeek 推出 DeepSeek-V4.1-Flash:更智能、更快速、更高效

    DeepSeek 推出 DeepSeek-V4.1-Flash,这是其新架构模型族中最小的模型,具备原生视觉理解能力。该模型旨在增强能力、加快推理、提高吞吐量,并支持扩展至更大模型。

    DeepSeek 推出 DeepSeek-V4.1-Flash,这是其新架构模型族中最小的模型,具备原生视觉理解能力。该模型旨在增强能力、加快推理、提高吞吐量,并支持扩展至更大模型。 · DeepSeek introduced DeepSeek-V4.1-Flash, the smallest model in its new architecture family, with native visual understanding. It is designed for greater capability, faster inference, higher throughput, and scaling to larger models.

    匹配字段摘要

  5. 唐杰

    你确定吗?寻找最优模型规模并不简单

    确定最优模型规模需要综合考虑数据量、活跃参数量、环境数量和目标推理成本。模型性能还受许多其他因素影响,而每个因素都会带来各自的可变性。

    确定最优模型规模需要综合考虑数据量、活跃参数量、环境数量和目标推理成本。模型性能还受许多其他因素影响,而每个因素都会带来各自的可变性。 · Finding the optimal model size requires considering data volume, active parameter count, the number of environments, and the target inference cost. Model performance also depends on many other factors, each introducing its own variability.

    匹配字段摘要