←搜索结果

按匹配度 · 共 642 条结果 清除搜索

星期二

  1. NVIDIA Developer · Generative AI

    NVIDIA 如何为 AI 推理与 TCO 合理配置 GPU 规模

    NVIDIA 提出按 AI Chatbots/Copilots、AI Agents、内容生成、翻译应用四类用例映射推理负载,并依据模型选择、DAU、并发、ISL/OSL、缓存命中率、延迟目标和合同期限来规划 GPU 容量。其核心加弹性(core-and-flex)模式用本地或预留云 GPU 承载稳态流量,用公有云 spot 或按需 GPU 应对突发。NVIDIA Model Optimizer 的 FP8 训练后量化将 Llama-3.1-8B 权重内存减少 43.5%,对 Qwen3-8B 教师模型剪枝加蒸馏得到约 6B 参数学生模型。

    匹配字段标题

  2. The Next Platform

    长期来看,Nvidia NVSwitch 就是 scale up AI 网络中的 InfiniBand

    The Next Platform 分析认为,Nvidia 截至 7 月的过去十二个财月中 InfiniBand 收入约 25.74 亿美元,与 Ethernet 和 NVSwitch 互连合计的 25.67 亿美元几乎持平,但大型集群的 InfiniBand 可能已见顶。随着 Ultra Ethernet 联盟推动超以太网技术,NVSwitch 用于 scale up、Spectrum-X Ethernet 用于 scale out 将主导 Nvidia 自身销售,这是客户拉动而非厂商推动。

    匹配字段标题

  3. NVIDIA Developer · Generative AI

    在 Claude Science 中运行 NVIDIA BioNeMo NIM 微服务进行蛋白质结构预测

    NVIDIA BioNeMo Agent Toolkit 将十余年 BioNeMo 生命科学模型、库和工作流打包为可被智能体调用的技能,并与 Claude Science 及 NVIDIA NIM 微服务集成,让 AI 智能体编排蛋白质结构预测流程。在 Seh1 单体与 Seh1–C1HCX1 异源二聚体基准中,OpenFold3 和 Boltz-2 在有 MSA 输入时界面置信度 iPTM 分别为 0.85 和 0.82,无 MSA 时降至 0.14 和 0.19。内部基准显示 BioNeMo 技能将任务正确率从 60% 提升至 100%,token 效率约翻倍。

    匹配字段标题

星期五

  1. Ed Zitron 长文 / Where’s Your Ed At

    批评者指南:NVIDIA 循环融资分析(上篇)

    Ed Zitron 分析 NVIDIA 围绕 AI GPU 销售形成的循环融资关系,认为其投资部分客户的做法同时创造了硬件销量和算力需求。他指出数据中心硬件贡献 NVIDIA 超过 90% 的收入,并称超大规模云厂商约占其 GPU 销售额的 50% 至 60%。本篇聚焦该融资模式为何尚未破裂、其局限,以及最新季度财报暴露的实质性风险。

    匹配字段标题

星期四

  1. NVIDIA Developer · Generative AI

    NVIDIA COMPASS 如何用 AI 智能体训练跨形态机器人导航策略

    NVIDIA 发布 COMPASS(Cross-Embodiment Mobility Policy via Residual RL and Skill Synthesis)框架,通过强化学习把预训练的 X-Mobility 策略适配为特定机器人和环境的残差专家策略。该流程由编码智能体驱动,自动完成环境校验、场景准备、冒烟测试、残差训练、checkpoint 评估与运行时打包,并在场景验收、单环境冒烟测试和 checkpoint 晋升处设置人工审批门。参考实现使用 Boston Dynamics Spot 四足机器人,覆盖内置仓库、SAGE-10K 生成场景和 NVIDIA Omniverse NuRec 重建场景三条路径,评估指标包括到达目标率、跌倒率和行进时间。

    匹配字段标题

  2. NVIDIA Developer · Generative AI精选

    NVIDIA 在 GB300 NVL72 上实测 Qwen3.8-Flash-Next 智能体编码

    阿里发布 Qwen3.8-Flash-Next 权重,作为 Qwen4 架构预览供开发者实验评估,这是一个 125B 参数、每 token 激活 6B 的多模态 MoE 模型,原生上下文窗口 262,144 token,借助 YaRN 可扩展至 1M token。NVIDIA 提供 SGLang、vLLM 和 TensorRT LLM 的 Day 0 功能支持,并在 GB300 NVL72 上验证推理,单 GPU 吞吐超过 16K token/秒、单用户超过 200 token/秒。开发者可用 NVIDIA NeMo AutoModel 微调、用 NeMo RL 做强化学习,权重可从 Hugging Face 或 ModelScope 下载。

    Decorative image.

    匹配字段标题

星期三

  1. NVIDIA Developer · Generative AI

    NVIDIA Dynamo 推出影子引擎恢复,LLM 推理故障恢复从 283 秒缩短到 7.3 秒

    NVIDIA Dynamo 以预览功能形式推出影子引擎恢复,在同一批 GPU 上保留一个已完全初始化的空闲影子引擎,由 GPU Memory Service 共享已有权重而不在 HBM 中额外复制,活跃进程失败后影子引擎可在数秒内接管。在 NVIDIA B200 节点上的双 worker GLM-5.2 部署中,影子引擎恢复用 7.3 秒恢复服务,冷重启需要 283 秒,接近 39 倍差距。该功能要求 Kubernetes 1.34 或更新版本的 Dynamic Resource Allocation 并安装 NVIDIA GPU DRA 驱动,主要支持 vLLM 后端,当前预览版尚不支持将 GMS 用于 KV cache。

    匹配字段标题

  2. The Next Platform

    Hot Chips 2026:DRAM 与闪存现货价暴涨约七倍,Nvidia 警告 NVL72 系统明年涨价 15%

    在 Hot Chips 2026 的内存教程上,Objective Analysis 的 Jim Handy 指出,受超大规模云厂商 GenAI 需求冲击叠加供应短缺影响,DRAM 与 NAND 闪存现货价已上涨约七倍。由于 GPU 组件 2026 年产能已售罄、分配基本排到 2027 年底,Nvidia 警告明年购买 Grace-Blackwell 和 Vera-Rubin NVL72 系统的客户将面临 15% 涨价。

    匹配字段标题

星期二

  1. The Rundown AI

    SpaceX 与 NVIDIA 合作将数据中心送入轨道

    SpaceX 将采用 NVIDIA Vera Rubin NVL72 机架建设 Starmind 轨道数据中心,计划于 2027 年第四季度前将首批精简版机架送入太空。每个机架集成 72 颗芯片,系统针对轨道辐射与散热需求进行了轻量化调整;分析师估计当前轨道计算成本超过地面计算的 4 倍。

    匹配字段标题

  2. Chips and Cheese

    Hot Chips 2026:Nvidia 计划让 CUDA 支持 RISC-V

    Nvidia 在 Hot Chips 2026 上表示正考虑将 CUDA 扩展到 RISC-V,要求 CPU 满足 RVA23、RISC-V 服务器 SoC 与平台规范、ACPI、PCIe 缓存一致性和点对点 PCIe 通信等条件。Nvidia 正与 SiFive 合作,后者计划在 Hot Chips 上演示运行 CUDA 的系统,其规格指向高核心数服务器芯片。现有 RISC-V 硬件大多难以满足这些要求,短期内支持 CUDA 的 RISC-V 系统更可能是服务器而非消费级设备。

    匹配字段标题

星期一

  1. NVIDIA Developer · Generative AI

    NVIDIA Vera Rubin 与 Blackwell 在智能体 AI 每瓦性能上树立新标准

    SemiAnalysis AgentX 基准显示,NVIDIA Vera Rubin NVL72 在 AgentX DeepSeek V4-Pro 工作负载、每用户 160 tokens/s 下,每兆瓦 AI 工厂吞吐量最高达 GB300 NVL72 的 30 倍。GB300 NVL72 在 DeepSeek V4 Pro 1.6T 上每兆瓦吞吐量最高为 H200 NVL8 的 15 倍,Kimi K3 2.8T 上最高 80 倍,每百万 tokens 成本最高低 10 倍。该基准通过回放 Claude Code 会话评估智能体编码推理,Vera Rubin NVL72 结果尚待 SemiAnalysis 审核。

    匹配字段标题

  2. NVIDIA Developer · Generative AI

    NVIDIA Groq 3 LPX 在 Vera Rubin 上实现长上下文超快交互

    NVIDIA 发布面向 Vera Rubin 平台的交互式 AI 推理加速器 Groq 3 LPX,Artificial Analysis 在 100K 上下文下用 Gemma 4 31B 实测中位输出速度为 3,431 tokens/秒,10K 上下文下为 3,382 tokens/秒。该加速器采用确定性执行模型,由编译器预先调度芯片间通信并细粒度重叠计算与通信,可与 Vera Rubin NVL72 组合用于 prefill-decode 分离、attention-FFN 分离和外部草稿模型投机解码等配置。在 SPEED-Bench 编码基准上,同一系统用 Gemma 4 达到中位 4,767 tokens/秒、P80 为 5,520 tokens/秒。

    匹配字段标题

  3. NVIDIA Developer · Generative AI

    NVIDIA Vera CPU 如何应对智能体 AI 集群挑战

    NVIDIA 发布技术博客,介绍 Vera CPU 如何应对智能体 AI 集群挑战:基于 163,594 个智能体会话的遥测数据,超过 97% 的会话轨迹各不相同,难以用多种专用 CPU 设计点来精准配置集群。Vera CPU 采用 NVIDIA Olympus 核心,在整体 CPU 满载时仍保持较强单线程性能,兼顾扇出突发的并发与关键路径的单线程速度;预估 SPEC CPU 2026 结果显示,其在编译器、静态分析和 Python 等四类智能体工作负载上每核性能最高可达 AMD Venice 的 1.5 倍。

    Vera CPU render.

    匹配字段标题

星期五

  1. NVIDIA Developer · Generative AI

    NVIDIA 谈 AI 智能体栈中的安全边界:OpenShell 与 Dynamo 如何分工

    NVIDIA 安全团队提出 AI 智能体栈的安全分层思路:模型、harness 与 meta-harness 只负责引导行为,最终权限由运行环境决定,NVIDIA OpenShell 提供隔离、身份、策略、凭证与审计的安全运行时,NVIDIA Dynamo 承担模型服务、缓存放置、路由与调度的推理数据面。文章给出五条设计规则和 Isolated、Connected、Production、Adversarial 四档安全配置,并强调智能体不得自行授予访问权限、高影响操作必须经过执行点。

    匹配字段标题

  2. NVIDIA Developer · Generative AI精选

    NVIDIA AVO 在 ARC-AGI-3 公开集达到 100.00 RHAE 并完成全部 183 关

    NVIDIA 的 Agentic Variation Operators(AVO)架构在 ARC-AGI-3 公开集 25 个环境中取得 100.00 RHAE 分数,完成全部 183 个关卡,共使用 6,624 次环境动作,比同样使用 Claude Opus 5 的 VISTA 系统少约 12%。AVO 此前在 NVIDIA DGX B200 上连续运行七天优化注意力内核,探索超过 500 个方向,产出 40 个提交版本,内核性能最高超过 cuDNN 3.5%、超过 FlashAttention-4 10.5%。该结果覆盖 ARC-AGI-3 公开集,不涉及半私有或私有竞赛集,作者强调长时程能力来自包含持久记忆、监督、工具与反馈的完整智能体系统,而非仅模型本身。

    匹配字段标题

  3. NVIDIA Developer · Generative AI

    NVIDIA 如何用生成式推荐模型重塑大规模 RecSys

    NVIDIA 的 recsys-examples 仓库为 HSTU 和 Semantic ID 两类生成式推荐模型提供生产级训练与推理实现,并集成 DynamicEmb 动态嵌入表与 Megatron-Core 分布式并行。HSTU 推理结合 PyTorch AOTInductor、Triton Inference Server、nv-embedding-cache 和 FlexKV KV cache,在全 GPU 缓存命中场景下比 Python 后端最高提速 2.38x;Semantic ID 专用推理框架在 H100 上相比 SGLang beam search 离线延迟降低 2.14x 至 2.27x、在线吞吐提升 1.85x。

    匹配字段标题

星期四

  1. NVIDIA Developer · Generative AI

    NVIDIA 如何用 CLI、Skills 和 AI 编码智能体开发 Holoscan 应用

    NVIDIA 用 Codex 搭配 GPT-5.6 sol max 模式,通过 Holoscan CLI、HoloHub 开发技能与文档,分三轮迭代构建了内窥镜工具分割仪表盘应用,复用 MONAI 模型与示例视频。延迟优化使渲染吞吐提升 50.5%、应用路径平均延迟降低 33.6%。消融实验显示,CLI、HoloHub 技能与文档三者结合时智能体处理最快(40 分钟)、token 用量最低(11M)。

    匹配字段标题

  2. NVIDIA Developer · Generative AI

    用 NVIDIA FLARE 构建联邦多模态 AI 工作流

    NVIDIA FLARE 通过外部化、张量流式传输和磁盘聚合,在分布式站点间协调视觉语言模型与统一多模态模型的联邦训练,以缓解传输和服务器端聚合的内存压力。FedUMM 在冻结的 BLIP3o 骨干上仅联邦轻量适配器,将每客户端每轮通信量从 28.6 GB 降至 0.094 GB,同时在 VQA v2 和 GenEval 上保持约 97% 的集中式性能。

    匹配字段标题