←搜索结果

搜索“NVIDIA”

按匹配度 · 共 2042 条结果 清除搜索

星期二

  1. Together AI Blog

    大规模推理基准测试：编码智能体

    Together Inference Engine 在 Kimi K2.5 编码智能体负载下，以相同的 4× NVIDIA B200 硬件实现了比 TensorRT-LLM 高 31% 的 TPS，并在饱和时保持约 2 倍更优的 TTFT。测试采用约 45k–200k Token 的长提示词和平均 450 Token 的输出；SGLang 因 TP4 内存不足改用 8× B200。性能提升来自 ThunderMLA、定制内核重写及真实流量下的端到端分析。

    Bar chart titled Coding agents with pink and orange bars on dark background with code snippets behind.

    Together Inference Engine 在 Kimi K2.5 编码智能体负载下，以相同的 4× NVIDIA B200 硬件实现了比 TensorRT-LLM 高 31% 的 TPS，并在饱和时保持约 2 倍更优的 TTFT。测试采用约 45k–200k Token 的长提示词和平均 450 Token 的输出；SGLang 因 TP4 内存不足改用 8× B200。性能提升来自 ThunderMLA、定制内核重写及真实流量下的端到端分析。 · Together Inference Engine delivered 31% higher TPS than TensorRT-LLM on a Kimi K2.5 coding-agent workload using the same 4× NVIDIA B200 hardware, while maintaining roughly 2× better TTFT at saturation. The benchmark used prompts of about 45k–200k tokens and outputs av

    匹配字段摘要、正文

    #company#评测/基准#编码#部署/工程

星期一

  1. Zyphra Research

    Zyphra 在 AMD MI355X 上推理性能基准测试：对比 B200

    Zyphra 发布 Zyphra Inference 在单节点 AMD Instinct MI355X GPU 上的首批端到端基准，覆盖 Kimi K2.6、GLM-5.1 和 DeepSeek V3.2，并与 AMD MI355X 与 Nvidia B200 基线配置对比。MI355X 每卡提供 288 GB HBM3E（B200 为 180 GB），两者 HBM 带宽均约 8 TB/s，但 MI355X 采用全连接 xGMI 点对点互联，8 路集合通信峰值 537.6 GB/s。测试使用 ShareGPT 与 LMSYS-Chat-1M，仅限 vLLM 框架、单节点且无真实流量。

    匹配字段摘要、正文

    #lab#评测/基准#部署/工程#推理

星期一

  1. Together AI Blog精选

    服务 DeepSeek-V4：为何百万 Token 上下文是推理系统问题

    DeepSeek-V4 通过 CSA、HCA 与 SWA 混合注意力在 KV 存储前压缩上下文，支持 1M-token 上下文窗口，但实际效率取决于推理引擎的缓存管理。Together AI 在 NVIDIA HGX B200 上调整 SWA 缓存策略后，将单节点 KV 缓存容量从约 1.2M tokens 提升至 3.7M tokens。长上下文、解码密集型任务最先受益，短上下文任务仍更依赖预填充优化与内核成熟度。

    Three diagrams comparing CSA, HCA, and SWA methods with different compression and KV token reads.

    DeepSeek-V4 通过 CSA、HCA 与 SWA 混合注意力在 KV 存储前压缩上下文，支持 1M-token 上下文窗口，但实际效率取决于推理引擎的缓存管理。Together AI 在 NVIDIA HGX B200 上调整 SWA 缓存策略后，将单节点 KV 缓存容量从约 1.2M tokens 提升至 3.7M tokens。长上下文、解码密集型任务最先受益，短上下文任务仍更依赖预填充优化与内核成熟度。 · DeepSeek-V4 supports a 1M-token context window by compressing context before KV storage with a hybrid CSA, HCA, and SWA attention design, but its realized efficiency depends on inference-engine cache management. After adjusting the SWA cache policy on NVIDIA HGX B200, Together AI increa

    匹配字段摘要、正文

    #company#教程/实践#DeepSeek#部署/工程

星期四

  1. Prime Intellect精选

    Prime Intellect 发布 Lab 智能体训练平台正式版

    Prime Intellect 宣布 Lab 结束 beta 并正式开放，这是一个面向自我改进智能体的训练平台，把任务定义、harness、评测、奖励信号训练、rollout 检查、adapter 部署和推理整合到一处。平台以环境为基本单元，Hosted Training 负责大规模强化学习，按 token 计费而非按集群小时计费，正式版首批支持来自 NVIDIA、OpenAI、Meta 和 Qwen 的 14 个模型，参数规模在 1B 到 70B 之间。beta 期间已有数百名用户运行超过 10,000 次训练任务，训练完成的 LoRA adapter 可通过 Prime Inference 以 OpenAI 兼容 API 部署。

    Releasing Lab: the training platform for self-improving agents

    匹配字段摘要、正文

    #company#产品更新#Agent#数据/训练

星期三

  1. xAI News精选

    SpaceXAI 与 Anthropic 签署 Colossus 1 算力合作协议

    SpaceXAI 与 Anthropic 签署协议，向后者提供 Colossus 1 超级计算机的算力访问。Colossus 1 配备超过 220,000 块 NVIDIA GPU，包含 H100、H200 和下一代 GB200 加速器的密集部署，面向大语言模型、多模态系统和生成式 AI 的训练、微调与推理。Anthropic 还表示有兴趣合作开发数吉瓦级的轨道 AI 算力容量。

    匹配字段摘要、正文

    #lab#行业动态#部署/工程#数据/训练
  2. The Register

    OpenAI 总裁庭审称今年将烧掉 500 亿美元算力

    OpenAI 联合创始人兼总裁 Greg Brockman 在周二庭审证词中表示，公司预计到今年年底将在算力上烧掉 500 亿美元，该数字此前由 Bloomberg 报道。文章指出，亚马逊、Nvidia 和软银 2 月宣布的 1100 亿美元投资中至少 800 亿美元附带条件，例如 OpenAI 需租用 2 吉瓦亚马逊 Trainium 加速器并在 AWS 部署 GPT 模型才能拿到 500 亿美元中的 350 亿美元，Nvidia 的 300 亿美元投资则与 5 吉瓦训练和推理算力部署挂钩。

    匹配字段摘要、正文

    #hot-signal#行业动态#OpenAI

星期二

  1. Qwen Blog

    FlashQLA：面向 GDN 的 CP/反向友好融合线性注意力内核

    Qwen 团队开源 FlashQLA，一个基于 TileLang 的高性能线性注意力内核库，对 GDN Chunked Prefill 的前向与反向流程做算子融合，在 NVIDIA Hopper 上相比 FLA Triton 内核实现 2-3× 前向加速和 2× 反向加速。它通过门控驱动的自动卡内上下文并行（CP）和硬件友好的代数重写，提升 TP、长序列、小头数场景下的 GPU SM 利用率，代码与基准已开源于 github.com/QwenLM/FlashQLA。

    匹配字段摘要、正文

    #company#开源/仓库#部署/工程#数据/训练

星期一

  1. 电子技术应用

    2026 阿里云 Data+AI 工程师全球挑战赛收官，超 2000 名选手参与

    2026 阿里云联合 NVIDIA 发起的 Data+AI 工程师全球挑战赛收官，超 2000 名选手、700 余家单位参与，累计提交 4389 次打榜。大赛设万亿语料去重与 Agent 构建两大赛题，分别基于 MaxCompute MaxFrame、DataWorks 和 PAI-LangStudio 平台，85% 选手深入使用阿里云产品并产出 30+ 项性能优化方案。

    匹配字段摘要、正文

    #chinese#行业动态#Agent#数据/训练

星期三

  1. Johann Rehberger / Embrace The Red精选

    Johann Rehberger：智能体让所有漏洞都变浅

    安全研究者 Johann Rehberger 认为，智能体正变得极擅长发现安全漏洞，他在博文中引用 Anthropic 同日发布的 Mythos Preview 数据：Opus 4.6 在数百次尝试中仅两次成功利用 Firefox JS 引擎漏洞，而 Mythos Preview 成功 181 次。Anthropic 将 Mythos 以受限预览形式开放，并宣布 Project Glasswing，联合 AWS、Cisco、Microsoft、Linux Foundation、CrowdStrike、Palo Alto Networks、NVIDIA 等公司加固关键软件，同时捐赠最高 1 亿美元额度加 400 万美元给开源软件。Rehberger 指出，能力提升主要改变攻击者的吞吐量而非人数，组织快速部署补丁将成为最大挑战，并预计 6-12 个月后开源权重模型将具备接近能力。

    匹配字段摘要、正文

    #analysis#安全/对齐#Agent#Anthropic

星期二

  1. Modal 官方工程博客

    Modal 产品更新：RTX Pro 6000 Blackwell、Command K、Sandbox FS API 等

    Modal 上线 NVIDIA RTX Pro 6000 Blackwell GPU，配备 96GB 显存，适合推理与微调负载；仪表盘新增 Command K 命令面板，Sandbox Filesystem API 进入 Beta，支持读取 5GB 文件、任意大小写入与双向流式传输。SDK 1.4.0 新增 modal app logs 与 modal container logs 历史日志查询、--strategy recreate 部署策略，并开始移除 1.0 前旧 API 的向后兼容。

    匹配字段摘要、正文

    #company#产品更新#部署/工程#Agent

星期一

  1. Ollama Blog精选

    Ollama 预览版在 Apple Silicon 上改用 MLX 驱动

    Ollama 发布预览版，在 Apple Silicon 上改用 Apple 的机器学习框架 MLX，利用统一内存架构加速，在 M5、M5 Pro 和 M5 Max 上借助 GPU Neural Accelerators 提升首 token 时间与生成速度。测试于 2026 年 3 月 29 日使用阿里 Qwen3.5-35B-A3B 模型进行，Ollama 0.19 在 int4 量化下可达 1851 token/s prefill 和 134 token/s decode。该版本还引入 NVIDIA NVFP4 格式以降低内存带宽和存储需求，并升级缓存以复用跨对话缓存、在提示词中设置智能检查点并延长共享前缀存活时间，需 Mac 统一内存超过 32GB。

    Illustration of Ollama standing beside a fast car that can be run both as a daily driver and go on to win races. Ollama is here to demonstrate high performance on Apple silicon

    匹配字段摘要、正文

    #company#产品更新#部署/工程#端侧

星期三

  1. LMSYS Blog

    SGLang 集成 Elastic EP，为 DeepSeek MoE 部署提供部分故障容错

    LMSYS 在 SGLang 中集成 Elastic EP，通过解耦专家与 GPU 的固定映射并保留冗余专家，实现单实例内的部分故障容错。在 4 节点 32 GPU 上运行 DeepSeek V3.2、设置 ep_size=dp_size=32 与 256 个冗余专家时，可容忍最多 16 个 rank 故障，服务中断控制在 10 秒以内，相比完整重启所需的 2 至 3 分钟减少约 90%，静态性能与标准 DeepEP 持平。启用需配置 --elastic-ep-backend mooncake、--moe-a2a-backend mooncake、--ep-num-redundant-experts 等参数，NVIDIA Dynamo 团队的 NIXL EP 也可通过 --moe-a2a-backend nixl 试用。

    eep-architecture.svg

    LMSYS 在 SGLang 中集成 Elastic EP，通过解耦专家与 GPU 的固定映射并保留冗余专家，实现单实例内的部分故障容错。在 4 节点 32 GPU 上运行 DeepSeek V3.2、设置 ep size=dp size=32 与 256 个冗余专家时，可容忍最多 16 个 rank 故障，服务中断控制在 10 秒以内，相比完整重启所需的 2 至 3 分钟减少约 90%，静态性能与标准 DeepEP 持平。启用需配置 --elastic-ep-backend mooncake、--moe-a2a-backend mooncake、--ep-num-redundant-experts 等参数，NVIDIA Dynamo 团队的 NIXL EP 也可通过 --moe-a2a-backend nixl 试用。

    匹配字段摘要、正文

    #company#教程/实践#部署/工程#开源生态

星期二

  1. Mira Murati

    Mira Murati 与英伟达合作部署 1GW Vera Rubin 系统

    感谢 Jensen 和 @nvidia 团队的支持。我们正携手部署至少 1GW 的 Vera Rubin 系统，将可适配的协作式 AI 带给每一个人。 https://t.co/FiOL7SRbut https://t.co/WdUkeLl7sL

    感谢 Jensen 和 @nvidia 团队的支持。我们正携手部署至少 1GW 的 Vera Rubin 系统，将可适配的协作式 AI 带给每一个人。 https://t.co/FiOL7SRbut https://t.co/WdUkeLl7sL

    匹配字段摘要、正文

    #analysis#行业动态#部署/工程#OpenAI

星期日

  1. Cognition 模型 / Devin 博客精选

    Cognition 发布 SWE-1.6 早期预览：SWE-Bench Pro 较 SWE-1.5 提升 11%

    Cognition 公布 SWE-1.6 的早期预览，该模型与 SWE-1.5 基于同一预训练模型做后训练，推理速度同为 950 tok/s，当前 checkpoint 在 SWE-Bench Pro 上比 SWE-1.5 高 11%。团队称通过改进 RL 配方和扩展基础设施获得两个数量级算力，训练步骤比 3 个月前快 6 倍，并使用低至 NVFP4 的精度和 NVIDIA Multi-Node NVLink 加速。目前该模型向少量用户开放早期访问以收集反馈，团队同时指出大规模 RL 带来了过度思考、过多轮次等影响模型使用体验的行为。

    匹配字段摘要、正文

    #company#模型发布#编码#Agent

星期五

  1. LMSYS Blog

    SGLang-Diffusion 发布两个月：推理速度较初版提升 2.5 倍

    SGLang-Diffusion 自 2025 年 11 月初发布以来，经两个月优化后（docker 镜像 lmsysorg/sglang:dev-pr-17247）比初版快 2.5 倍，在 NVIDIA GPU 上比其他方案最高快 5 倍。新增对 Flux.2、Qwen-Image-Edit-2511、Z-Image-Turbo、GLM-Image 等模型的 Day-0 支持，并集成 Cache-DiT、支持 LoRA 与 ComfyUI 自定义节点。

    匹配字段摘要、正文

    #company#开源/仓库#图像生成#视频

星期二

  1. xAI News

    xAI 完成 200 亿美元 E 轮融资，超额认购原定 150 亿美元目标

    xAI 宣布完成 E 轮融资，规模达 200 亿美元，超过原定 150 亿美元的目标。投资方包括 Valor Equity Partners、Stepstone Group、Fidelity、卡塔尔投资局、MGX 和 Baron Capital Group 等，NVIDIA 与 Cisco Investments 作为战略投资方参与。xAI 称 Colossus I 和 II 超算年底达到超过 100 万 H100 GPU 等效算力，𝕏 与 Grok 应用月活约 6 亿，Grok 5 正在训练中。

    匹配字段摘要、正文

    #lab#行业动态#OpenAI#数据/训练

星期二

  1. METR Blog

    前沿 AI 安全政策的共同要素（2025 年 12 月更新）——METR

    METR 发布《前沿 AI 安全政策的共同要素》2025 年 12 月更新版，目前已有 Anthropic、OpenAI、Google DeepMind、Meta、xAI、Nvidia 等 12 家公司发布前沿 AI 安全政策。报告梳理了各政策中的能力阈值、模型评估、模型权重安全与部署缓解措施，并新增对 EU AI Act 通用 AI 行为准则和加州 Senate Bill 53 相关指引的引用。

    匹配字段摘要、正文

    #safety#安全/对齐#OpenAI#Anthropic

星期三

  1. Prime Intellect精选

    Prime Intellect 发布 INTELLECT-3：106B MoE 模型经大规模 RL 训练并开源全流程

    Prime Intellect 发布 INTELLECT-3，一个 106B 参数的 Mixture-of-Experts 模型，在 GLM-4.5-Air 基座上进行 SFT 和大规模 RL 训练，在数学、代码、科学和推理基准上取得同规模 SOTA。团队开源了模型权重、训练框架 prime-rl、verifiers 环境库及全部训练与评测环境，训练在 512 张 NVIDIA H200 GPU 上完成。模型可在 chat.primeintellect.ai 或通过 Inference API 使用。

    INTELLECT-3: A 100B+ MoE trained with large-scale RL

    匹配字段摘要、正文

    #company#模型发布#数据/训练#开源生态

星期三

  1. Suno：Blog

    Suno 完成 2.5 亿美元 C 轮融资，估值 24.5 亿美元

    Suno 宣布完成 2.5 亿美元 C 轮融资，投后估值 24.5 亿美元，由 Menlo Ventures 领投，NVentures（NVIDIA 旗下风投）、Hallwood Media、Lightspeed 和 Matrix 参投。Suno 称过去两年有近 1 亿人在其平台上创作音乐，资金将用于为专业用户提供更复杂的工具、优化普通创作者的体验，并建设创作者、听众与音乐社区共同参与的生态。

    Suno Series C Announcement

    匹配字段摘要、正文

    #company#行业动态#现象/趋势

星期五