←搜索结果

搜索“NVIDIA”

按匹配度 · 共 375 条结果 清除搜索

星期三

  1. The Rundown AI

    OpenAI 首款 AI 芯片 Jalapeño 公布基准测试

    OpenAI 公布与 Broadcom 合作开发的首款自研推理芯片 Jalapeño，其内部测试显示，这款 700 瓦芯片比 NVIDIA 旗舰系统最高快 3.6 倍，每瓦工作量最高多 1.9 倍。该芯片不会对外销售，计划于今年晚些时候进入 OpenAI 数据中心，并在 2027 年扩大生产。

    OpenAI 公布与 Broadcom 合作开发的首款自研推理芯片 Jalapeño，其内部测试显示，这款 700 瓦芯片比 NVIDIA 旗舰系统最高快 3.6 倍，每瓦工作量最高多 1.9 倍。该芯片不会对外销售，计划于今年晚些时候进入 OpenAI 数据中心，并在 2027 年扩大生产。 · OpenAI released internal benchmark results for Jalapeño, its first in-house inference chip developed with Broadcom, showing that the 700-watt chip ran up to 3.6x faster than NVIDIA’s flagship systems and delivered up to 1.9x more work per watt. The chip will not be sold externally and is planned to reach OpenAI’s data centers later this year, with

    匹配字段摘要、正文

    #newsletter#行业动态#OpenAI

星期二

  1. LMSYS Blog精选

    LMSYS 发布 Miles v0.1 生产级后训练系统

    LMSYS 发布 Miles v0.1，定位为面向前沿模型后训练的全栈生产级系统，是首个 Miles 版本的后续。它把 RL 训练循环拆成 SGLang 生成、训练器更新与权重同步三段，支持完全异步 RL、TITO 精确 token 记录、R3 路由重放，以及 NVFP4、MXFP8、FP8 等低精度训练配方。官方给出在 64 张 NVIDIA GB300 上训练 GLM-5.2 744B-A40B 终端任务的参考运行，稳定完成 100 步 rollout，单步训练约 4.5 分钟，前缀缓存命中率 96%。

    The Miles fully async RL loop

    匹配字段摘要、正文

    #company#开源/仓库#数据/训练#部署/工程

星期三

  1. LMSYS Blog精选

    SGLang 与 Miles 为 Qwen3.8-2.4T-A95B 提供 Day-0 支持

    SGLang 与 Miles 宣布在发布当天支持 Qwen3.8-2.4T-A95B，该模型总参数 2.4T、每 token 激活 95B，采用 69 层 GDN 线性注意力与 23 层 GQA 全注意力 3:1 交错的混合架构。团队与 Qwen、阿里百炼、NVIDIA、AMD 合作，Day-0 放出 NVFP4 量化检查点 RadixArk/Qwen3.8-2.4T-A95B-NVFP4，并在 B300 上以 TP8 实现 batch size 1 下 346 tok/s 的 MTP 解码。Miles 侧支持在原生 NVFP4 基座上进行 LoRA 协同训练，用 GRPO 在 GSM8K 上验证了奖励稳定与 train/rollout KL 平稳。

    Qwen3.8-2.4T-A95B model architecture

    匹配字段摘要、正文

    #company#开源/仓库#部署/工程#开源生态

星期二

  1. Unsloth精选

    Unsloth 发布桌面应用 Unsloth Desktop，支持本地运行与训练模型

    Unsloth 发布 Unsloth Desktop，称其为首个可在本地运行和训练模型的桌面应用，已上线官网和 GitHub。该应用开源，支持 Mac、Windows 和 Linux，覆盖 MLX、扩散图像/视频、音频、GGUF，可将 Claude Code 和 Codex 接入本地 LLM，并支持 CPU 与多 GPU 环境（NVIDIA、AMD、Intel、Mac）。官方称训练速度提升 2 倍、显存占用减少 70%，工具调用准确率提高 50% 并支持自愈与沙箱化代码执行，同时提供私有网页搜索、深度研究、RAG、MCP 以及 NVFP4、GGUF 导出。

    匹配字段摘要、正文

    #company#产品更新#端侧#开源生态

星期一

  1. LMSYS Blog精选

    SGLang 为 Meta 多模态模型 Muse Glimmer 提供 Day-0 支持

    LMSYS 宣布与 Meta Superintelligence Labs 合作，为 30B 参数多模态模型 Muse Glimmer 在 SGLang 上提供 Day-0 支持，并针对本地智能体工作流推理做了专门优化。在 NVIDIA GeForce RTX 5090 上，SGLang 以 NVFP4 加 DFlash 实现最高 1,452 tok/s 总输出吞吐和 236 tok/s 单用户解码速度，DFlash 将 batch-1 交互性提升 1.9 至 4.3 倍。模型可在 RTX 5090、RTX PRO 6000、DGX Spark 的 SM120 后端以及 Apple Silicon 的 MLX 后端部署，提供 BF16、NVFP4+MXFP8、NVFP4 及 GGUF 等多种 checkpoint 格式。

    匹配字段摘要、正文

    #company#产品更新#多模态#部署/工程

星期五

  1. LMSYS Blog

    腾讯混元 HPC-Ops 的 Attention、Router GEMM 与 MoE 算子并入 SGLang 主分支

    腾讯混元开源算子库 HPC-Ops 的 Attention、Router GEMM 和 MoE 三个算子已并入 SGLang 主分支，面向 NVIDIA Hopper（SM90）GPU，并已用 Qwen3、Hy3 和 LongCat 工作负载验证。在 8× H20 上以 Hy3-FP8 同时启用 Attention 与 MoE，batch size 4–64 时 TPOT 降低 15.1–48.8%，batch size 4–16 时 TTFT 降低 3.3–6.0%；LongCat-Flash-Lite-FP8 启用 Router GEMM 后输入吞吐提升 5.5–6.1%。这些算子已在腾讯大规模生产服务中部署，其中 Dynamic Attention 与 Fused MoE 使 Hy3 模型的 TPOT 最多降低 48.8%。

    匹配字段摘要、正文

    #company#开源/仓库#部署/工程#开源生态

星期一

  1. LMSYS Blog精选

    SGLang 与 Miles 为 Kimi K3 提供 Day-0 支持

    SGLang 与 Miles 宣布在 Kimi K3 发布当天提供 Day-0 支持，前者负责推理、后者负责 RL 训练，与 Moonshot AI、NVIDIA 团队合作完成。K3 是首个 3 万亿参数级别的开源模型，实际为 2.8T 参数、1M token 上下文窗口并具备原生视觉理解，其 69 层 KDA 线性注意力与 24 层 MLA 交织的混合架构打破了常规服务栈的多项假设。文中给出统一显存池、DSpark 投机解码与 ReplaySSM、分阶段并行等方案，并报告在 16 节点 × 4 GB300 上做 DAPO 数学 RL 训练，AIME-2024 贪心评测在 12 小时内从 43.3% 升至 76.7%。

    The three KDA state moves, copy-on-write, snapshot and donate, and where each sits relative to the serial forward stream.

    匹配字段摘要、正文

    #company#开源/仓库#部署/工程#推理

星期五

  1. Microsoft AI Blog精选

    微软 MAI 模型落地 GitHub Copilot 与 Excel

    微软 AI 公布面向智能体工作负载的 MAI 模型在 GitHub Copilot 和 Excel 中的部署情况。MAI-Code-1-Flash 自 6 月在 GitHub Copilot 上线以来已有数百万开发者使用，在 VS Code 中代码接受率比 GPT 5.4 Mini 和 Claude Haiku 4.5 高约 10%，中位 token 用量低 10%。在 Excel 中，基于该 checkpoint 继续强化学习得到的模型在常见任务上质量与 GPT-5.6 相当，且可运行在 Nvidia H100 和 A100 上，降低部署成本。微软表示正将这一方法扩展到 Copilot Chat、Outlook、PowerPoint 等产品。

    Line graph showing pass rates on SWE Bench (VS Code and Base) across model checkpoints, with data points labeled "Code" and "Excel." Pass rates increase over checkpoints, starting below 72% and peaking at 86%.

    匹配字段摘要、正文

    #company#模型发布#Agent#编码

星期四

  1. Black Forest Labs Blog

    Black Forest Labs 与 mimic 推出基于 FLUX 3 的视频-动作模型 FLUX-mimic

    Black Forest Labs 发布 FLUX 3 早期版本，并与机器人公司 mimic 合作推出视频-动作模型 FLUX-mimic，已在 Audi 测试和部署。FLUX 3 从训练之初就联合训练图像、视频和音频，视频预测占总算力成本 95% 以上；加入动作预测后，文生视频和图生视频的人类评分一度下降最多 10%，3500 步后恢复原有质量并同时预测动作。FLUX-mimic 在冻结 FLUX 主干的情况下，动作解码器表现超过此前的视觉-语言-动作模型，微调后达到 SOTA 成功率；主干在单张 NVIDIA RTX 5090 上从输入到世界表征耗时不到 80ms，整套机器人系统反应时间为 101ms。

    FLUX 3 x mimic: The Next Generation of Video-Action Models

    匹配字段摘要、正文

    #company#模型发布#多模态#具身智能
  2. Hugging Face精选

    将 Nunchaku 4-bit 扩散推理引入 Diffusers

    Hugging Face 在 Diffusers 中原生支持 Nunchaku Lite，可直接加载采用 SVDQuant 的 4-bit 扩散模型，无需自定义管线、独立推理引擎或本地编译。在 RTX 5090 上，示例模型生成 1024x1024 图像约需 1.7 秒，峰值显存约 12 GB，而 BF16 管线约为 24 GB。NVFP4 检查点要求 NVIDIA Blackwell GPU，早期架构可使用 INT4，但 Volta 和 Hopper 目前不受支持。

    Hugging Face 在 Diffusers 中原生支持 Nunchaku Lite，可直接加载采用 SVDQuant 的 4-bit 扩散模型，无需自定义管线、独立推理引擎或本地编译。在 RTX 5090 上，示例模型生成 1024x1024 图像约需 1.7 秒，峰值显存约 12 GB，而 BF16 管线约为 24 GB。NVFP4 检查点要求 NVIDIA Blackwell GPU，早期架构可使用 INT4，但 Volta 和 Hopper 目前不受支持。 · Hugging Face added native Nunchaku Lite support to Diffusers, allowing SVDQuant-based 4-bit diffusion models to load without a custom pipeline, separate inference engine, or local compilation. On an RTX 5090, the example model generates a 1024x1024 image in abo

    匹配字段摘要、正文

    #lab#产品更新#图像生成#部署/工程

星期三

  1. LMSYS Blog精选

    SGLang 与 Miles 为多模态模型 Inkling 提供 Day-0 支持

    LMSYS 与 Thinking Machines 团队合作，为 975B 参数多模态模型 Inkling 在 SGLang 和 Miles 上提供 Day-0 支持。SGLang 针对其短卷积、相对位置注意力和共享专家 sink 的 MoE 架构做了专门优化，在 Nvidia Blackwell GPU 上实现最高 71.7k tok/s 输入吞吐和 171.0 tok/s 单用户解码速度，并支持投机解码、PD 分离、多 LoRA 服务与 HiCache。Miles 通过定制 Megatron 后端支持全参数与 LoRA 强化学习，覆盖文本和视觉语言任务。

    匹配字段摘要、正文

    #company#开源/仓库#多模态#部署/工程

星期二

  1. Hugging Face精选

    Microsoft Foundry 托管计算上的 Hugging Face 模型

    Microsoft 与 Hugging Face 将经过许可与安全审查的数千个开放模型引入 Foundry Model Catalog，目前以预览版提供，并每周更新。模型可通过统一端点部署到配备 NVIDIA A100、H100 或 AMD MI300X 的 Managed Compute，运行时升级和 CVE 修补由平台自动完成；后续将扩展模型与加速器覆盖，并支持 Bring Your Own Weights。

    Microsoft 与 Hugging Face 将经过许可与安全审查的数千个开放模型引入 Foundry Model Catalog，目前以预览版提供，并每周更新。模型可通过统一端点部署到配备 NVIDIA A100、H100 或 AMD MI300X 的 Managed Compute，运行时升级和 CVE 修补由平台自动完成；后续将扩展模型与加速器覆盖，并支持 Bring Your Own Weights。 · Microsoft and Hugging Face have brought thousands of license- and security-screened open models to the Foundry Model Catalog in preview, with weekly updates. The models can be deployed through a unified endpoint on Managed Compute using NVIDIA A100, H100, or AMD MI300X accelerators, with

    匹配字段摘要、正文

    #lab#产品更新#部署/工程#开源生态

星期三

  1. Hugging Face

    Hugging Face 与 Cerebras 将 Gemma 4 用于实时语音 AI

    Hugging Face 与 Cerebras 搭建了开放、模块化的实时语音到语音管线，以 Nvidia Parakeet 识别语音、在 Cerebras 上运行 Google DeepMind Gemma 4 31B，并通过阿里巴巴 Qwen3TTS 生成语音回复。Cerebras 旨在缩短并稳定模型推理延迟；该管线已用于超过 9,000 台 Reachy Mini 机器人，开发者可体验 Demo 并查看 huggingface/speech-to-speech 仓库。

    Hugging Face 与 Cerebras 搭建了开放、模块化的实时语音到语音管线，以 Nvidia Parakeet 识别语音、在 Cerebras 上运行 Google DeepMind Gemma 4 31B，并通过阿里巴巴 Qwen3TTS 生成语音回复。Cerebras 旨在缩短并稳定模型推理延迟；该管线已用于超过 9,000 台 Reachy Mini 机器人，开发者可体验 Demo 并查看 huggingface/speech-to-speech 仓库。 · Hugging Face and Cerebras built an open, modular real-time speech-to-speech pipeline using Nvidia Parakeet for speech recognition, Google DeepMind’s Gemma 4 31B running on Cerebras, and Alibaba’s Qwen3TTS for spoken responses. Cerebras is intended to reduce a

    匹配字段摘要、正文

    #lab#产品更新#语音#部署/工程

星期一

  1. Prime Intellect精选

    Prime Intellect 发布 prime-rl 0.6.0，支持万亿参数规模强化学习

    Prime Intellect 发布 prime-rl 0.6.0，可在重智能体负载下训练万亿参数规模模型，并称能在 28 个 H200 节点上以最高 131k 序列长度训练 GLM-5 完成 SWE 任务，步时间低于 5 分钟、批量 256 条 rollout。该版本采用异步 RL，将训练与推理解耦，并给出 FP8 推理、Wide EP、P/D 分离、KV cache 分层卸载、router replay 以及 FSDP、EP、CP 三维并行等优化细节。这些优化同样适用于 Kimi-K2.7-Code、NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16 等其他大型 MoE 模型。

    RL at 1T Scale: prime-rl Performance Deep Dive

    匹配字段摘要、正文

    #company#产品更新#数据/训练#部署/工程

星期三

  1. The Next Platform

    Tensordyne 发布 Napier 推理芯片，用对数运算替代矩阵乘法

    Tensordyne 公布其 Napier AI 推理引擎架构，核心思路是把数据转成对数后用加法替代矩阵乘法，官方称相比 Nvidia 和 AWS 的混合架构性能提升一个数量级以上，价格与功耗更低。Napier 采用 3nm 工艺、1380 亿晶体管，支持 NVFP4、FP8、FP16，FP8 稠密算力 2.1 petaflops，配备 144 GB HBM4 和 256 MB SRAM，单芯片功耗 300 瓦，对比 B300 GPU 的 1200 瓦。公司计划 2026 年底开放云端访问，2027 年第一季度向客户交付 beta 版 TDN Pod 系统，2027 年第二季度末开始出货。

    匹配字段摘要、正文

    #hot-signal#行业动态#推理#部署/工程

星期四

  1. Ollama Blog精选

    Ollama 更新 MLX 引擎，在 Apple Silicon 上性能创新高

    Ollama 更新 MLX 引擎，称这是其在 Apple Silicon 上的最高性能表现，模型响应更快、占用内存更少。新引擎支持 NVIDIA 的 NVFP4 格式，在 Gemma 4 12B 上相比 q4_K_M 约将量化质量损失减半，同时通过 Metal kernel 融合等优化使输出速度最高提升 20%。此外新增快照系统，为多智能体、思考型模型和分支重试保存模型状态，避免重复处理相同上下文。

    Ollama 更新 MLX 引擎，称这是其在 Apple Silicon 上的最高性能表现，模型响应更快、占用内存更少。新引擎支持 NVIDIA 的 NVFP4 格式，在 Gemma 4 12B 上相比 q4 K M 约将量化质量损失减半，同时通过 Metal kernel 融合等优化使输出速度最高提升 20%。此外新增快照系统，为多智能体、思考型模型和分支重试保存模型状态，避免重复处理相同上下文。

    匹配字段摘要、正文

    #company#产品更新#部署/工程#Agent

星期四

  1. Prime Intellect精选

    Prime Intellect Lab 上线 Nemotron 3 Ultra 后训练支持

    Prime Intellect 宣布其托管后训练平台 Lab 对 NVIDIA Nemotron 3 Ultra 提供 day-0 支持，可在 Blackwell B200/B300 上做托管 RL 训练，配合 vLLM 推理、NCCL 权重广播和 Prime-RL 训练器。平台提供 Environments Hub 中 2,500+ 个开放 RL 环境，并支持 SWE-bench Verified、BrowseComp、τ²-Bench Telecom、Terminal-Bench Hard、IFBench、AA-LCR、GPQA Diamond、RULER-1M 等评测，以及 LoRA 与全权重适配器的一键推理。文中称 Ramp 用 Lab 后训练 35B 检索子智能体 FastAsk，在自有财务表格工作流上达到 66.25% 精确匹配，高于 Claude Opus 4.6 的 61.88%。

    Post-Training Nemotron 3 on Lab

    匹配字段摘要、正文

    #company#产品更新#Agent#数据/训练

星期四

  1. Prime Intellect精选

    Prime Intellect 发布 Lab 智能体训练平台正式版

    Prime Intellect 宣布 Lab 结束 beta 并正式开放，这是一个面向自我改进智能体的训练平台，把任务定义、harness、评测、奖励信号训练、rollout 检查、adapter 部署和推理整合到一处。平台以环境为基本单元，Hosted Training 负责大规模强化学习，按 token 计费而非按集群小时计费，正式版首批支持来自 NVIDIA、OpenAI、Meta 和 Qwen 的 14 个模型，参数规模在 1B 到 70B 之间。beta 期间已有数百名用户运行超过 10,000 次训练任务，训练完成的 LoRA adapter 可通过 Prime Inference 以 OpenAI 兼容 API 部署。

    Releasing Lab: the training platform for self-improving agents

    匹配字段摘要、正文

    #company#产品更新#Agent#数据/训练

星期一

  1. Ollama Blog精选

    Ollama 预览版在 Apple Silicon 上改用 MLX 驱动

    Ollama 发布预览版，在 Apple Silicon 上改用 Apple 的机器学习框架 MLX，利用统一内存架构加速，在 M5、M5 Pro 和 M5 Max 上借助 GPU Neural Accelerators 提升首 token 时间与生成速度。测试于 2026 年 3 月 29 日使用阿里 Qwen3.5-35B-A3B 模型进行，Ollama 0.19 在 int4 量化下可达 1851 token/s prefill 和 134 token/s decode。该版本还引入 NVIDIA NVFP4 格式以降低内存带宽和存储需求，并升级缓存以复用跨对话缓存、在提示词中设置智能检查点并延长共享前缀存活时间，需 Mac 统一内存超过 32GB。

    Illustration of Ollama standing beside a fast car that can be run both as a daily driver and go on to win races. Ollama is here to demonstrate high performance on Apple silicon

    匹配字段摘要、正文

    #company#产品更新#部署/工程#端侧

星期三

  1. LMSYS Blog

    SGLang 集成 Elastic EP，为 DeepSeek MoE 部署提供部分故障容错

    LMSYS 在 SGLang 中集成 Elastic EP，通过解耦专家与 GPU 的固定映射并保留冗余专家，实现单实例内的部分故障容错。在 4 节点 32 GPU 上运行 DeepSeek V3.2、设置 ep_size=dp_size=32 与 256 个冗余专家时，可容忍最多 16 个 rank 故障，服务中断控制在 10 秒以内，相比完整重启所需的 2 至 3 分钟减少约 90%，静态性能与标准 DeepEP 持平。启用需配置 --elastic-ep-backend mooncake、--moe-a2a-backend mooncake、--ep-num-redundant-experts 等参数，NVIDIA Dynamo 团队的 NIXL EP 也可通过 --moe-a2a-backend nixl 试用。

    eep-architecture.svg

    LMSYS 在 SGLang 中集成 Elastic EP，通过解耦专家与 GPU 的固定映射并保留冗余专家，实现单实例内的部分故障容错。在 4 节点 32 GPU 上运行 DeepSeek V3.2、设置 ep size=dp size=32 与 256 个冗余专家时，可容忍最多 16 个 rank 故障，服务中断控制在 10 秒以内，相比完整重启所需的 2 至 3 分钟减少约 90%，静态性能与标准 DeepEP 持平。启用需配置 --elastic-ep-backend mooncake、--moe-a2a-backend mooncake、--ep-num-redundant-experts 等参数，NVIDIA Dynamo 团队的 NIXL EP 也可通过 --moe-a2a-backend nixl 试用。

    匹配字段摘要、正文

    #company#教程/实践#部署/工程#开源生态