←搜索结果

搜索“NVIDIA”

按匹配度 · 共 91 条结果 清除搜索

星期五

星期日

星期四

星期六

  1. 事件1 条新闻 · 1 个事实

    Artificial Analysis上线Muse Spark Open的AA-AgentPerf结果

    Artificial Analysis 于 2026 年 10 月 24 日在 AA-AgentPerf 上线 Meta 新开源权重模型 Muse Spark Open 的初步测试结果。该模型为 816B 参数、42B 激活的 MoE,在 Artificial Analysis Intelligence Index 上得分 39。测试显示,NVIDIA B300 与 GB300 在吞吐优先配置下每兆瓦功耗均可达约 150M tokens/s;GB300 在 100 tok/s 输出速度下约 108M、B300 约 92M;AMD MI355X 在 65 tok/s 下为 70M tokens/s 每兆瓦。模型 62 层中有 46 层采用 2,048-token 滑动窗口注意力,使 1M 上下文下的 KV cache 需求较全注意力降低约 75%。Meta 发布了 NVFP4 checkpoint,AMD 发布了 MXFP4 checkpoint。目前尚无后续发展事实。

    匹配字段摘要

星期三

  1. 事件1 条新闻 · 1 个事实

    Shopify分享Sidekick用后训练开源模型做GraphQL子Agent

    2026年10月21日,Shopify工程团队在NVIDIA GTC Berlin 2026演讲中分享了其电商助手Sidekick的模型分工方案:由前沿模型负责对话规划,自部署开源模型负责GraphQL子Agent。团队选用总参数300亿、每Token激活30亿参数的MoE模型Nemotron 3.5 Lightning,经6轮后训练和6.1万条修复样本,评审分数从开箱的37.7提升到74.5,略高于前沿模型的73。GraphQL任务上中位响应为0.87秒,前沿模型API为6.50秒,成本低约90%。目前该分享为单一来源报道,尚无后续进展。

    匹配字段摘要

星期日

  1. 事件1 条新闻 · 1 个事实

    n8n博客介绍在DGX Spark上本地运行AI工作流

    n8n博客于2026年10月19日发布教程,介绍如何在一台NVIDIA DGX Spark上本地部署完整模型栈,让n8n工作流在不调用云API的情况下完成转录、OCR、文档问答和图像生成。教程称整套栈通过LiteLLM暴露一个OpenAI兼容端点,主模型为Qwen3.6-35B-A3B的NVFP4版本,单用户生成速度120 tokens/s,八用户合计359 tokens/s。作者实测发现图像生成会让对话速度降到约三分之一,建议小团队把图像任务排队或放到非工作时间。目前该内容仅有n8n博客这一来源。

    匹配字段摘要

  2. 事件1 条新闻 · 1 个事实

    heise在线发布RTX Spark笔记本芯片实测

    2026年10月16日,heise online发布了对Nvidia首款笔记本芯片N1X(品牌名RTX Spark)的实测。测试机型为Asus ProArt P14,支持最高128 GB统一内存,测试机配置为32 GB内存加1 TB SSD,售价3300欧元。用llama-bench测试Qwen 3.8-27B时,生成速度约14.5 Token/s,略快于Apple M6和Strix Halo,慢于M5 Pro;改用MoE模型Qwen 3.6-35B-A3B可达近61 Token/s。提示词处理速度优于Strix Halo和M5 Pro、M6,但满载风扇噪音最高2.7 sone,且空闲时也会启动。作者还尝试安装Ubuntu,在自行补齐驱动后,两个模型在Linux下的速度反而比Windows快14%和9%。

    匹配字段摘要

星期一

  1. 事实所属事件

    n8n博客介绍在DGX Spark上本地运行AI工作流

    n8n博客于2026年10月19日发布教程,介绍如何在一台NVIDIA DGX Spark上本地部署完整模型栈,让n8n工作流在不调用云API的情况下完成转录、OCR、文档问答和图像生成。教程称整套栈通过LiteLLM暴露一个OpenAI兼容端点,主模型为Qwen3.6-35B-A3B的NVFP4版本,单用户生成速度120 tokens/s,八用户合计359 tokens/s。作者实测发现图像生成会让对话速度降到约三分之一,建议小团队把图像任务排队或放到非工作时间。目前该内容仅有n8n博客这一来源。

    匹配字段摘要

    查看事件：n8n博客介绍在DGX Spark上本地运行AI工作流

  2. Artificial Analysis 完整文章精选

    Artificial Analysis 上线 HealthBench 与 HealthBench…

    Artificial Analysis 为 OpenAI 的 HealthBench 和 HealthBench Professional 两个健康对话基准上线排行榜，前者含 5000 段与普通用户及卫生工作者的对话，后者为 525 段全部面向临床医生的对话。HealthBench Professional 上 GPT-6 Astra（max）以 66.0% 的长度调整分居首，GPT-6.1 Sol（max）为 65.1%，Claude Sonnet 5.5（max with fallback）为 63.0%。HealthBench 上 Claude Sonnet 5.5（max with fallback）以 62.1% 领先，DeepSeek V4.1 Flash（max）为 60.9%；Claude Opus 5.5 与 Claude Fable 5.1 平均回答约 5900 字符，长度调整后失分超过 11 分。

    完整性分数最低（34%）。Claude Sonnet 5.5（max with fallback）在完整性上领先（63%） 完整排行榜请见此处： 宣布推出 AA-PersonalityBench：衡量 AI 模型的沟通方式 AA-PersonalityBench 衡量 AI 模型的个性和沟通风格。由 LLM 评审组成的小组按 30 项个性特质对答案进行两两比较，这些特质汇总为 8 项个性指数，同时直接从每个回复中测量 21 项沟通特征。 2026年10月19日 Reflection 发布了 Beam，这是他们的首次模型发布 Reflection 的首个模型 Beam 在 Artificial Analysis 智能指数上得分为 30，在美国开放权重模型中排名第 2 2026年10月16日 在 AA-AgentPerf 上，NVIDIA Vera Rubin NVL72 每兆瓦的总吞吐量最高可达 GB300 NVL72 的约 5.7 倍，首批结果涵盖 DeepSeek V4 Pro、DeepSeek V4.1 Flash、GLM-5.2 和 Kimi K3。 2026年10月15日$/$

    匹配字段正文

    #company#评测/基准#OpenAI

星期五

  1. 事件1 条新闻 · 1 个事实

    Artificial Analysis 公布 RTX Spark 笔记本首个本地智能体评测结果

    2026年10月15日,Artificial Analysis 公布 NVIDIA RTX Spark N1X 笔记本的首份 AA-AgentPerf-Local 结果。测试使用 128 GB 统一内存、6144 核 Blackwell GPU 的原型 15 英寸 Surface Laptop Ultra,售价 5899.99 美元,通过 llama.cpp 的 Windows 原生构建在 GPU 上运行模型。该机在 Qwen3.8 27B 上完成本地智能体负载耗时 18.7 分钟,接近 DGX Spark 的 17.3 分钟,比 MacBook Pro(M5 Pro)快 2.0 倍、比 AMD Ryzen AI Halo 快 1.8 倍;在 Qwen3.6 35B A3B 上耗时 7.6 分钟,在 124B 的 Ling 3.0 Flash 上耗时 15.3 分钟,后者无法装入 MacBook Pro 或 RTX 5090 的内存。10月16日,NVIDIA 宣布 RTX Spark 笔记本全球开售,由 ASUS、Dell、HP、Lenovo、Microsoft 和 MSI 推出,起

    匹配字段摘要

  2. heise online

    Aleph Alpha 发布 Kolibri-1：78B 参数、德语推理的开放权重模型

    Aleph Alpha 发布开放权重模型 Kolibri-1，总参数 78B，采用 384 个专家、6 个路由专家的 MoE 结构，推理时仅激活 3.46B 参数，上下文 256K Token 并可外推至约 100 万 Token。该模型专注德语和英语，tokenizer 对德语词切分更省 Token，例如德国联邦议院术语表仅需 1137 Token，而对比的 DeepSeek-V4.1-Flash 需要 1910 Token；预训练使用 20 万亿 Token，数据截至 2026 年 6 月 18 日。作者实测其回答正确、德语推理过程明显，并称 Merlin-Arthur 协议让模型在基准中幻觉更少，但实际效果仍需在真实使用中检验。

    都注意遵守欧盟《人工智能法案》和《通用数据保护条例》。此外，该提供商还使模型契合欧洲的“民主共识”。人们可以这样理解这一表述：即有些回答是中国模型出于政治原因不被允许给出的。 当然，训练过程极其耗费资源。为此，它使用Muon优化器来调整模型权重，而嵌入的缩放因子和权重仍由无处不在的AdamW优化器负责。 所需的基础设施规模巨大：预训练在96个节点上的768块Nvidia B200 GPU上进行，根据模型卡，这大约耗费了392,000 GPU小时（约合45 GPU年）。对于后训练中的强化学习，Aleph Alpha使用了一个由256块Nvidia B300 GPU组成的集群。其中特别有趣的是，有144块GPU仅负责推理。这很可能是因为GRPO方法需要不同的答案，然后对其进行相互评估。在6月中旬知识截止之后到9月底之前完成这一切，是一项了不起的成就。当然，此前已有前期工作：Aleph Alpha之前训练了Kolibri Origin模型。 为了使训练可复现，Aleph Alpha使用所谓的ModelFactory。可以把它想象成一种（以代码形式呈现的）配方，精确描述了模型的训练过程。这些配

    匹配字段正文

    #hot-signal#模型发布#推理#数据/训练

星期四

星期三

  1. 事件1 条新闻 · 1 个事实

    Artificial Analysis将DeepSeek V4.1 Flash加入AA-AgentPerf

    2026年10月14日,Artificial Analysis将DeepSeek V4.1 Flash加入其智能体推理性能基准AA-AgentPerf,并给出NVIDIA与AMD硬件的实测结果。在每用户100 tokens/s下,NVIDIA GB300以约261M tokens/s每兆瓦居首,其后为B300(约220M)、B200(约193M)、GB200(约178M)和MI355X(约128M)。V4.1 Flash在Artificial Analysis Intelligence Index上得分39,高于此前的V4 Pro 0813(36),参数量约为其三分之一(552B backbone、16B激活,对比1.6T与49B),最少可在2张GPU上运行,相比V4 Pro 0813在每用户100 tokens/s下每兆瓦吞吐提升约1.3倍(GB300)至6.2倍(B200)。2026年10月15日,Artificial Analysis又将AMD MI355X加入AA-AgentPerf,在单台8-GPU节点上测试Kimi K3、GLM-5.2/5.3和DeepSeek V4 Pr

    匹配字段摘要

星期二

  1. 事件1 条新闻 · 1 个事实

    Together AI 发布 Jev 类分类器及微调教程

    2026年9月23日,Together AI 发布 together/Tev1-4B-experimental 分类器,并同步给出自建微调教程。据其官方博客介绍,教程基于 Qwen3.5 4B 微调一个类似 Jev 的分类模型,训练成本约 17 美元、耗时约 25 分钟。流程上,教程从 Hugging Face 的多个数据集采样 38,340 条样本,经 fetch_sources.py 和 build_all.py 归一化后,使用 Together 微调服务训练,再部署到 1x_nvidia_h100_80gb_sxm 专用端点并通过 HTTP 接口调用。对于不想自行训练的用户,可直接在 Together 无服务器平台使用已上线的 together/Tev1-4B-experimental。目前该事件尚无后续发展事实。

    2026年9月23日,Together AI 发布 together/Tev1-4B-experimental 分类器,并同步给出自建微调教程。据其官方博客介绍,教程基于 Qwen3.5 4B 微调一个类似 Jev 的分类模型,训练成本约 17 美元、耗时约 25 分钟。流程上,教程从 Hugging Face 的多个数据集采样 38,340 条样本,经 fetch sources.py 和 build all.py 归一化后,使用 Together 微调服务训练,再部署到 1x nvidia h100 80gb sxm 专用端点并通过 HTTP 接口调用。对于不想自行训练的用户,可直接在 Together 无服务器平台使用已上线的 together/Tev1-4B-experimental。目前该事件尚无后续发展事实。

    匹配字段摘要

星期四

星期四

星期一

  1. LMSYS Blog

    LMSYS 详解 HiCache 如何适配多并行与分布式推理

    LMSYS 博客介绍 HiCache 在上下文并行、流水线并行、投机解码、统一 KV 布局和 P/D 分离场景下的实现方式，核心是让各 rank 在缓存决策上保持一致。讯飞星辰 MaaS 团队用 HiCache 加外部存储服务 GLM-5.1/5.2 CodingPlan 负载，缓存命中率从约 30% 提升到 95%，中位 TTFT 降到 3 秒以内。CP 分片实测中 GPU token 命中率提升 40.48 个百分点，host 内存服务 token 量下降 81.2%，prefill 平均排队时间降低 56.2%。

    A logical radix tree shared by two CP ranks: logical page IDs map to rank 0 or rank 1 by q mod 2, and extending the A/B/C prefix allocates page D on rank 1.

    能评估使用 GLM-5.2-NVFP4。 使用生产流量的性能比较 我们将开源的 CP 分片 HiCache 实现与一个基线进行了比较，该基线在 GPU 上复制 KV，并在主机内存中对 MLA KV 去重。两个部署均使用 GLM-5.2-NVFP4、TP4/CP4、EAGLE MTP，以及 0.9 的静态内存比例。每个部署有两个预填充引擎，每个引擎运行在四块 NVIDIA GB300 GPU 上。 每个部署的目标主机缓存预算为每引擎 960 GB：基线中是一个去重池，而四个分片 rank 中每个 rank 为 240 GB。在三小时的流量窗口内，每种配置处理了约 24.5K 个具有已知缓存层级归属的请求。平均输入长度为 136K–137K token，总输入量相差 1.8%。 图 1d。 采用 CP 分片后，更多缓存 token 由 GPU 内存提供，更少由主机内存提供；合计命中率保持在 93% 附近。对于同一请求，预填充阶段 TTFT 是排队时间加前向时间。图中均值使用不同的请求群体，不应相加为实测 TTFT。 采用 CP 分片后，GPU token 命中率提高了 40.48 个百分点

    匹配字段正文

    #company#教程/实践#部署/工程#开源生态

星期二

  1. AWS Machine Learning精选

    在 Amazon SageMaker AI 上用知识蒸馏构建高效智能体

    AWS 官方博客介绍如何用序列级知识蒸馏（SeqKD）在 Amazon SageMaker AI 上微调购物智能体：以 Amazon Bedrock 上的 GLM-5.3 作为教师模型生成轨迹，用 ShoppingBench 评分器只保留解出任务的轨迹，再对 Qwen3.5-4B 学生模型做服务端无服务器 SFT。在 324 道留出测试题上，蒸馏后 4B 学生平均绝对成功率从 0.297 提升到 0.541，与教师模型和中等规模前沿模型基本持平；去掉教师推理过程只学工具调用时，平均成功率降至 0.415。

    Diagram of an agentic task as a loop: search, read results, refine, verify, and decide, with each step a separate billed call to the frontier model

    通用指令遵循上的表现，分别按提示严格和指令严格指标衡量。小幅下降是在购物任务上专业化所预期的代价 收益与权衡 单看成功率本身并不足以证明切换的合理性。进行蒸馏的理由在于，你能以较小模型的成本和速度获得较强模型的大部分质量。这里最清晰的证据是，4B 学生模型达到了其前沿教师模型和一个中等规模前沿模型的任务质量，同时其规模小到足以在单个 G 系列实例（本例中为 NVIDIA A10G/L40/L40S）上提供服务。 成本差异既与规模有关，也与形态有关。通过 API 访问的前沿模型按 token 计费，在每项任务的每个步骤上都要计费，因此成本随使用量增长而不会停止，引言中提到的智能体循环每次都要支付这笔费用。蒸馏出的学生模型运行在你自行托管的端点上，该端点按小时对实例计费，无论它服务一项任务还是数千项任务，因此在横向扩展之前，增加的流量不会带来额外成本。你是在用按请求计费的变动成本换取按小时计费的固定成本，而你能采用的最小模型越小，这项固定成本就越低。 我们在此不公布每项任务的成本或延迟数字，因为这取决于你的流量：G 系列实例所能维持的吞吐量，以及由此摊到每项任务上的成本，都是你的请求模式、

    匹配字段正文

    #lab#教程/实践#Agent#数据/训练

星期四

  1. Baseten 工程博客

    Baseten 优化 Qwen3-ASR 批量转写，单卡吞吐提升 7 倍

    Baseten 工程团队通过原生音频解码、KV cache FP8 量化和减少主机与设备同步，把 Qwen3-ASR 1.7B 在单张 RTX PRO 6000 上的批量转写吞吐提升 7 倍、延迟降低 6.9 倍。优化后一小时音频的转写成本约为 0.0013 美元，即每音频小时 1/10 美分，词错误率没有明显变化。该优化版本已作为 Baseten Model Library 的默认部署，可通过 OpenAI 兼容的转写客户端调用。

    How Baseten gets 7x throughput on Qwen3-ASR batch transcription

    榜 的帕累托前沿。 我们实时部署的 Qwen3-ASR 1.7B 在 Coval 的语音转文本基准测试上也具有最高的质量（即最低的 WER）和最低的延迟，该基准测试涵盖了市场上领先的转写模型，包括开源和闭源模型。 ✕开放 ASR 排行榜上开源权重模型的词错误率（WER）与模型规模对比。Qwen3-ASR 1.7B（5.40%）位于帕累托前沿，与最准确的模型 NVIDIA Nemotron 3.5 Transcribe 30B-A4B（5.33%）相差仅 0.07 个百分点，而规模仅为其一小部分。 自 Qwen3-ASR 发布之日起，Baseten 就一直将其用于批量转写。以下是我们如何让它比原生实现更快的方法。 我们优化的 Qwen3-ASR 技术栈 我们从 vLLM 的 OpenAI 兼容转写端点入手，该端点将音频切分为 30 秒窗口并分批送入模型。在此基础上，我们对请求在负载下的每个阶段进行了性能分析，重点聚焦于四个方面： 原生音频解码 KV 缓存量化（不损失质量） 主机到设备同步 请求处理 以下是使我们的吞吐量提升 7 倍以上的部分关键改动。 原生音频解码 在任何模型工作开始之前

    匹配字段正文

    #editorial#教程/实践#部署/工程#语音

星期六

  1. The New Stack

    红帽工程师用 Claude Code 参照 Windows 驱动补出 Linux 扫描仪驱动

    红帽工程总监 Christian Schaller 让 Claude Code 运行厂商的 Windows 驱动并抓取 USB 流量，与自己的 Linux 驱动对比，几小时内拿到第一张可识别的扫描结果，几天后支持红外扫描。他把这套方法以 MIT 协议开源为 hw-harness，包含控制 Windows 虚拟机的 winctl、抓取流量的 usbcap、切换设备的 hostdev 和 Linux 侧调试的 hwdbg。他还用同样思路修复了 ThinkPad X1 Carbon 的摄像头偏暗偏色问题，提交了内核和 libcamera 补丁，低光测试中画面亮度从 31.1 升到 90.9，但补丁尚未合并。

    am. There’s still work to do. In low light, the blue channel remains about 17% below the reference, and neither set of patches has been merged. AI developer technology engineer at Nvidia, Kate Hsuan, is reviewing the kernel changes, while principal software engineer at Red Hat, Wim Taymans is handling the libcamera work. A separate Claude-generated Linux page-cache fix recently ran into a race condition during review. Inside the hw-harness toolkit Schaller has since published hw-harness on GitHu

    匹配字段正文

    #hot-signal#教程/实践#Agent#编码