←搜索结果

搜索“推理”

按匹配度 · 共 688 条结果 清除搜索

星期三

星期日

  1. 事件1 条新闻 · 1 个事实

    英伟达测试机密推理性能

    2026年9月23日,英伟达测试了TensorRT LLM在八张B200 GPU上运行DeepSeek-R1的机密计算性能。据英伟达开发者博客,机密计算通过内存加密的机密虚拟机、机密GPU和加密NVLink,让生产级AI推理运行在可信硬件上。在受控对比中,开启机密计算后保留了基线96.1%–98.2%的输出token吞吐,单token延迟(TPOT)仅增加1.2%–4.3%(并发1–16)。TensorRT LLM为此改用可分页内存、异步token回读,并以GPU %globaltimer替代CUDA events做内核自动调优。目前该测试结果由英伟达一方发布,尚无其他来源交叉印证。

    匹配字段标题

  2. 事件2 条新闻 · 1 个事实

    OpenRouter推出Batch API半价推理

    2026年9月22日,OpenRouter发布Batch API,批量请求按每token价格通常收取50%甚至更低费用,目前支持70多个模型。该接口为异步设计,用户提交批量请求后,由服务商在24小时窗口内自行选择完成时间,支持chat completions、responses、messages和embeddings等请求形态,输入与结果保留30天。据官方披露,两周beta期间完成23万多个批次,中位完成时间为7分钟,90%在一小时内完成;另有报道称太平洋时间5点至中午提交的批次明显更慢。目前该故事尚无后续发展事实。

    匹配字段标题

  3. 事件1 条新闻 · 1 个事实

    Dynamo-Triton支持多GPU推理

    2026年9月21日,NVIDIA 在 Dynamo-Triton 26.07 中启用 TensorRT 后端的多设备推理能力,一个 KIND_MODEL 实例可占用多块 GPU,并通过单个 gRPC 端点对外提供分布式推理服务;TensorRT 11.0 起完整支持该能力。官方以 Cosmos 3 Nano 视频生成为例说明,Ulysses 上下文并行把 44,160 个视频 token 分配到最多八块 GPU,端到端生成延迟从单 GPU 的 156.6 秒降至八 GPU 的 34.2 秒,transformer RPC 加速比达 6.09 倍。CP2、CP4、CP8 的输出通过 MAE ≤ 25 与 PSNR ≥ 18 dB 的质量阈值校验。该基准未测量并发吞吐、单视频成本或 TCO。目前尚无后续发展事实。

    匹配字段标题

  4. 事件1 条新闻 · 1 个事实

    NVIDIA推出AIPerf推理基准工具

    2026年9月18日,NVIDIA推出AIPerf,作为GenAI-Perf的指定继任工具。据NVIDIA Developer介绍,该工具完全重写,采用多进程架构,以避免客户端在高并发LLM基准测试中成为瓶颈。AIPerf支持超过15种端点类型,以及ShareGPT和来自Mooncake、Baseten、WEKA AgentX的trace replay格式,并提供constant、Poisson、gamma等可配置到达模式。在指标方面,AIPerf报告TTFT、ITL、请求延迟和输出token吞吐量等核心指标,附带百分位细分,并在可用时通过DCGM或pynvml提供GPU遥测。目前尚无后续发展事实。

    匹配字段标题

  5. 事件1 条新闻 · 1 个事实

    Infra Agent优化GLM推理系统

    2026年9月17日,唐杰复盘了GLM-5.3-Flash从在国内加速器上首次跑通到承载全部生产流量仅用两周的过程,端到端吞吐提升3.2倍,其中大量工作由基于GLM-5.3的Infra Agent完成。唐杰指出,智能体卡住的原因往往不是写不出代码,而是不知道性能为何变差,因此团队构建了可被直接调用的分层验证接口,即密集反馈,包括正确性、系统行为和性能三类信号。智能体据此发现并修复了KDA上下文并行路径的TF32精度漂移,修复已合入Flash Linear Attention PR #1180;还修复了KV传输未与DeepEP dispatch重叠导致的开销,使其从超过30%降至1%以下;以及decode kernel重复计算归一化的问题,提速1.71倍。唐杰强调,人类仍负责定义目标、搭建反馈环境和审查高风险改动,但工程师的角色正从解决问题转向设计反馈。

    匹配字段标题

  6. 事件1 条新闻 · 1 个事实

    NVIDIA介绍Groq 3 LPX节能推理

    2026年9月15日,NVIDIA介绍Groq 3 LPX在Vera Rubin平台上的确定性执行与节能推理能力。据NVIDIA Developer · Generative AI于9月16日发布的文章,Groq 3 LPX的确定性执行模型可对全部256颗LPU芯片的计算与数据搬运做时钟周期级精确调度,配合Preemptive Power(PEP)与Clock Period Synthesis(CPS)将电压跌落降低60%以上,同一负载功耗下降低两位数百分比。Groq 3 LPX与Vera Rubin NVL72组合,在2T+参数模型的长上下文高交互场景下,每兆瓦吞吐量最高可达上一代GB200 NVL72的35倍。目前该介绍尚无后续发展事实。

    匹配字段标题

  7. 事件3 条新闻 · 1 个事实

    OpenAI公布首款自研推理芯片Jalapeño基准

    2026年8月26日,OpenAI公布其首款自研推理芯片Jalapeño的基准测试结果。SemiAnalysis在OpenAI实验室用InferenceX实测,称该芯片在多个开源模型上的每兆瓦token吞吐超过NVIDIA Blackwell,在DeepSeek R1上并发1时达到每用户700 tokens/s以上,全程未使用投机解码。该芯片由OpenAI与Broadcom合作,2024年中启动设计,2025年11月完成CoWoS流片,采用HBM4、单封装15.4TB/s带宽,架构上不做prefill与decode分离。SemiAnalysis认为更公平的对手是同样使用HBM4的Rubin,两者每美元输出token数接近,但Jalapeño尚未启用投机解码,量产计划从2027年起逐步爬坡。后续IEEE Spectrum报道称,OpenAI于8月25日完整发布该芯片,提供最高13.4 petaflops的4-bit算力和232 GB内存,端到端延迟相比Nvidia GB300最多降低3.6倍。

    匹配字段标题

  8. 事件1 条新闻 · 1 个事实

    LiveKit解读VAD推理慢于实时告警

    2026年9月9日,LiveKit 产品与工程博客发文,解释语音智能体日志中出现的“inference is slower than realtime”警告。文章指出,该警告指的是智能体进程内的 VAD 模型处理 32ms 音频窗口超时,与 LiveKit Inference 的 STT、TTS、LLM 无关;警告中的延迟表示 VAD 落后实时音频的时长,Python 以秒、Node.js 以毫秒上报。修复建议包括升级到最新版 LiveKit Agents 与 turn detector、使用 AgentSession 默认内置的 inference VAD,并排查阻塞事件循环与 CPU 负载。

    匹配字段标题

  9. 事件1 条新闻 · 1 个事实

    Cohere推出代码模型推理引擎

    2026年9月8日,Cohere发布面向North Mini Code的Megakernel推理服务引擎并开放GitHub代码。该引擎在单张H100上以BF16运行,端到端平均解码吞吐量较vLLM提升1.25至1.41倍;批大小为1时达到292 tok/s,为vLLM的1.58倍。它支持连续批处理、分页注意力、流式输出、前缀缓存、工具调用及OpenAI兼容接口。目前最大批大小为8,预填充仍由普通PyTorch内核运行,期间会暂停解码。

    匹配字段标题

  10. 事件1 条新闻 · 1 个事实

    Unsloth 提升 GLM-5.3-Flash 本地推理速

    2026年9月4日,Unsloth 宣布对 GLM-5.3-Flash 的本地 GGUF 推理完成优化并公布结果。据其说法,本地推理速度提升 1.6 至 3.4 倍,配合优化解码与多 token 预测,整体最高快 3.3 倍。用户可在 128GB 设备上通过 Unsloth Desktop 或 llama.cpp 以 3-bit 量化运行,Unsloth 同时提供了使用指南和 GGUF 权重链接。被引用的 Z.ai 发布信息显示,GLM-5.3-Flash 为 320B-A18B 模型,采用 MIT 许可,原生多模态并支持 1M token 上下文窗口。目前该优化已公布,尚未见后续更新。

    匹配字段标题

星期二

星期一

星期五

星期二

星期二

星期三

星期二

星期五