←搜索结果

搜索“推理”

按匹配度 · 共 512 条结果 清除搜索

星期五

星期二

  1. 事实独立公开事实

    Colibri项目开源超大模型CPU与SSD推理框架

    Colibri项目 开源 超大模型CPU与SSD推理框架

    English translation is being prepared.

    匹配字段标题

星期日

  1. 事件2 条新闻 · 1 个事实

    OpenRouter推出Batch API半价推理

    2026年9月22日,OpenRouter发布Batch API,批量请求按每token价格通常收取50%甚至更低费用,目前支持70多个模型。该接口为异步设计,用户提交批量请求后,由服务商在24小时窗口内自行选择完成时间,支持chat completions、responses、messages和embeddings等请求形态,输入与结果保留30天。据官方披露,两周beta期间完成23万多个批次,中位完成时间为7分钟,90%在一小时内完成;另有报道称太平洋时间5点至中午提交的批次明显更慢。目前该故事尚无后续发展事实。

    匹配字段标题

  2. 事件1 条新闻 · 1 个事实

    Dynamo-Triton支持多GPU推理

    2026年9月21日,NVIDIA 在 Dynamo-Triton 26.07 中启用 TensorRT 后端的多设备推理能力,一个 KIND_MODEL 实例可占用多块 GPU,并通过单个 gRPC 端点对外提供分布式推理服务;TensorRT 11.0 起完整支持该能力。官方以 Cosmos 3 Nano 视频生成为例说明,Ulysses 上下文并行把 44,160 个视频 token 分配到最多八块 GPU,端到端生成延迟从单 GPU 的 156.6 秒降至八 GPU 的 34.2 秒,transformer RPC 加速比达 6.09 倍。CP2、CP4、CP8 的输出通过 MAE ≤ 25 与 PSNR ≥ 18 dB 的质量阈值校验。该基准未测量并发吞吐、单视频成本或 TCO。目前尚无后续发展事实。

    匹配字段标题

  3. 事件1 条新闻 · 1 个事实

    Cohere推出代码模型推理引擎

    2026年9月8日,Cohere发布面向North Mini Code的Megakernel推理服务引擎并开放GitHub代码。该引擎在单张H100上以BF16运行,端到端平均解码吞吐量较vLLM提升1.25至1.41倍;批大小为1时达到292 tok/s,为vLLM的1.58倍。它支持连续批处理、分页注意力、流式输出、前缀缓存、工具调用及OpenAI兼容接口。目前最大批大小为8,预填充仍由普通PyTorch内核运行,期间会暂停解码。

    匹配字段标题

  4. 事件1 条新闻 · 1 个事实

    Unsloth 提升 GLM-5.3-Flash 本地推理速

    2026年9月4日,Unsloth 宣布对 GLM-5.3-Flash 的本地 GGUF 推理完成优化并公布结果。据其说法,本地推理速度提升 1.6 至 3.4 倍,配合优化解码与多 token 预测,整体最高快 3.3 倍。用户可在 128GB 设备上通过 Unsloth Desktop 或 llama.cpp 以 3-bit 量化运行,Unsloth 同时提供了使用指南和 GGUF 权重链接。被引用的 Z.ai 发布信息显示,GLM-5.3-Flash 为 320B-A18B 模型,采用 MIT 许可,原生多模态并支持 1M token 上下文窗口。目前该优化已公布,尚未见后续更新。

    匹配字段标题

  5. 事件1 条新闻 · 1 个事实

    OpenAI公布首款自研推理芯片Jalapeño基准

    2026年8月26日,OpenAI公布其首款自研推理芯片Jalapeño的基准测试结果。SemiAnalysis在OpenAI实验室用InferenceX实测,称该芯片在多个开源模型上的每兆瓦token吞吐超过NVIDIA Blackwell,在DeepSeek R1上并发1时达到每用户700 tokens/s以上,全程未使用投机解码。该芯片由OpenAI与Broadcom合作,2024年中启动设计,2025年11月完成CoWoS流片,采用HBM4、单封装15.4TB/s带宽,架构上不做prefill与decode分离。SemiAnalysis认为更公平的对手是同样使用HBM4的Rubin,两者每美元输出token数接近,但Jalapeño尚未启用投机解码,量产计划从2027年起逐步爬坡。后续IEEE Spectrum报道称,OpenAI于8月25日完整发布该芯片,提供最高13.4 petaflops的4-bit算力和232 GB内存,端到端延迟相比Nvidia GB300最多降低3.6倍。

    匹配字段标题

  6. 事件1 条新闻 · 1 个事实

    Groq 3 LPX长上下文推理测速

    2026年8月24日,Artificial Analysis 对 NVIDIA Groq 3 LPX 进行基准测试。在 Gemma 4 31B、100K 上下文测试中,其输出速度中位数达到每秒3431个 Token;在 SPEED-Bench 上,中位速度为每秒4767个输出 Token,P80 为每秒5520个。材料称,其确定性执行、编译器调度芯片间通信,以及细粒度的计算与通信重叠,面向长上下文低延迟推理。

    匹配字段标题

  7. 事件1 条新闻 · 1 个事实

    Unsloth推出DSpark加速DeepSeek本地推理

    2026年8月6日,Unsloth发布DSpark,用于加速DeepSeek-V4-Flash-0731的GGUF本地推理。据Unsloth介绍,该方案使本地生成速度提升约1.4至2倍,且精度不变,本地可达到120 tokens/s。Unsloth同时提供了对应的GGUF文件与使用指南。目前该事件仅有这一条进展,尚无后续更新。

    匹配字段标题

  10. 事件1 条新闻 · 1 个事实

    Together AI推出预留推理服务

    2026年7月8日,Together AI推出面向MiniMax M3和GLM-5.2的Provisioned Throughput预留推理服务。据Together AI Blog介绍,该服务为前沿开放模型提供预留推理容量,采用按token计费并附带99%可用性SLA,成本最高比Claude Opus 4.8标价低90%。容量覆盖北美、EMEA等地区,最短承诺期一个月。用户按Provisioned Throughput Units(PTU)购买,每个PTU每分钟0.05美元;在MiniMax M3上,单个PTU每分钟可提供138,840输入token、694,200缓存输入token或23,140输出token。目前该服务已支持上述两款模型,暂无后续发展事实。

    匹配字段标题

星期二

星期一

星期二

星期五

星期四

星期三