←搜索结果

搜索“推理”

按匹配度 · 共 3276 条结果 清除搜索

星期三

  2. 事件1 条新闻 · 1 个事实

    Google发布TPU原生vLLM与SGLang推理引擎

    Google于2026年10月20日发布基于TorchTPU的vLLM与SGLang原生PyTorch后端推理引擎,分别与Inferact、RadixArk合作开发。官方表示,两个引擎已在预览客户的生产环境中运行;在Ironwood TPU(TPU 7x)上运行Qwen 3.5时,高并发配置下每百万token成本为2.01美分,并已在SemiAnalysis InferenceX的AgentX赛道提交结果。功能方面,引擎支持前缀缓存与KV cache卸载、投机解码、分离式服务以及图像视频输入的多模态模型;SGLang-TorchTPU已在Meta生产环境使用。目前尚无后续独立发展事实。

    匹配字段标题

  3. 事件1 条新闻 · 1 个事实

    LMSYS推出SGLang低延迟模式,NVIDIA与AMD GPU推理提速

    LMSYS于2026年10月18日发布SGLang Low-Latency Mode,通过插件框架把专用kernel接入SGLang,在NVIDIA和AMD GPU上降低推理延迟。据LMSYS Blog介绍,在四块NVIDIA GB300上回放AgentX trace,单并发会话的P90每用户token生成速度从671.2提升到928.4 tokens/s,为1.38倍;在四块AMD MI355X上四并发会话从331.6提升到516.0 tokens/s,为1.56倍。NVIDIA侧kernel位于sgl-nvidia-mega,AMD侧位于sgl-amd-mono,均针对DeepSeek-V4.1-Flash与DSpark的验证和草稿执行做优化。目前尚无后续发展事实。

    匹配字段标题

星期二

  2. 事件2 条新闻 · 1 个事实

    IBM等贡献者发布llm-d 1.0推理框架

    2026年10月20日,IBM等开源llm-d项目贡献者发布分布式人工智能推理框架1.0版本。据Unite.AI报道,该版本在PyTorch Conference North America上发布,是Kubernetes原生的分布式推理服务栈,由Red Hat、IBM和Google主导维护,CNCF以沙箱项目托管;1.0新增多租户服务质量保障,包括按优先级和公平性调度的流控与可控降载,并支持路由器热备、安全滚动更新,以及把prefill和decode副本作为整体管理的DisaggregatedSet控制器。项目公布的测试显示,在544张NVIDIA H100上部署GLM-5.2可服务最多3000个并发编码智能体且零抢占,每token成本比同等商业API低5到10倍。次日MarkTechPost报道称,Google团队在同一会议上发布该首个稳定版本,把vLLM或SGLang模型服务器整合为统一调度池,支持NVIDIA、AMD、Intel GPU与Google TPU,并新增会话感知路由和异步推理等能力;Google自报基准显示Ironwood TPU编码负载下中位TTFT降低超过85%、

    匹配字段标题

  4. 事件1 条新闻 · 1 个事实

    Cohere提出CALIBER推理模型置信度校准方法

    Cohere 提出 CALIBER 方法,用于推理模型的置信度校准。该方法训练推理模型在推理前估计解题成功率、推理后评估具体答案的正确概率。在数学基准上,7B 模型的校准误差从最强单置信度基线的 0.059 降至 0.028,降幅 52.5%,AUROC 达 0.806、Brier 分数 0.130。研究用 30,000 道数学题训练 7B 和 30B 模型,并在 1,000 道留出题及三个问答基准上评测。目前该消息来自 Cohere 产品与研究博客,尚无后续发展事实。

    匹配字段标题

星期日

  1. 事件1 条新闻 · 1 个事实

    SGLang仓库介绍其开源推理框架

    蚂蚁 inclusionAI 在 GitHub 上线 sglang_ling_v3 仓库,其内容基于开源推理框架 SGLang。该仓库 README 介绍,SGLang 面向大语言模型、视觉语言模型和扩散模型,针对智能体负载、大规模服务与 RL rollout 进行优化。README 还显示,SGLang 支持 GPU、TPU、NPU、CPU 与 Apple Silicon,并内置图像视频生成引擎 SGLang Diffusion。目前该仓库已发布,尚无进一步开发动态。

    蚂蚁 inclusionAI 在 GitHub 上线 sglang ling v3 仓库,其内容基于开源推理框架 SGLang。该仓库 README 介绍,SGLang 面向大语言模型、视觉语言模型和扩散模型,针对智能体负载、大规模服务与 RL rollout 进行优化。README 还显示,SGLang 支持 GPU、TPU、NPU、CPU 与 Apple Silicon,并内置图像视频生成引擎 SGLang Diffusion。目前该仓库已发布,尚无进一步开发动态。

    匹配字段标题

  2. 事实所属事件

    SGLang仓库介绍其开源推理框架

    蚂蚁 inclusionAI 在 GitHub 上线 sglang_ling_v3 仓库,其内容基于开源推理框架 SGLang。该仓库 README 介绍,SGLang 面向大语言模型、视觉语言模型和扩散模型,针对智能体负载、大规模服务与 RL rollout 进行优化。README 还显示,SGLang 支持 GPU、TPU、NPU、CPU 与 Apple Silicon,并内置图像视频生成引擎 SGLang Diffusion。目前该仓库已发布,尚无进一步开发动态。

    匹配字段标题

    查看事件：SGLang仓库介绍其开源推理框架

星期日

  1. 事件1 条新闻 · 1 个事实

    Intel发布面向Xeon CPU的AI推理软件

    Intel于10月16日发布Intel Inference Microservice,这是一款面向Xeon服务器CPU的容器化AI推理软件,目标是最大化CPU上的AI推理性能,并可快速为CPU优化大语言模型。报道称,该软件启动时会检测Intel处理器并套用预先验证调优的推理设置,默认推理引擎为开源vLLM,同时支持OpenAI SDK、LangChain、LlamaIndex、LiteLLM和Haystack等框架。Intel还计划将支持扩展到其全部GPU产品线,包括面向AI推理的D系列GPU。目前该事件仅有上述发布信息,尚无后续进展的合格事实证据。

    匹配字段标题

  2. 事件1 条新闻 · 1 个事实

    美光开发面向物理AI的边缘推理内存EIM

    美光(Micron)正在开发面向物理AI的边缘推理内存EIM,其做法是将LPDDR堆叠在逻辑裸片上,以降低AI推理延迟并提升带宽。美光副总裁Lee Cheol在SEDEX 2026上表示,公司正与主要客户讨论适配自动驾驶、人形机器人、AR/VR等新兴市场的产品,并计划将EIM应用于LPDDR6;业界预计2028年下半年量产。美光还预计,未来高性能人形机器人需要约200GB DRAM和4TB存储,而当前服务机器人仅12GB DRAM和256GB存储。目前该产品仍处于开发阶段,尚无进一步量产或客户落地的时间表披露。

    匹配字段标题

星期五

  2. 事件3 条新闻 · 1 个事实

    Apple 发布 MLX 新版本支持 Mac Studio 本地与分布式大模型推理

    2026年10月16日,Apple Machine Learning Research 发布最新版本 MLX,支持在 Mac Studio 上本地及分布式推理大语言模型。据其介绍,该版本借助 macOS 26.2 的 RDMA over Thunderbolt 5 驱动和 MLX v0.30.1 起的 jaccl 通信集合实现多机分布式推理;在四台 M5 Ultra Mac Studio 上,816B 参数的 Muse Spark Open 以 NVFP4 精度生成速度超过 36 tokens/s;单机上 M5 Ultra 相比 M3 Ultra 的 TTFT 最高快 4.6 倍,生成速度提升 1.6 倍。文中还给出 mlx_lm.benchmark、mlx.launch 和 mlx_lm.server 的命令示例,并说明可用 OpenCode 等工具接入本地 LLM 服务。同日另有报道称,Apple 与 Meta 合作使 Muse Spark Open 可在两台或四台 Mac Studio 上本地运行并完成智能体任务,并提到 M5 Ultra 集成 GPU 每台可用最多 512 GB

    匹配字段标题

  3. 事件1 条新闻 · 1 个事实

    Aravind Srinivas 称 Neoclouds 需拥有完整智能体推理平台

    2026年10月16日,Aravind Srinivas 提出判断,认为 Neoclouds 不能只出租 GPU,还需要拥有完整的智能体推理平台。他列举该平台应包含开放权重模型(SGLang)、微调模型(Miles、River)以及安全沙箱(SPACE),并表示期待与 Coreweave、Akamai、Crusoe 等伙伴合作。同一来源还提到,Perplexity 开源了其沙箱 SPACE,并与 Akamai、Coreweave、Crusoe 等合作推进 AI 安全。目前该判断尚无后续发展事实。

    匹配字段标题

  5. 事件1 条新闻 · 1 个事实

    Apple提出SSR框架,多模态搜索智能体推理延迟降低超90%

    2026年10月16日,Apple提出Selection-based Structured Reasoning(SSR)框架。该框架将推理从开放式生成改为从预设可复用自然语言候选中选择,无需辅助任务头,并借助共享上下文KV cache并行打分。在2B和4B模型、七个多模态搜索基准上,SSR平均成功率与同规模领先搜索智能体相当,单轮推理延迟降低超90%,每题模型总推理延迟降低28–54%。目前尚无后续发展事实。

    匹配字段标题

星期六

星期四