←搜索结果

搜索“推理”

按匹配度 · 共 3238 条结果 清除搜索

星期三

  1. 事件1 条新闻 · 1 个事实

    LG AI Research 分享利用空闲推理 GPU 池调度 GPU 作业

    2026年5月26日,LG AI Research 分享了一套名为“GPU Job Scheduling using an idle inference GPU pool”的方案,将 LLM 服务夜间闲置的推理 GPU 用于训练和研究任务。该方案基于 vLLM 内部指标做自动扩缩容;其分析显示,单副本占 4 张 GPU 时,平均约 52 张 GPU 每天闲置约 12 小时。相关任务以 best-effort 方式运行,当服务流量上升时可随时被中断回收。目前该信息来自 LG AI Research 官方博客,尚无后续发展事实。

    匹配字段标题

  2. 事件1 条新闻 · 1 个事实

    Zyphra发布MI355X上推理端到端基准

    2026年5月18日,Zyphra Research发布了Zyphra Inference在AMD Instinct MI355X GPU上的首个端到端基准,并与Nvidia B200基线配置进行对比。该基准覆盖Kimi K2.6、GLM-5.1和DeepSeek V3.2三个模型。硬件方面,MI355X每卡提供288 GB HBM3E,B200为180 GB,两者HBM带宽均约8 TB/s;MI355X采用全连接xGMI点对点互联,8路集合通信峰值537.6 GB/s。测试使用ShareGPT与LMSYS-Chat-1M数据集,仅限vLLM框架、单节点且无真实流量。目前尚无后续发展事实。

    匹配字段标题

  3. 事件1 条新闻 · 1 个事实

    Zyphra 发布 ZAYA1-8B 推理模型

    2026年5月6日,Zyphra 发布 MoE 语言模型 ZAYA1-8B。据 Zyphra Research 介绍,该模型激活参数不到 10 亿,在数学、编码和推理任务上对标 Nemotron-3-Nano-30B-A3B、Mistral-Small-4-119B 等更大开源模型。模型在 1024 张 AMD MI300X 集群上完成预训练,采用压缩卷积注意力 CCA 与新型 MLP 专家路由,并配套提出 Markovian RSA 测试时计算方法。发布时模型已在 Zyphra Cloud 提供免费 serverless 端点,权重上线 Hugging Face,采用 Apache 2.0 许可。目前尚无后续发展事实。

    匹配字段标题

  4. 事件1 条新闻 · 1 个事实

    Modal 优化 SGLang 多模态推理调度器

    2026年5月4日,Modal 发布工程博客称,其优化了 SGLang 调度器的多模态推理性能。Modal 在 H100 上对 Qwen2.5-VL-3B-Instruct 做多模态推理基准测试时,发现 SGLang 调度器在 hash_feature 中反复调用 torch.UntypedStorage._new_shared_cuda,造成主机端开销。他们用简单的 Python 字典实现 CUDA IPC Pool Handle Cache,避免重复打开共享内存句柄,使吞吐量提升 16%、延迟降低 10%。该改进已合并进 SGLang v0.5.10。目前没有后续发展事实。

    匹配字段标题

  5. 事件1 条新闻 · 1 个事实

    Runway 与 Modal 合作支撑 Characters 实时推理

    2026年3月26日,Runway 宣布与 Modal 合作,由 Modal 的无服务器计算平台为 Runway Characters 提供实时推理支持。据 Modal 官方工程博客介绍,Runway Characters 是基于通用世界模型 GWM-1 的实时视频智能体 API,可从单张图片生成数字人形象且无需微调,已服务财富 10 强科技公司、好莱坞制片厂等数千家机构。借助 Modal,Runway 团队在 30 天内从概念验证推进到生产环境,并通过一行代码将容器扩展为支持 RDMA 网络的多节点 GPU 集群。目前该合作已进入生产环境阶段,暂无后续发展事实。

    匹配字段标题

星期二

星期日

  4. 事件1 条新闻 · 1 个事实

    Redwood Research分析AI推理成本趋势

    2026年3月28日,Redwood Research 发布一项分析,考察 AI 推理成本与能力提升之间的关系。该分析基于 METR 的数据指出,当前前沿模型在其 50% 可靠性时间跨度上完成任务时,推理成本约为人类成本的 3%,且这一比例并未随能力提升而上升。研究还发现,在成功完成的任务中,更长的任务并未带来更高的成本比;即使将每任务 AI 支出限制在人类成本的 1/32,时间跨度趋势仍约每 3 个月翻倍。作者据此认为,成本并非能力之外的额外瓶颈,自动化时间点可参照 METR 能力趋势线预测。

    匹配字段标题

星期二

星期一

星期五

星期三

星期一

星期一

  1. 事件1 条新闻 · 1 个事实

    goose 发布内置本地推理

    2026年4月24日,goose 发布内置本地推理能力,该能力基于 llama.cpp,集成于 goose 桌面应用中。用户在应用内选择 Local provider 后,可直接从 Hugging Face 下载量化 GGUF 模型并在本机运行,无需 Ollama、Docker 或外部服务器,也无需 API key,可离线使用。官方说明指出,本地模型首次请求需 30–120 秒加载,上下文多为 4K–8K token,工具调用是最大短板,Gemma 4 表现较好,而模拟模式仅限 shell 命令;官方建议从小模型起步并使用 Code Mode。目前该事实尚无后续发展。

    匹配字段标题

星期五

星期六

星期四