←搜索结果

搜索“推理”

按匹配度 · 共 688 条结果 清除搜索

星期三

  1. 事件1 条新闻 · 1 个事实

    Zyphra发布MI355X上推理端到端基准

    2026年5月18日,Zyphra Research发布了Zyphra Inference在AMD Instinct MI355X GPU上的首个端到端基准,并与Nvidia B200基线配置进行对比。该基准覆盖Kimi K2.6、GLM-5.1和DeepSeek V3.2三个模型。硬件方面,MI355X每卡提供288 GB HBM3E,B200为180 GB,两者HBM带宽均约8 TB/s;MI355X采用全连接xGMI点对点互联,8路集合通信峰值537.6 GB/s。测试使用ShareGPT与LMSYS-Chat-1M数据集,仅限vLLM框架、单节点且无真实流量。目前尚无后续发展事实。

    匹配字段标题

  2. 事件1 条新闻 · 1 个事实

    Zyphra 发布 ZAYA1-8B 推理模型

    2026年5月6日,Zyphra 发布 MoE 语言模型 ZAYA1-8B。据 Zyphra Research 介绍,该模型激活参数不到 10 亿,在数学、编码和推理任务上对标 Nemotron-3-Nano-30B-A3B、Mistral-Small-4-119B 等更大开源模型。模型在 1024 张 AMD MI300X 集群上完成预训练,采用压缩卷积注意力 CCA 与新型 MLP 专家路由,并配套提出 Markovian RSA 测试时计算方法。发布时模型已在 Zyphra Cloud 提供免费 serverless 端点,权重上线 Hugging Face,采用 Apache 2.0 许可。目前尚无后续发展事实。

    匹配字段标题

  3. 事件1 条新闻 · 1 个事实

    Modal 优化 SGLang 多模态推理调度器

    2026年5月4日,Modal 发布工程博客称,其优化了 SGLang 调度器的多模态推理性能。Modal 在 H100 上对 Qwen2.5-VL-3B-Instruct 做多模态推理基准测试时,发现 SGLang 调度器在 hash_feature 中反复调用 torch.UntypedStorage._new_shared_cuda,造成主机端开销。他们用简单的 Python 字典实现 CUDA IPC Pool Handle Cache,避免重复打开共享内存句柄,使吞吐量提升 16%、延迟降低 10%。该改进已合并进 SGLang v0.5.10。目前没有后续发展事实。

    匹配字段标题

  4. 事件1 条新闻 · 1 个事实

    Runway 与 Modal 合作支撑 Characters 实时推理

    2026年3月26日,Runway 宣布与 Modal 合作,由 Modal 的无服务器计算平台为 Runway Characters 提供实时推理支持。据 Modal 官方工程博客介绍,Runway Characters 是基于通用世界模型 GWM-1 的实时视频智能体 API,可从单张图片生成数字人形象且无需微调,已服务财富 10 强科技公司、好莱坞制片厂等数千家机构。借助 Modal,Runway 团队在 30 天内从概念验证推进到生产环境,并通过一行代码将容器扩展为支持 RDMA 网络的多节点 GPU 集群。目前该合作已进入生产环境阶段,暂无后续发展事实。

    匹配字段标题

  5. 事件1 条新闻 · 1 个事实

    Sarvam AI 开源发布 Sarvam 30B 与 105B 推理模型

    2026年3月6日,Sarvam AI 开源发布 Sarvam 30B 与 Sarvam 105B 两款从零训练的推理模型。据官方信息,两款模型预训练分别使用 16T 和 12T token,训练全程在印度完成,采用 IndiaAI mission 提供的算力。架构上两者均为 MoE:30B 仅 2.4B 激活参数并使用 GQA,105B 采用 MLA。权重可从 AI Kosh 和 Hugging Face 下载,并支持 Transformers、vLLM、SGLang 本地推理。官方称两者在印度语言基准上取得领先结果,30B 已用于对话智能体平台 Samvaad,105B 用于 AI 助手 Indus。目前尚无后续发展事实。

    匹配字段标题

星期一

星期日

  3. 事件1 条新闻 · 1 个事实

    Redwood Research分析AI推理成本趋势

    2026年3月28日,Redwood Research 发布一项分析,考察 AI 推理成本与能力提升之间的关系。该分析基于 METR 的数据指出,当前前沿模型在其 50% 可靠性时间跨度上完成任务时,推理成本约为人类成本的 3%,且这一比例并未随能力提升而上升。研究还发现,在成功完成的任务中,更长的任务并未带来更高的成本比;即使将每任务 AI 支出限制在人类成本的 1/32,时间跨度趋势仍约每 3 个月翻倍。作者据此认为,成本并非能力之外的额外瓶颈,自动化时间点可参照 METR 能力趋势线预测。

    匹配字段标题

  5. 事件1 条新闻 · 1 个事实

    Mistral AI发布Mistral Small 4开源多模态推理模型

    2026年3月17日,Mistral AI发布Mistral Small 4,这是Mistral Small系列的下一个主要版本,也是Mistral首个把Magistral的推理、Pixtral的多模态和Devstral的智能体编码能力统一到单一模型中的版本,采用Apache 2.0许可。该模型为MoE架构,128个专家、每token激活4个,总参数119B、每token激活6B(含嵌入和输出层为8B),上下文窗口256k,支持文本与图像输入,并可通过reasoning_effort参数在快速响应与深度推理之间切换。官方称相比Mistral Small 3,端到端完成时间减少40%,每秒请求数提升3倍;推理模式下在三项基准上匹配或超过GPT-OSS 120B,且输出更短。目前尚无后续发展事实。

    匹配字段标题

星期五

星期三

星期一

星期一

  1. 事件1 条新闻 · 1 个事实

    goose 发布内置本地推理

    2026年4月24日,goose 发布内置本地推理能力,该能力基于 llama.cpp,集成于 goose 桌面应用中。用户在应用内选择 Local provider 后,可直接从 Hugging Face 下载量化 GGUF 模型并在本机运行,无需 Ollama、Docker 或外部服务器,也无需 API key,可离线使用。官方说明指出,本地模型首次请求需 30–120 秒加载,上下文多为 4K–8K token,工具调用是最大短板,Gemma 4 表现较好,而模拟模式仅限 shell 命令;官方建议从小模型起步并使用 Code Mode。目前该事实尚无后续发展。

    匹配字段标题

星期五

星期六

星期四

星期二