Sarvam AI 发布文档智能工作台 Akshar
Sarvam AI 发布 Akshar，一个构建在 Sarvam Vision 之上的文档智能工作台，从被动文本抽取转向主动推理，提供视觉定位、版面语义理解和块级抽取，并支持智能体自动校对与纠错。所有智能体操作都以可审阅建议的形式提交，由用户接受或拒绝。Akshar 已在 akshar.sarvam.ai 开放 Preview，2 月整月免费，用户可上传文档试用 Agent Mode，生产使用需加入等待名单。
匹配字段摘要
←搜索结果
搜索“推理”
Sarvam AI 发布 Sarvam Edge 端侧模型系列
Sarvam AI 发布 Sarvam Edge，面向设备端推理推出语音识别、语音合成和多语言翻译模型。语音识别为 74M 参数的统一多语言模型，支持 10 种印度语言，端侧体积约 294MB（FP16），在 Snapdragon 8 Gen 3 上首 token 延迟低于 300 毫秒；语音合成 24M 参数、约 60MB，支持 10 种语言和 8 个多语言音色，首音频延迟 260 毫秒；翻译模型约 150M 参数、约 334MB，覆盖 11 种语言共 110 个语言对，首 token 约 200 毫秒。官方称该系列与全球设备厂商合作开发，推理完全在本地完成，无按次云端成本。
匹配字段摘要
Prime Intellect 发布 Lab 全栈训练平台
Prime Intellect 发布 Lab，把 Environments Hub、Hosted Training 和 Hosted Evaluations 整合为面向智能体后训练的全栈平台，覆盖大规模智能体 RL、推理与评测。平台以环境为核心，包含任务数据集、模型 harness 和评分 rubric，当前 Hosted Training 支持基于 prime-rl 的 LoRA 智能体 RL，后续将加入 SFT、DPO 等算法。私有测试期间已完成 3000 多次 RL 运行，Environments Hub 累计有 250 多位创作者构建 1000 多个环境、下载量超过 10 万次。
匹配字段摘要
Gemini 3 Deep Think 模式向 Ultra 用户开放
Gemini 3 Deep Think 模式今日向 Ultra 用户开放，通过并行思路在 ARC-AGI-2 和 HLE 等关键推理评测中取得明显提升。
Gemini 3 Deep Think 模式今日向 Ultra 用户开放，通过并行思路在 ARC-AGI-2 和 HLE 等关键推理评测中取得明显提升。 · Gemini 3 Deep Think mode is now available to Ultra users, using parallel lines of thought to achieve meaningful improvements on key reasoning benchmarks including ARC-AGI-2 and HLE.
匹配字段摘要
Qwen 发布 DeepResearch 2511，新增双模式与本地文件解析
Qwen 发布 DeepResearch 2511，采用多智能体协同机制，在用户需求分析、策略规划、搜索验证、并行工具调用、网页阅读分析和报告撰写等环节联合优化，并配合 Memory 管理与研究状态跟踪。新版本提供 Normal 与 Advanced 双模式，支持上传 PDF、Excel 和图片等文件并融入搜索与推理，还可一键生成网页和播客。官方称在防幻觉率、报告全面性、可靠性、指令遵循、报告长度、搜索深度和研究时间等维度上，整体表现较 2507 版本有明显提升。
匹配字段摘要
vLLM 新增对 NVIDIA Nemotron 模型家族的部署支持
vLLM 现已支持部署 NVIDIA Nemotron 开放模型家族，可在数据中心和端侧硬件上运行智能体推理。Nemotron Nano 2 采用混合 Transformer–Mamba 架构并提供可配置的 thinking budget，开发者可调节精度、吞吐量和成本；其模型权重及超过 9T tokens 的训练数据已在 Hugging Face 提供。
匹配字段摘要
vLLM OpenAI 兼容 API 支持返回 token IDs，消除智能体强化学习的重新分词偏移
vLLM 从 v0.10.2 起为 OpenAI 兼容 API 增加 `return_token_ids` 参数，可随文本返回输入的 `prompt_token_ids` 和生成结果的 `token_ids`。该功能避免推理文本在训练时重新分词产生不同 token 序列，Agent Lightning v0.2 会自动启用参数并通过追踪能力收集训练所需数据。
vLLM 从 v0.10.2 起为 OpenAI 兼容 API 增加 return token ids 参数，可随文本返回输入的 prompt token ids 和生成结果的 token ids 。该功能避免推理文本在训练时重新分词产生不同 token 序列，Agent Lightning v0.2 会自动启用参数并通过追踪能力收集训练所需数据。
匹配字段摘要
Ollama 发布 macOS 和 Windows 桌面应用
Ollama 的新应用已在 macOS 和 Windows 上线，提供下载模型并直接对话的图形界面。新应用支持拖放文件，可对文本或 PDF 进行推理，处理大文档时可在设置中提高上下文长度，但会占用更多内存。应用还基于新的多模态引擎支持向 Gemma 3 等模型发送图片，并能处理代码文件；纯 CLI 版本仍可在 Ollama 的 GitHub releases 页面单独下载。
匹配字段摘要
Ollama 推出多模态模型新引擎，支持 Llama 4、Gemma 3、Qwen 2.5 VL 等视觉模型
Ollama 发布新的多模态引擎，开始支持 Meta Llama 4、Google Gemma 3、Qwen 2.5 VL、Mistral Small 3.1 等视觉模型，可进行多图理解、文档扫描与字符识别。此前 Ollama 依赖 ggml-org/llama.cpp 提供模型支持，新引擎让每个模型自包含并暴露自己的投影层，同时加入图像缓存、显存估算与 KV cache 优化，例如针对 Gemma 3 的滑动窗口注意力和 Llama 4 Scout 的分块注意力。后续计划支持更长上下文、思考/推理、流式工具调用和 computer use。
匹配字段摘要
vLLM v0.8.3 新增对 Llama 4 Scout 和 Maverick 的支持
vLLM v0.8.3 开始支持 Llama 4 Scout（17B-16E）和 Maverick（17B-128E），可部署长上下文原生多模态推理。在 8xH100 上，Scout 可提供 1M 上下文，Maverick 约为 430K；设置 `--limit-mm-per-prompt image=10` 后，每次请求最多可输入 10 张图像。A100 已支持 bf16 版本，AMD MI300X 可通过源码构建运行，Scout 的单 H100 INT4 量化版本仍在开发中。
vLLM v0.8.3 开始支持 Llama 4 Scout（17B-16E）和 Maverick（17B-128E），可部署长上下文原生多模态推理。在 8xH100 上，Scout 可提供 1M 上下文，Maverick 约为 430K；设置 --limit-mm-per-prompt image=10 后，每次请求最多可输入 10 张图像。A100 已支持 bf16 版本，AMD MI300X 可通过源码构建运行，Scout 的单 H100 INT4 量化版本仍在开发中。
匹配字段摘要
FutureHouse 开源 Aviary：在生物学科研任务上训练语言智能体
FutureHouse 发布 Aviary 框架及配套代码，用于在生物学研究的多步任务上训练语言智能体，并称用该代码训练的小型开源模型在文献研究和 DNA 构建推理两项 LAB-Bench 任务上超过前沿语言模型和人类博士研究者，且成本大幅更低。框架把工具、软件和任务归入环境，把可优化部分组织成计算图来定义智能体，训练上采用重复尝试并对成功样本微调，推理时用多数投票或共识采样提升表现。相关预印本为 arxiv.org/abs/2412.21154，环境代码在 github.com/Future-House/aviary，智能体代码在 github.com/Future-House/ldp。
匹配字段摘要
vLLM v0.6.0 发布，吞吐量提升最高 2.7x、TPOT 最多降低 5x
vLLM 发布 v0.6.0，相比 v0.5.3 吞吐量提升 1.8-2.7x，其中 Llama 8B 的吞吐量提升 2.7x、TPOT 加快 5x，Llama 70B 的吞吐量提升 1.8x、TPOT 减少 2x。主要优化包括拆分 API server 与推理引擎、多步批量调度、异步输出处理、对象缓存和非阻塞数据传输。多步调度目前会造成 token 间延迟波动，并可能在低请求率下提高 TTFT。
匹配字段摘要
Anthropic 开发者控制台新增提示词生成器
Anthropic 在开发者控制台推出提示词生成器，用户描述任务后 Claude 会运用角色设定、链式推理等技巧生成可编辑的提示词模板。该功能基于一个长提示词实现，并支持将模板变量用于评估，ZoomInfo 称其将提示词优化时间减少了 80%。
匹配字段摘要
Replit 发布 Ghostwriter AI 编程助手，Complete Code 进入封闭测试
Replit 宣布推出 Ghostwriter，把 AI 能力接入几乎全部 IDE 功能，旗舰功能 Complete Code 是实时补全代码的 AI 结对程序员，目前处于封闭测试。官方称通过 FasterTransformer 与 Triton 推理、知识蒸馏和量化等优化，中位响应时间低于 400ms；Explain Code、Generate Code、Transform Code 则调用 OpenAI 等更大模型。Ghostwriter 后续将打包为基于 Cycles 的付费功能，最终计划像 Multiplayer 一样默认免费开放。
匹配字段摘要
Hao AI Lab开源JetSpec++模型、代码与推理引擎
2026年10月31日,UCSD Hao AI Lab宣布将JetSpec++的模型、代码和推理引擎全部开源,并附上论文、代码与Hugging Face链接。该投机解码框架通过因果并行草稿、隐藏状态预测器和锚点token解码器,把草稿生成与验证流水线化。据其公布的数据,在Qwen3-8B上,JetSpec++实现1,361 TPS,相对DSpark最高1.54倍、相对自回归解码7.45倍端到端加速,且保持无损;结合NVFP4与kernel优化后,在两块GB200 GPU上Qwen3-8B超过4,000 TPS、Qwen3.8-27B超过900 TPS。目前尚无后续进展。
匹配字段标题
Hao AI Lab开源JetSpec++模型、代码与推理引擎
2026年10月31日,UCSD Hao AI Lab宣布将JetSpec++的模型、代码和推理引擎全部开源,并附上论文、代码与Hugging Face链接。该投机解码框架通过因果并行草稿、隐藏状态预测器和锚点token解码器,把草稿生成与验证流水线化。据其公布的数据,在Qwen3-8B上,JetSpec++实现1,361 TPS,相对DSpark最高1.54倍、相对自回归解码7.45倍端到端加速,且保持无损;结合NVFP4与kernel优化后,在两块GB200 GPU上Qwen3-8B超过4,000 TPS、Qwen3.8-27B超过900 TPS。目前尚无后续进展。
匹配字段标题
DeepSeek在GitHub开源推理引擎DeepInfer
2026年10月29日,DeepSeek在GitHub开源推理引擎DeepInfer,该引擎是DeepSeek-V4.1-Flash背后的推理引擎。雷锋网同日报道,DeepInfer包含MoE专家并行、异步Batch调度、定制Kernel和推测解码等技术,并披露单集群每天需处理约155万亿个Token。其Zero-Overhead Batch Scheduler让CPU提前一轮安排计算,与GPU前向重叠,并通过total_inflight_tokens记账、Remap映射和DeferredRelease延迟回收处理跨轮次状态错位。目前开放的是离线推理能力,线上KV Cache存储和跨副本负载均衡等组件尚未完整公开,官方也未单独公布该调度机制相对同步方案的端到端加速数据。
2026年10月29日,DeepSeek在GitHub开源推理引擎DeepInfer,该引擎是DeepSeek-V4.1-Flash背后的推理引擎。雷锋网同日报道,DeepInfer包含MoE专家并行、异步Batch调度、定制Kernel和推测解码等技术,并披露单集群每天需处理约155万亿个Token。其Zero-Overhead Batch Scheduler让CPU提前一轮安排计算,与GPU前向重叠,并通过total inflight tokens记账、Remap映射和DeferredRelease延迟回收处理跨轮次状态错位。目前开放的是离线推理能力,线上KV Cache存储和跨副本负载均衡等组件尚未完整公开,官方也未单独公布该调度机制相对同步方案的端到端加速数据。
匹配字段标题
DeepSeek在GitHub开源推理引擎DeepInfer
2026年10月29日,DeepSeek在GitHub开源推理引擎DeepInfer,该引擎是DeepSeek-V4.1-Flash背后的推理引擎。雷锋网同日报道,DeepInfer包含MoE专家并行、异步Batch调度、定制Kernel和推测解码等技术,并披露单集群每天需处理约155万亿个Token。其Zero-Overhead Batch Scheduler让CPU提前一轮安排计算,与GPU前向重叠,并通过total_inflight_tokens记账、Remap映射和DeferredRelease延迟回收处理跨轮次状态错位。目前开放的是离线推理能力,线上KV Cache存储和跨副本负载均衡等组件尚未完整公开,官方也未单独公布该调度机制相对同步方案的端到端加速数据。
匹配字段标题
DeepSeek开源推理框架DeepInfer
2026年10月20日,DeepSeek宣布开源其内部生产级推理框架DeepInfer。据Latent Space报道,该框架支撑DeepSeek-V4.1-Flash,基于vLLM定制,支持分布式推理、投机解码、SWA Bounded Replay和结构化输出,目标平台为NVIDIA SM100与华为昇腾950;公布的单集群生产数据为每天处理155万亿token、96%输入缓存命中、首token延迟400ms、生成速度230 tokens/s。报道同时指出,KV cache管理和负载均衡等组件尚未完全开源。次日,DeepSeek在知乎发布DeepInfer技术报告,公开Prefill与Decode的硬件选型、KVCache目标等内部细节,并给出单一集群服务吞吐155万亿Tokens/天、按谷价每卡每小时38美金的数据。目前该框架已开源,但完整服务所需的KV缓存系统、Prefill/Decode解耦和负载均衡未完全包含在本次开源项目中。
匹配字段标题
DeepSeek开源推理框架DeepInfer
2026年10月20日,DeepSeek宣布开源其内部生产级推理框架DeepInfer。据Latent Space报道,该框架支撑DeepSeek-V4.1-Flash,基于vLLM定制,支持分布式推理、投机解码、SWA Bounded Replay和结构化输出,目标平台为NVIDIA SM100与华为昇腾950;公布的单集群生产数据为每天处理155万亿token、96%输入缓存命中、首token延迟400ms、生成速度230 tokens/s。报道同时指出,KV cache管理和负载均衡等组件尚未完全开源。次日,DeepSeek在知乎发布DeepInfer技术报告,公开Prefill与Decode的硬件选型、KVCache目标等内部细节,并给出单一集群服务吞吐155万亿Tokens/天、按谷价每卡每小时38美金的数据。目前该框架已开源,但完整服务所需的KV缓存系统、Prefill/Decode解耦和负载均衡未完全包含在本次开源项目中。
匹配字段标题