标准 LLM 之外有哪些替代架构
Sebastian Raschka 梳理了标准自回归 Transformer 之外的线性注意力混合架构、文本扩散模型、代码世界模型和小型递归 Transformer。文章比较了这些路线在长上下文效率、生成质量、代码建模和专用推理上的取舍，并认为通用项目目前仍应优先采用成熟的自回归 Transformer。
匹配字段摘要
←搜索结果
搜索“推理”
Modal 用 Pipecat 和开源模型实现一秒内语音到语音延迟
Modal 工程博客介绍了如何用 Modal、开源框架 Pipecat 和开源权重模型搭建语音 AI 聊天机器人，在客户端与容器就近部署时实现约一秒的中位语音到语音延迟。方案采用 Parakeet-tdt-v3 做语音转文字、Qwen3-4B-Instruct-2507 配合 vLLM 做 LLM 推理、Kokoro 做语音合成，并用 ChromaDB 与 all-minilm-l6-v2 完成 RAG 检索。作者还分享了用 Modal Tunnels 绕过输入平面降低网络延迟、通过区域固定和独立自动扩缩容控制成本的做法，代码已在 GitHub 仓库公开。
匹配字段摘要
vLLM Sleep Mode 如何实现模型零重载切换
vLLM Sleep Mode 通过保留进程、内存分配器、CUDA 图和 JIT 内核，将多模型切换从完整重载的 30-100+ 秒缩短至秒级或亚秒级。Level 1 将权重卸载到 CPU RAM，Level 2 丢弃权重并在唤醒时从磁盘重载；两种模式的切换速度比完整重载快 18-200x，预热模型的推理速度比冷启动快 61-88%。
匹配字段摘要
Linear 如何构建 Triage Intelligence
Linear 结合语义搜索、排序和大语言模型推理构建 Triage Intelligence，用现有积压事项识别重复与相关问题，并推荐标签、负责人等属性。团队从 GPT-4o mini 和 Gemini 2.0 Flash 转向 GPT-5 与 Gemini 2.5 Pro，采用可补充上下文的智能体方案，同时通过推理说明、思考面板和 Additional Guidance 提升透明度与可控性。该功能已作为技术预览向 Business 和 Enterprise 套餐开放。
匹配字段摘要
vLLM 详解 torch.compile 的工作原理与集成方式
vLLM 介绍了 torch.compile 的工作原理，以及它如何通过编译缓存、动态批量大小、分段 CUDA Graphs 和自定义编译器 pass 优化大语言模型推理。vLLM V1 默认在在线与离线推理中启用该能力，部分融合优化可带来最高 15% 的性能提升。文章还说明了缩短启动时间、改用更稳定 API 和探索 MPK/Mirage 编译器集成等后续方向。
匹配字段摘要
从 GPT-2 到 gpt-oss：解析 OpenAI 开放权重模型的架构演进
文章解析 OpenAI 的 gpt-oss-20b 和 gpt-oss-120b，并将其架构与 GPT-2、Qwen3 对比。两款模型采用 MoE、GQA、滑动窗口注意力、RMSNorm 和 MXFP4，其中 20B 模型可装入 16 GB 显存，120B 模型可在单张 80 GB H100 上运行。作者还讨论了宽度与深度、专家规模、推理强度控制及模型幻觉等问题。
匹配字段摘要
Dongxi 东锡 NLP 推荐 Raschka 推理模型课程
2026年10月25日,Dongxi 东锡 NLP 推荐 Sebastian Raschka 的《Building Reasoning Models from the Ground Up》,称其为地球上唯三最好的构建推理模型课程。被引帖中,Raschka 表示完整的从零构建推理模型视频系列已上线并附上链接,他本人将短暂休息,11 月回归更新 LLM 模型与研究动态。此前在10月24日,Raschka 已发布该配套视频课,共八讲、11 小时,从预训练的 Qwen3 0.6B 出发,用 Python/PyTorch 实现数学答案验证器、推理时扩展、简化 GRPO 版 RLVR 和蒸馏,并在 MATH-500 上评估;早期生成与评测可在 CPU 上完成,后续训练建议使用 GPU。目前课程已开放,东锡的推荐帖构成最新公开动态。
匹配字段标题
Raschka分享八段推理模型从零实现视频课程
2026年10月25日,Dongxi 东锡 NLP 推荐 Sebastian Raschka 的《Building Reasoning Models from the Ground Up》,称其为地球上唯三最好的构建推理模型课程。被引帖中,Raschka 表示完整的从零构建推理模型视频系列已上线并附上链接,他本人将短暂休息,11 月回归更新 LLM 模型与研究动态。此前在10月24日,Raschka 已发布该配套视频课,共八讲、11 小时,从预训练的 Qwen3 0.6B 出发,用 Python/PyTorch 实现数学答案验证器、推理时扩展、简化 GRPO 版 RLVR 和蒸馏,并在 MATH-500 上评估;早期生成与评测可在 CPU 上完成,后续训练建议使用 GPU。目前课程已开放,东锡的推荐帖构成最新公开动态。
匹配字段标题
Apple 发布 MLX 新版本支持 Mac Studio 本地与分布式大模型推理
2026年10月16日,Apple Machine Learning Research 发布最新版本 MLX,支持在 Mac Studio 上本地及分布式推理大语言模型。据其介绍,该版本借助 macOS 26.2 的 RDMA over Thunderbolt 5 驱动和 MLX v0.30.1 起的 jaccl 通信集合实现多机分布式推理;在四台 M5 Ultra Mac Studio 上,816B 参数的 Muse Spark Open 以 NVFP4 精度生成速度超过 36 tokens/s;单机上 M5 Ultra 相比 M3 Ultra 的 TTFT 最高快 4.6 倍,生成速度提升 1.6 倍。文中还给出 mlx_lm.benchmark、mlx.launch 和 mlx_lm.server 的命令示例,并说明可用 OpenCode 等工具接入本地 LLM 服务。同日另有报道称,Apple 与 Meta 合作使 Muse Spark Open 可在两台或四台 Mac Studio 上本地运行并完成智能体任务,并提到 M5 Ultra 集成 GPU 每台可用最多 512 GB
匹配字段标题
Apple 发布 MLX 新版本支持 Mac Studio 本地与分布式大模型推理
Apple Machine Learning Research 发布 最新版本 MLX
English translation is being prepared.
匹配字段标题
Baseten用智能体优化推理引擎
Baseten 工程博客作者基于 MetaInfer 技能框架,让 Claude Code 自主构建并优化推理引擎。在单张 B200 上,其为 Qwen-3.6-35B-A3B(NVFP4)构建的 VibeQwen 单流解码速度最高比 vLLM 0.25.1 快 90%,TTFT 快 2.33 倍,并发 32 时单副本吞吐高出 71%;整个项目约一周,消耗约 17 亿 token 和 200 B200 小时,成本在数千美元量级。作者随后用同一知识库为图像分割模型 SAM 3.1 构建推理服务 Sammie,在单张 H100 上达到 91 张图/秒,比 Facebook 参考服务吞吐提升 50%,耗时数天、约 2 亿 token。目前尚无后续发展。
匹配字段标题
多档推理强度模型开发方法
2026年7月18日,Sebastian Raschka讲解了具备多种推理强度模式的大语言模型开发方法。这类模型通过调节推理力度,在回答质量、token消耗、成本和延迟之间权衡,通常结合混合SFT数据、按模式调整的强化学习奖励、长度惩罚、独立专家模型或硬性token预算。DeepSeek V4、Nemotron 3 Ultra、Kimi K3、GLM-5、Qwen3和Inkling采用了不同组合。文章还指出,模型规模与推理力度是两套独立控制方式,较小模型提高推理力度有时可取得与较大模型降低推理力度相近的基准成绩。
匹配字段标题
分享语音推理扩容方法
ElevenLabs 研究工程师 Angelos Perivolaropoulos 于 2026 年 6 月 30 日分享并测试了通过标准工程优化提升单 GPU 语音推理吞吐的方法。主要手段包括连续批处理、FP8 量化、多 token 预测和经蒸馏适配的 FP8 KV cache。其中,KV cache 缩小 2.5 倍后,吞吐量从 28 名用户增至 70 名;架构级改造则可达到约 140 名用户。各项技术会引入延迟、内存上限或质量损失,实际选择取决于具体工作负载。
匹配字段标题
Together AI优化M3推理服务
匹配字段标题
Baseten用智能体优化推理引擎
Baseten 使用智能体生成并优化 VibeQwen与Sammie推理引擎
English translation is being prepared.
匹配字段标题
Modal 分享为编码智能体优化 Kimi K2.6 推理性能
2026年9月23日,Modal 通过官方工程博客分享其为编码智能体服务 Kimi K2.6 推理的性能优化方法。据该博客,Modal 以 Moonshot AI 的 Kimi K2.6 为例复盘推理服务优化过程,称单副本每用户性能提升 2.8 倍、副本整体提升 5.6 倍。其做法包括用 NVFP4 微缩放格式在 B200 上部署约一万亿参数的模型,基于 SGLang 打补丁并回馈上游,采用 DFlash 投机解码、KV cache 量化与 HiCache 扩展缓存,再配合负载感知的有状态路由,把服务扩展到每天处理数千亿 token。相关代码与配置已作为 Modal Auto Endpoints 的开源后端发布。目前尚无后续发展事实。
匹配字段标题
Modal 分享为编码智能体优化 Kimi K2.6 推理性能
Modal 分享 为编码智能体服务 Kimi K2.6 推理的性能优化方法
English translation is being prepared.
匹配字段标题
讲解多档推理强度模型开发
Sebastian Raschka 讲解 具备多种推理强度模式的大语言模型开发方法
English translation is being prepared.
匹配字段标题
分享语音推理扩容方法
Angelos Perivolaropoulos 分享并测试 通过批处理、量化、推测解码和缓存压缩提升单GPU语音推理吞吐的方法
English translation is being prepared.
匹配字段标题
Together AI优化M3推理服务
Together AI 优化并部署 MiniMax M3推理服务
English translation is being prepared.
匹配字段标题