←搜索结果

搜索“推理”

按匹配度 · 共 3278 条结果 清除搜索

星期五

  1. One Useful Thing

    大众智能：十亿人获得强大 AI 后会发生什么

    超过十亿人已经常使用 AI 聊天机器人，模型成本下降和自动路由正让更多免费用户接触强大的推理模型。GPT-5 推出数日后，付费用户使用推理模型的比例从 7% 升至 24%，免费用户使用最强模型的比例从接近零升至 7%。这种“大众智能”在扩大知识和创作能力的同时，也将给教育、医疗、司法及信息信任带来新问题。

    超过十亿人已经常使用 AI 聊天机器人，模型成本下降和自动路由正让更多免费用户接触强大的推理模型。GPT-5 推出数日后，付费用户使用推理模型的比例从 7% 升至 24%，免费用户使用最强模型的比例从接近零升至 7%。这种“大众智能”在扩大知识和创作能力的同时，也将给教育、医疗、司法及信息信任带来新问题。 · More than a billion people regularly use AI chatbots, while falling model costs and automatic routing are giving more free users access to powerful reasoning models. Within days of GPT-5’s launch, the share of paying users who had used a Reasoner rose from 7% to 24%, while the share of free users accessing the most powerful models increased f

    匹配字段摘要

    #newsletter#现象/趋势#推理#图像生成

星期日

  1. Johann Rehberger / Embrace The Red

    Windsurf Cascade 被曝可执行不可见 Unicode 指令的提示词注入漏洞

    安全研究者 Johann Rehberger 披露 Windsurf Cascade 存在隐藏提示词注入漏洞，开发者看不到的不可见 Unicode Tag 字符会被模型当作指令执行。演示中一个看似空白的文件实际含隐藏指令，使用 Claude Sonnet 3.7 时 Cascade 会据此调用 web 工具。作者指出 Windsurf 的 SWE-1 模型目前能“看到”这些字符但尚不能将其解释为指令，而 Windsurf 支持的其他模型可以可靠地执行这类不可见指令。该问题已于 2025 年 5 月 30 日披露给 Windsurf，后续沟通一度中断，作者建议在 UI 中显示这些字符或在推理前后直接移除不可见 Unicode Tag 字符。

    匹配字段摘要

    #analysis#安全/对齐#Agent#编码

星期五

  1. METR Notes

    METR 复现 GDM 研究：Claude、GPT、Gemini 都难以躲过 CoT 监控

    METR 复现并扩展了 Google DeepMind 论文（Emmons 等）第 5 节的实验，用 Claude 4 Sonnet、Claude 3.7 Sonnet、GPT-4o 作为 actor 模型，GPT-4o、GPT-4o-mini、o3、Gemini 2.0 Flash、Gemini 2.5 Pro 作为监控模型，测试模型能否在掩盖真实学科推理的同时躲过监控。结果显示，开启推理模式后，模型的推理轨迹几乎 100% 会先说出自己的掩盖计划，从而被监控模型直接抓住；在需要 CoT 才能解题的 152 道 GPQA 扩展题上，模型也难以在不损失准确率的情况下躲过监控。由于原论文未提供源码，METR 用 Inspect 开源复现了第 5 节，代码和对话记录已发布在 GitHub。

    匹配字段摘要

    #company#论文/研究#安全/对齐#推理

星期三

  1. vLLM 官方博客

    vLLM 详解 torch.compile 的工作原理与集成方式

    vLLM 介绍了 torch.compile 的工作原理，以及它如何通过编译缓存、动态批量大小、分段 CUDA Graphs 和自定义编译器 pass 优化大语言模型推理。vLLM V1 默认在在线与离线推理中启用该能力，部分融合优化可带来最高 15% 的性能提升。文章还说明了缩短启动时间、改用更稳定 API 和探索 MPK/Mirage 编译器集成等后续方向。

    匹配字段摘要

    #engineering#教程/实践#部署/工程#推理

星期三

  1. SemiAnalysis

    分析：GPT-5 为广告变现与消费级 SuperApp 铺路

    SemiAnalysis 认为，GPT-5 的实时 Router 可按查询复杂度分配模型与算力，为 OpenAI 变现 700m+ 免费用户奠定基础。免费用户接触推理模型的数量首日增长 7 倍，付费用户增长近 3.5 倍；文章推测 OpenAI 或通过商业意图识别、智能体购物和交易抽成打造消费级 SuperApp，而非采用展示广告。

    SemiAnalysis 认为，GPT-5 的实时 Router 可按查询复杂度分配模型与算力，为 OpenAI 变现 700m+ 免费用户奠定基础。免费用户接触推理模型的数量首日增长 7 倍，付费用户增长近 3.5 倍；文章推测 OpenAI 或通过商业意图识别、智能体购物和交易抽成打造消费级 SuperApp，而非采用展示广告。 · SemiAnalysis argues that GPT-5’s real-time Router can allocate models and compute according to query complexity, laying the groundwork for OpenAI to monetize its 700m+ free users. Exposure to reasoning models rose 7x among free users and nearly 3.5x among paying users on the first day; the article speculates that OpenAI could bu

    匹配字段摘要

    #analysis#现象/趋势#Agent#推理

星期二

  1. Liquid AI 模型与工程博客

    Liquid AI 发布 LFM2-VL 视觉语言模型，含 450M 与 1.6B 两个版本

    Liquid AI 发布首个视觉语言模型系列 LFM2-VL，包含 LFM2-VL-450M 和 LFM2-VL-1.6B 两个版本，面向低延迟与端侧部署，支持文本和可变分辨率图像输入。模型基于 LFM2 骨干，视觉塔采用 SigLIP2 NaFlex 编码器，原生分辨率最高 512×512，更大图像按 512×512 分块处理，官方称在 GPU 上推理速度最高可达同类模型的 2 倍。模型已兼容 Hugging Face transformers 和 TRL，训练使用约 1000 亿多模态 token。

    匹配字段摘要

    #company#模型发布#多模态#端侧

星期六

  1. Ahead of AI精选

    从 GPT-2 到 gpt-oss：解析 OpenAI 开放权重模型的架构演进

    文章解析 OpenAI 的 gpt-oss-20b 和 gpt-oss-120b，并将其架构与 GPT-2、Qwen3 对比。两款模型采用 MoE、GQA、滑动窗口注意力、RMSNorm 和 MXFP4，其中 20B 模型可装入 16 GB 显存，120B 模型可在单张 80 GB H100 上运行。作者还讨论了宽度与深度、专家规模、推理强度控制及模型幻觉等问题。

    匹配字段摘要

    #newsletter#教程/实践#推理#部署/工程

星期三

  1. Claude Platform：开发者版本说明精选

    Anthropic 发布 Claude Opus 4.1，编码与智能体任务升级

    Anthropic 发布 Claude Opus 4.1，在智能体任务、真实编码和推理上较 Opus 4 升级，SWE-bench Verified 达 74.5%。现已向付费用户、Claude Code、API、Amazon Bedrock 和 Google Cloud Vertex AI 开放，价格与 Opus 4 相同。GitHub、Rakuten 和 Windsurf 反馈其在多文件重构、精准修复和初级开发者基准上均有显著提升。

    匹配字段摘要

    #company#模型发布#Anthropic#编码

星期二

  1. Ollama Blog

    Ollama 上线 OpenAI gpt-oss 20B 与 120B 开源权重模型

    Ollama 与 OpenAI 合作，将 gpt-oss 的 20B 和 120B 两个开源权重模型带到 Ollama，面向推理、智能体任务和开发者场景。模型支持函数调用、网页浏览、python 工具调用与结构化输出，可查看完整思维链，并可按低、中、高三档调节推理强度，采用 Apache 2.0 许可。OpenAI 将 MoE 权重以 MXFP4 格式量化到每参数 4.25 bits，使小模型可在 16GB 内存设备运行，大模型可放入单张 80GB GPU，Ollama 原生支持该格式并开发了新 kernel。

    welcome OpenAI gpt-oss

    匹配字段摘要

    #company#模型发布#OpenAI#推理

星期三

  1. Ollama Blog精选

    Ollama 发布 macOS 和 Windows 桌面应用

    Ollama 的新应用已在 macOS 和 Windows 上线，提供下载模型并直接对话的图形界面。新应用支持拖放文件，可对文本或 PDF 进行推理，处理大文档时可在设置中提高上下文长度，但会占用更多内存。应用还基于新的多模态引擎支持向 Gemma 3 等模型发送图片，并能处理代码文件；纯 CLI 版本仍可在 Ollama 的 GitHub releases 页面单独下载。

    illustration of Ollama seeing the new app

    匹配字段摘要

    #company#产品更新#多模态#部署/工程
  2. Amp Chronicle

    Amp Tab 响应速度提升 30%

    Amp Tab 编辑器补全引擎响应时间提升 30%，高峰时段最高提升 50%。Amp 与 Baseten 合作优化部署，切换至 TensorRT-LLM 推理引擎并实现 KV 缓存与投机解码，带来约 2 倍性能提升。新基础设施还采用改进的 n-gram 候选选择算法和可变长度推测，减少草稿 token 与计算量。

    Chart showing Amp Tab latency improvements over time

    匹配字段摘要

    #company#产品更新#部署/工程

星期四

  1. Liquid AI 模型与工程博客

    Liquid AI 与 .txt 合作：LFM2-350M + dotgrammar 实现边缘端函数调用

    Liquid AI 与 .txt 合作，用 LFM2-350M 模型搭配 dotgrammar 语法约束库，在边缘设备上实现可靠的函数调用。LFM2-350M 无需量化即可占用不到 1 GB 内存，在常见边缘硬件上推理延迟低于 100ms；dotgrammar 通过上下文无关文法（CFG）保证输出语法始终合法，且不增加推理延迟。相比 JSON 格式，Pythonic 函数调用表示仅需 14 个 token，减少 2.6 倍生成时间。

    匹配字段摘要

    #company#教程/实践#端侧#MCP/工具调用

星期三

  1. Mistral AI精选

    Mistral AI 对全球 AI 环境标准的贡献

    Mistral AI 联合 Carbone 4 和法国生态转型署 ADEME 开展大语言模型全生命周期分析，评估温室气体排放、用水和资源消耗。研究称，截至 2025 年 1 月，Mistral Large 2 在 18 个月内产生 20.4 ktCO₂e 排放、消耗 281,000 m³ 水和 660 kg Sb eq 资源，并建议行业标准化披露训练、推理及全生命周期影响。

    Mistral AI Infographie Acv V6(1)

    Mistral AI 联合 Carbone 4 和法国生态转型署 ADEME 开展大语言模型全生命周期分析，评估温室气体排放、用水和资源消耗。研究称，截至 2025 年 1 月，Mistral Large 2 在 18 个月内产生 20.4 ktCO₂e 排放、消耗 281,000 m³ 水和 660 kg Sb eq 资源，并建议行业标准化披露训练、推理及全生命周期影响。 · Mistral AI conducted a lifecycle analysis of LLMs with Carbone 4 and France’s ecological transition agency ADEME, assessing greenhouse gas emissions, water use, and resource depletion. The study says Mistral Large 2 generated 20.4 ktCO₂e, consumed 281,000 m³ of water, and incurred 660 kg Sb eq of resource de

    匹配字段摘要

    #lab#论文/研究#数据/训练#部署/工程

星期五

  1. Vapi Blog

    如何在 Vapi 上用 Grok 3 构建企业语音智能体

    Vapi 发布教程，介绍如何在 Vapi 平台选择 Grok 3 构建企业语音智能体。Grok 3 是 xAI 的推理模型，具备 100 万 token 上下文窗口、Think 模式与多模态能力，在 AIME 2025 得 60%、GPQA 79.1%、LiveCodeBench 65.5%，MMLU 0.799。定价为每百万 token 输入 $3、输出 $15，快速版 $5/$25，但 API 上下文窗口实际限制为 131,072 token，且不支持原生音频处理。

    匹配字段摘要

    #company#教程/实践#语音#部署/工程

星期四

  1. Answer.AI 官方研发博客

    Answer.AI 发布 ReadBench：评测视觉语言模型的文本阅读能力

    Answer.AI 推出 ReadBench，将 MMLU-Redux、MMLU-Pro、GPQA-Diamond、BABILong 和 LongBench 等文本基准的上下文转为图片、问题保留文本，以评测 VLM 从文本图像中读取和推理信息的能力。结果显示几乎所有 VLM 在多模态输入下都出现性能下降，短于 1 页的输入下降较小，长输入下降非常显著，说明多页文档直接送入 Visual RAG 管线尚不可行。数据已发布于 HuggingFace，代码在 GitHub，论文在 arXiv。

    匹配字段摘要

    #company#评测/基准#多模态#RAG

星期三

  1. The Gradient

    AGI 不是多模态：为何具身智能才是通往通用智能的路径

    The Gradient 刊文指出，多模态大模型将各模态拼接成“拼凑式 AGI”的路线在短期内注定失败，无法实现人类水平的感知运动推理、运动规划与社会协作。文章认为 LLM 更可能学到的是预测 token 的启发式规则集合而非真正的世界模型，主张把具身与环境交互作为智能研究的第一性，模态处理应视为涌现现象。

    匹配字段摘要

    #ai-vertical#现象/趋势#多模态#具身智能

星期二

  1. Sarvam AI Blog

    Sarvam AI：为印度构建主权 AI 生态

    Sarvam AI 宣布正为印度构建主权 AI 生态，打造覆盖印度语言与推理任务的基础模型、云端与边缘服务平台，以及对话与推理智能体等应用。其基础多模态模型获 MeitY 的 IndiaAI Mission 支持，将与 IIT Madras 的 AI4Bharat 和 CeRAI 合作开发，并以宽松许可证开源。Sarvam 本周起每周发布开源模型及技术报告，首个发布聚焦印度语言准确性与推理任务的后训练模型。

    Building a sovereign AI ecosystem for India

    匹配字段摘要

    #company#行业动态#开源生态#数据/训练

星期六

  1. Lilian Weng

    Lilian Weng：让模型预测前多思考更有效

    让模型在预测前有更多时间思考，比如通过智能解码、思维链推理、潜在思维等方式，事实证明对解锁下一级智能相当有效。 新文章在这里 :)

    让模型在预测前有更多时间思考，比如通过智能解码、思维链推理、潜在思维等方式，事实证明对解锁下一级智能相当有效。 新文章在这里 :)

    匹配字段摘要

    #editorial#大佬观点#推理

星期四

  1. Ollama Blog

    Ollama 推出多模态模型新引擎，支持 Llama 4、Gemma 3、Qwen 2.5 VL 等视觉模型

    Ollama 发布新的多模态引擎，开始支持 Meta Llama 4、Google Gemma 3、Qwen 2.5 VL、Mistral Small 3.1 等视觉模型，可进行多图理解、文档扫描与字符识别。此前 Ollama 依赖 ggml-org/llama.cpp 提供模型支持，新引擎让每个模型自包含并暴露自己的投影层，同时加入图像缓存、显存估算与 KV cache 优化，例如针对 Gemma 3 的滑动窗口注意力和 Llama 4 Scout 的分块注意力。后续计划支持更长上下文、思考/推理、流式工具调用和 computer use。

    匹配字段摘要

    #company#产品更新#多模态#部署/工程

星期日

  1. Prime Intellect精选

    Prime Intellect 发布 INTELLECT-2：首个通过全球分布式强化学习训练的 32B 模型

    Prime Intellect 发布 INTELLECT-2，称其为首个通过全球分布式强化学习训练的 32B 参数模型，在动态异构的算力贡献者集群上以完全异步 RL 训练推理语言模型。团队为此从零构建了异步 RL 框架 PRIME-RL、验证推理 worker rollout 的 TOPLOC 和广播策略权重的 SHARDCAST，并修改标准 GRPO 训练配方与数据过滤方法以稳定训练，在数学和编码基准上提升了 QwQ-32B 的表现。模型、代码和数据均已开源，技术报告见 primeintellect.ai/intellect-2。

    INTELLECT-2 Release: The First 32B Parameter Model Trained Through Globally Distributed Reinforcement Learning

    匹配字段摘要

    #company#模型发布#数据/训练#开源生态