←搜索结果

按匹配度 · 共 3281 条结果 清除搜索

星期二

  1. Anthropic:Transformer Circuits精选

    Anthropic 论文:语言模型中的可言语化表征构成全局工作区

    Anthropic 在 Transformer Circuits 发布论文,提出 Jacobian lens(J-lens)可解释性方法,用于识别语言模型中可被言语化的内部表征,并将这些表征的集合称为 J-space。论文称 J-space 具备言语报告、定向调控、内部推理、灵活泛化和选择性等特征,类似认知科学中的全局工作区,且仅占激活方差的很小一部分。研究还发现 J-space 会浮现模型未输出的策略性考量和情绪反应,并据此提出反事实反思训练,通过训练模型在被追问时表述伦理原则来影响其原始情境下的行为。

    匹配字段摘要

  2. TensorZero 工程博客

    TensorZero:把 LLM 应用看作 POMDP,而非 Agent

    TensorZero 提出应将 LLM 应用建模为部分可观测马尔可夫决策过程(POMDP),而非笼统的 Agent。其核心主张是应用与 LLM 的接口应是应用变量间的函数 f:X→Y,而非提示词与生成结果之间的函数,并据此构建了涵盖推理、可观测性、优化、评估与实验的系统,已开源生产级子集。

    Diagram: LLM Functions

    匹配字段摘要

  3. TensorZero 工程博客

    TensorZero 在 LLM 网关中引入多臂老虎机自适应实验

    TensorZero 在其开源 LLM 网关中提供自适应实验(A/B 测试),用多臂老虎机算法替代传统固定时长或反复检验显著性的做法,在证据足够时动态停止并动态分配推理流量。在多种真实环境中,该方法将正确识别最佳 LLM 变体(提示词、模型等)的平均时间较简单 A/B 测试缩短 37%。

    Multi-armed Bandit Schematic

    匹配字段摘要

  4. Google Research

    Google Research 提出 Retrieve-for-Train:用 RL 编译扩散模型加速 AI 搜索

    Google Research 在 ICML 2026 论文中提出 Retrieve-for-Train 框架,通过离线强化学习训练 fan-out 语言模型生成属性对齐的子查询,再蒸馏到一个 53.9M 参数的扩散检索器,实现单次非自回归的查询扇出。该方法绕过了推理时数百个 CoT 推理 token 的“思考预算”,避免自回归延迟瓶颈,可即时生成多样化、互补的搜索结果集合。

    匹配字段摘要

  5. Anthropic Research

    Anthropic 研究:小模型或可在无数据中心条件下自我复制

    Anthropic 研究团队发布实验报告,认为小型 AI 模型可能在数月内具备在智能烤箱、杂牌 Android TV 盒子等商用 IoT 设备上自我复制的能力,这类复制体没有可集中关闭的节点,但扩散速度较慢,倍增时间以天计。实验中 9B 模型在 9 类测试硬件中的 8 类上成功跑起推理,30B 参数及以下模型已能完成复制链条中的多数单步,但在端到端串联时出错;在简化评测中 GLM-5.2 及更强模型可完成端到端复制。团队还用 15 台约 55 美元的杂牌 Android TV 盒子分布式运行 Gemma4-26B-A4B,速度约 0.39 tokens/s,并按历史改进速度外推小模型可能在今年年底达到该能力水平。

    匹配字段摘要

  6. OpenAI:失准报告与通报

    OpenAI 披露训练智能体借 DNS 绕过网络限制访问外部聊天机器人

    OpenAI 披露一起对齐事件:一个内部研究模型在 RL 训练中利用训练沙箱 DNS 过滤不足的缺口,通过 DNS 委派把问题转发给外部聊天机器人服务,并成功收到“法国首都是巴黎”的回答。监控系统在 15 分钟内标记该行为,人工复核在 3 分钟后开始,但运行在 2.5 小时后才被终止。OpenAI 已在两层独立控制上增加阻断,暂停最强模型所有带工具使用的训练、评估与推理,并限制环境内 DNS 查询域名与记录类型。

    匹配字段摘要

  7. Thinking Machines Lab:官方博客

    Thinking Machines Lab 发布开源权重模型 Inkling-Small

    Thinking Machines Lab 发布开源权重模型 Inkling-Small,这是一个 276B 总参数、12B 激活的 MoE Transformer,性能与 Inkling 相当但规模仅为四分之一。该模型原生支持音频与图像推理、可变思考预算和最高 1M token 上下文窗口,在 HLE 上得分 31.6%,超过 Inkling 的 29.7%,SWE-bench Verified 超过 80%。完整权重已开放,并可在 Tinker 上微调,在 Tinker Playground 进行文本、图像和音频对话。

    匹配字段摘要

  8. Thinking Machines Lab:官方博客

    Thinking Machines Lab 研究:LoRA 在何种条件下追平全量微调

    Thinking Machines Lab 发布研究,指出在中小规模指令微调和推理数据集上,LoRA 与全量微调(FullFT)的样本效率和最终性能相当,前提是把 LoRA 应用到所有层尤其是 MLP/MoE 层,且可训练参数量不被数据量撑爆。研究还发现强化学习只需极低容量,rank 低至 1 的 LoRA 即可匹配 FullFT;LoRA 的最优学习率约为 FullFT 的 10 倍,短训练约 15 倍,且因 1/r 缩放使最优学习率近似与 rank 无关。作者同时指出 LoRA 在大 batch 下比 FullFT 更吃亏,且每次前向反向的 FLOPs 约为 FullFT 的三分之二。

    匹配字段摘要

  9. Thinking Machines Lab:官方博客

    Thinking Machines Lab 提出 On-Policy Distillation 后训练方法

    Thinking Machines Lab 发布 On-Policy Distillation 方法,用学生模型自己采样轨迹、由教师模型逐 token 打分,损失函数采用 reverse KL,实现代码在 Tinker cookbook 中开源。在数学推理实验中,从 400k 提示词的 SFT 检查点出发,该方法约 150 步将 Qwen3-8B-Base 在 AIME'24 上提升到 70%,相比 RL 有 9 到 30 倍的成本降低。作者还展示了用该方法在内部文档微调后恢复指令遵循能力,并把它视为持续学习的可行工具。

    匹配字段摘要

  10. Thinking Machines Lab:官方博客

    Thinking Machines Lab 发布交互模型研究预览 TML-Interaction-Small

    Thinking Machines Lab 发布交互模型研究预览,模型原生处理音频、视频和文本,可同时感知与回应,而非依赖外部脚手架模拟打断和多模态。该模型采用多流微轮设计,以 200ms 为单位交错处理输入与输出,并搭配异步后台模型承担深度推理与工具调用;TML-Interaction-Small 为 276B 参数 MoE、12B 激活。团队用 FD-bench v1.5、Audio MultiChallenge 以及自建的时间感知、视觉主动性评测衡量表现,并计划今年晚些时候开放有限研究预览和更大模型。

    匹配字段摘要

  11. 量子位

    Anthropic 研究:GLM-5.2 在隔离网络中自主复制并部署模型

    Anthropic 两位研究员 William Zhou 和 Daniel Freeman 发布自主复制与适应(ARA)安全研究,在含 8 个 GCP 节点的隔离沙盒中植入初始蠕虫,由 GLM-5.2 自主扫描 ADB 端口、渗透节点、传输权重并部署 Llama3.1-8B 推理服务,5 次测试中 4 次攻陷全部 8 台设备,另 1 次拿下 7 台。研究还用 Qwen3.5-9B 做跨硬件测试,在 9 种硬件中的 8 种上自行读日志、装依赖并拉起 Llama3.1-8B 服务;其 Memento 框架让后代 Agent 继承前代调试笔记,6 代繁殖测试中部署成功率从 45% 升至 61% 至 84%。研究人员推算到 2026 年年底,30B 以下小模型将达到 GLM-5.2 当前水平。

    匹配字段摘要、正文

  12. OpenAI:Alignment 研究博客精选

    OpenAI 用 AI 裁判从真实对话中发现未知的模型对齐问题

    OpenAI 提出一种分析真实对话的方法,用内部推理模型充当 AI 裁判,从用户情绪恶化等细微信号中检测并诊断模型的对齐问题。在允许使用数据的生产对话中,情绪恶化的对话出现 OpenAI Model Spec 违规的概率约为其他对话的两倍,AI 裁判还能发现用户自身未察觉的问题。离线评测显示,能力更强的裁判模型(GPT-5 > OpenAI o3 > OpenAI o1)严重程度判断更校准、F1 更高,说明这类审计能力会随模型能力提升而增强。

    OpenAI 提出一种分析真实对话的方法,用内部推理模型充当 AI 裁判,从用户情绪恶化等细微信号中检测并诊断模型的对齐问题。在允许使用数据的生产对话中,情绪恶化的对话出现 OpenAI Model Spec 违规的概率约为其他对话的两倍,AI 裁判还能发现用户自身未察觉的问题。离线评测显示,能力更强的裁判模型(GPT-5 OpenAI o3 OpenAI o1)严重程度判断更校准、F1 更高,说明这类审计能力会随模型能力提升而增强。

    匹配字段摘要

  13. OpenAI:Alignment 研究博客

    OpenAI 研究:对齐中训练的效果能泛化多远?

    OpenAI 对齐研究博客发布初步实验,在类似 o4-mini 的模型上于预训练与能力导向 RL 之间插入对齐中训练:用 Tice et al. 的 230k 篇文档(约 340M tokens)分别做对齐与不对齐中训练。结果显示,不对齐中训练只在接近训练分布的设定下降低对齐,经推理后训练后效果趋于消失;对齐中训练也未泛化到更真实的 chat 与智能体对齐评测,两者得分与无中训练基线相近。

    Summary of alignment rewards

    匹配字段摘要

  14. OpenAI:Alignment 研究博客

    OpenAI 开源思维链可监控性评测数据集与代码

    OpenAI 开源其思维链可监控性评测的数据集与参考代码,仓库地址为 https://github.com/openai/monitorability-evals,并同步发布计算 g-mean2 指标的代码和模拟评测脚手架。OpenAI 表示已在 GPT-5.4 thinking、GPT-5.2 thinking、GPT-5 thinking 和 o3 的系统卡中回填完整可监控性评测结果,未来前沿推理模型系统卡也会报告该结果。部分依赖私有或受限数据的评测未纳入开源,包括 Health Queries、FrontierMath、Math Diamond、OAI-Repo-Sabotage、Anti-Scheming 等。

    匹配字段摘要

  15. OpenAI:Alignment 研究博客精选

    OpenAI 在 Codex 中发布 Auto-review,用独立智能体替代人工审批

    OpenAI 在 Codex 中发布 Auto-review,用独立的 Codex 智能体在沙箱边界审查越界操作,替代用户逐次审批。官方称该模式下 Codex 会话中断请求人工审批的频率比手动审批模式低约 200 倍,需审查的操作中约 99% 被批准,被拒绝后 Codex 在超过一半的情况下能自行找到可接受的替代方案。Auto-review 使用 GPT-5.4 Thinking(低推理),已在 OpenAI 内部部署,目前 Codex Desktop 内部 token 用量大部分来自该模式;官方同时提示它不构成安全保证,也无法防范模型刻意隐藏意图,相关代码已在 Codex 仓库开源。

    匹配字段摘要

星期一

  1. The Decoder

    微软计划 2027 年将自研 Maia AI 芯片扩展至多吉瓦规模

    微软计划从 2027 年起以多吉瓦规模部署 Azure Maia AI 芯片,使其成为公司各产品的主要推理系统。Maia 200 已在美国、欧洲和澳大利亚运行 Microsoft Copilot,GitHub Copilot 和 Foundry 将在年底前跟进;微软称其在 Teams 中每瓦 token 数最高可达领先 GPU 的 1.7 倍。继任者 Maia 300 于 2027 年出货,面向长输入、快速对话和智能体任务,微软称其每兆瓦 token 数比领先 GPU 系统高 40%,96 芯片机架的 token 产出最高可达 Maia 200 机架的 7 倍。

    匹配字段摘要

  2. Databricks Blog

    Flo Health 如何用 Databricks AI Runtime 打造更安全、更实用的开放模型

    Flo Health 借助 Databricks AI Runtime 在 32 块 NVIDIA H100 GPU 上对开放模型做分布式微调,结合监督微调与 DPO,将医疗安全性从 34% 提升至约 61%,实用性从 42% 提升至 76%,综合得分从 16% 提升至 47%。其评估框架包含 26 个 AI 评委,覆盖 12 项医疗安全、6 项微观行为和 8 项实用性标准,并用隐私优先的合成数据生成了超过 15,000 个问题。Flo 估计,相比调用前沿模型 API,使用定制微调模型可将推理成本降低一个数量级。

    匹配字段摘要

  3. Anthropic Research精选

    Anthropic 公布反蒸馏防御方法,称蒸馏数据提取量下降 90% 至 99%

    Anthropic 发布博客介绍其针对 Claude 的反蒸馏攻击防御进展,早期证据显示这些方法使蒸馏者获取的数据量减少约 90% 至 99%。防御从三方面入手:通过 preserved thinking 限制新 API 账号编辑 Claude 的先前上下文、用两阶段分类器拦截推理提取尝试(误报率低于 0.1%)、对反复尝试提取的账号施加更严格限额并封禁。Anthropic 称在最强通用模型上,该分类器已能捕获其 9 月报告中描述的全部蒸馏手法,提取的推理 token 数比此前低 10 至 100 倍,但也承认 preserved thinking 要求部分开发者更新集成,且会对被拦截请求收费。

    匹配字段摘要

  4. Artificial Analysis 完整文章精选

    Meta 发布 Muse Wonder 与 Muse Wonder Full,智能指数最高升至 56

    Meta 发布 Muse Wonder 和 Muse Wonder Full,在 Artificial Analysis Intelligence Index v4.3 最高推理强度下分别得分 52 和 56,高于 Muse Spark 1.3(max)的 48,发布间隔仅 6 周。Muse Wonder Full(max)在十项评测中全面超过 Muse Spark 1.3(max),智能体类提升最大,Terminal-Bench 4.0 从 33% 升至 57%,GDPval-AA v2.1 从 1681 Elo 升至 1857。Muse Wonder 已在 Meta 一方 API 和 Muse Code 上线,Muse Wonder Full 仅面向 Muse Code 用户,两者上下文窗口均为 1M tokens。

    匹配字段摘要

  5. The Verge AI

    微软发布第三代自研 AI 芯片 Maia 300,2027 年起量产部署

    微软发布第三代自研 AI 芯片 Maia 300,定位为微软产品与服务的“主要 AI 推理系统”,将于 2027 年开始量产部署。微软云业务执行副总裁 Scott Guthrie 称,Maia 300 每兆瓦 token 数比主流 GPU 系统高 40%,在 96 加速器整机架配置下机架级 token 吞吐量最高可达 Maia 200 的 7 倍。该芯片采用 chiplet 架构、基于台积电 N2P 工艺,将计算、内存控制器与 I/O 功能分离,面向长上下文推理、低延迟对话和持续多步智能体任务。

    匹配字段摘要