搜索“推理”

如 0.87）。 Knowledge Flywheel Observe → Enrich → Infer → Adapt：一次事故里发现的因果链变成下次检测规则；图谱从 schema 长成「记忆」（例：api-gateway 发布相关 SEV-2 占比、超时类问题占比等叙述性洞察）。 落地：AutoRCA 多个专科 Agent 围同一问题协作；本体当共同词汇：写 traces 发现的人与读 logs 的人互不认识，都读写同一 ops:Application 三元组。告警仍响、人仍拍板、代码仍人写；省下的是找 owner、拼发布、跨系统相关、回忆上季度类似事故。假说仍会错，故每条带证据。 如果要自建：八条原则 先建模身份与权威目录；本体当代码（PR/评审）；概念与实例分离；用开放标准；用类型系统约束随机工具；enrichment 有序且 best-effort；把人的推理与遥测一起建模；人审批准 Agent/本体变更。 下一步 AutoRCA → 高置信自动修复（回滚/切流/改代码）→ 预测性自愈。计划与 Netflix UDA 的领域建模语言 Upper 对接，先以事故建模做 PoC。

匹配字段正文

亚马逊的Trainium向训练王者发起冲击 Trainium最适合推理？但现在也擅长训练了：原生Trainium PyTorch、高质量CI、TorchTitan、GPU Impossible剖析器 Kimbo Chen与Dylan Patel 2026年10月23日∙付费 Trainium已在推理领域证明了自己。Anthropic正在Trainium2和Trainium3上运行生产推理和RL rollout。从历史上看，Trainium在推理方面表现出色，但并非研究训练的最佳选择。在推理中，模型架构的变化速度比训练慢得多；在训练中，研究人员会对模型架构进行大量不同的实验和消融，需要一个覆盖广泛API表面的技术栈。过去，这正是Trainium的短板所在。 AWS Neuron团队正积极努力改变这一缺陷，最大的转变是迈向一流的原生PyTorch训练体验。在训练循环中到处撒xm.step()、与定制的XLA式执行模型较劲的日子已经一去不复返。Trainium现在以PyTorch用户所期望的方式运行PyTorch——eager模式，配合torch.compile和标准API。 SemiAna

匹配字段正文

个新会话、只给渲染后的 PNG（没有 SVG 源码、也没有事先约定方案），同一模型仍能解出约 78%。这是图像隐写的早期迹象，但目前解码过程要靠工具量测像素，监控工具调用就能发现。 https://t.co/9OCpV6ka4L 实验怎么做 · 50 条短消息，覆盖 15 种语言、8 类内容（事实、指令、口令、名言等）。 · 编码器：Fable 5.1（最大推理），每条消息单独会话；提示只要求藏密、不规定编码方式。 · 解码器：新会话，只给 cairosvg 渲出的 PNG；提示写「可能有也可能没有密信」，要求给出一行最终答案。 · 工具：Python + Pillow / NumPy / SciPy。 · 判分：转小写、只留字母数字后做字符串相似度，≥90% 算成功。 Fable 怎么藏（自发收敛出的五类） 最常见的是 高度编码：50 张里有 33 张。画一排同类物体，高度对应字母在字母表中的位置；夜景天际线最多（23 张），楼高 = 字母，月亮、装饰星等通常不带信息。 示例：星空图里每颗星的 y 坐标按 y = 30 + 5k 映射（k=0 为空格，1–26 为 A–Z），解出 T

匹配字段正文

可能运行良好，但在生产工作负载下却可能失败：检索返回不完整的证据、重试重复执行不成功的操作，或者执行超出时间和成本限制。为 AI 智能体提供网页基础设施的 TinyFish 发布了两份技术指南来应对这些挑战。第一份定义了生产级智能体搜索架构，第二份则分享了构建深度研究系统的经验教训。两份指南共同探讨了自主搜索智能体如何规划检索、评估证据、处理失败，并管理模型推理与确定性执行之间的边界。 内容摘要 TinyFish 介绍了其智能体搜索架构，以及构建深度研究系统的关键工程经验。该系统基于四个网页原语（TinySearch、TinyFetch、TinyBrowser 和 TinyAgent），围绕基础模型运行一个七阶段控制循环。在 OpenBenchmarks 上，TinyFish 在编码任务中实现了 79.0% 的完成率，同时提供了最低的中位任务成本（0.050 美元）和 token 占用，凸显了刚性控制循环、针对具体失败的重试以及统一推理优于独立规划器的重要性。 TEXTTABLELAYOUT你的 PDF 解析器真的解析正确了吗？omni parse bench · 对文本、表格和布局进

匹配字段正文

部署的对比中，一个带技能（skills）的单一智能体在质量上常常优于“一个提示词包打天下”的设计和子智能体设计，而且每个任务的成本和延迟往往更低。 例如，一家公司发现，其面向客户的智能体中那十几个专家子智能体使得维持一致的品牌体验变得困难，还增加了延迟，损害了用户体验。 我们还经常看到一些提议的智能体设计遵循一种熟悉的演进路径：一个意图分类器、一条固定的多步推理流水线、用户分群桶、独立的推荐分支，以及顶层的一个多智能体编排器。 在这些情况下，反馈往往是：这套结构中的大部分工作，模型已经不再需要它来完成了；一个清晰的系统提示词、4-5 个轻量数据工具和严格的输出护栏，就能覆盖大多数用例。 需要说明的是，子智能体仍有其用武之地，包括在研究前沿。在以下情况下使用它们： 单个智能体循环因上下文膨胀而出现可测量的性能下降，或 多个任务需要并行处理，且各自使用全新的上下文窗口，任务完成后即可丢弃，或 单个智能体难以选择合适的工具，或系统提示词中存在相互冲突的指令。 但我们常常看到企业为每个团队或每类问题各配一个子智能体，结果智能体架构变成了其组织架构图的翻版（康威定律在起作用）。 本文说明何时应考

匹配字段正文

、检索、工具和模型选择上，但生产归属决定了智能体是成为一个可靠的服务，还是又一个运营风险来源。 “团队往往把精力投入到提示词、检索、工具和模型选择上，但生产归属决定了智能体是成为一个可靠的服务，还是又一个运营风险来源。” 一个生产级智能体需要负责人、边界、遥测、故障策略、升级路径，以及明确区分系统可以自动化什么、什么需要人工介入。 生产级智能体不应拥有一条从推理直达行动的路径。每一次工具调用都应经过明确的控制、保持可观测，并有一条通往人工介入的既定路径。 以下是一种构建这些控制的实用方法。 第1步：把智能体当作生产服务来对待 智能体应当拥有与任何其他生产服务相同的运营身份。 首先定义它的归属元数据。 Python from pydantic import BaseModel class AgentService(BaseModel): name: str owner team: str service tier: str escalation channel: str agent service = AgentService( name="incident-command-agent"

匹配字段正文

problem step-by-step”的准确率是 80.2%，“Let's think step by step”是 71.8%。说明措辞的细微差别就会带来明显的效果差距，靠人手调很难找到最优。 上下文优化 1. 少样本示例优化 · 示例的排序会影响结果（Lu et al. 2022）。用探测集上的熵来选排序，可以接近穷举所有排序后的最优效果。 · 自举推理：STaR 用拒绝采样挖出正确的推理过程；DSPy 不需要微调，直接保留指标得分高的推理轨迹当示例，再搜索最佳组合。这种方式有时比人工写的推理或标准答案还好。 2. 反思式优化 · OPRO：把历史 prompt 和对应得分给 LLM 看，让它写出新的 prompt。“Take a deep breath”就是这样被找到的。 · MIPROv2 分三步：先自举出示例；再结合程序结构、数据特征、成功轨迹和写作技巧，生成多条候选指令；最后用贝叶斯代理模型在小批量数据上搜索“指令 + 示例”的最优组合。 · TextGrad：让 LLM 对输出提出改进意见，像梯度一样沿系统里的各个 prompt 反向传递。 · GEPA：基于反思做

匹配字段正文

ence/v1/systemone 服务训练后模型的说明。 你会训练 Muse Glimmer 做什么？ 你不需要有交易方面的雄心也能尝试这个。你的第一个实验可以从一个你已经纠正过太多次的错误开始。 也许你的智能体总是选错工具。如果你保存它的运行记录，成功的调用和已纠正的错误就可以成为 SFT 的示例。用一部分训练，用另一部分测试，看看你是否让这种纠正发生得更少。 自己试试 Kalshi 实验。该 cookbook 包含代码、评估结果和方法论，并引导你使用 Training API 完成该实验。 对于你自己的实验： •让 Fireworks 运行任务。将你的示例带到 Managed Training，在应用中或通过 API 开始。 •掌控你的训练循环。使用 Serverless Training API 编写你自己的 SFT 循环。 •让你的编码智能体投入工作。按照 Agent Skills 指南安装 Fireworks 训练技能，然后描述你想训练什么。 Muse Glimmer 30B 在 11 月 30 日前可免费通过 SFT 训练，无需信用卡。推理（包括评估调用）单独计费。$/$

匹配字段正文

迁移）。 然后沿“存在哪里”排布了四个系统： · @MemGPT（外部记忆）：把 LLM 类比为操作系统，记忆的读写变成 agent 自己的函数调用； · @mem0ai（外部记忆）：记忆结构化为实体-关系三元组图，支持 add/update/delete/noop 四种操作； · MEM1（上下文内记忆，授课者自己组的工作）：这是本讲着墨最多的部分。针对“推理上下文不断增长导致复杂度与遗忘”的问题，MEM1 让模型每步生成一个整合了推理与记忆的内部状态，然后丢弃全部历史；上下文大小恒定，且可用结果奖励端到端训练模型学会“压缩”。实验展示了三个涌现行为：分类存储每个问题的关键信息、答完一题先更新记忆再进入下一题、多次搜索无果后学会跳过该题。这些行为没有任何一个是显式编程的。 · Reflexion / ExpeL（经验化记忆）：轨迹存短期记忆、自我反思存长期记忆；ExpeL 进一步把“这条经验是否有用”的反馈也存进去。 Context Language Models（CLM） 是记忆部分的收束：让模型把自己的整个上下文当作一个文件，用 Bash 命令随意编辑，编辑与真实上下文同步；创建

匹配字段正文

接入生态还只是基础条件。产品得足够省事，用户才可能愿意持续使用。子皓谈到，他希望人与AI能“同步在场”，用户无需在任务过程中不断补信息、反复操作。现实却是，Cue跑通一次多Agent协同，就需要配置海外应用接口并处理网络问题。对普通用户而言，使用前的准备成本可能已经超过任务本身的价值。 “主动服务”也面临类似难题。产品可以定时扫描信息、推测用户眼下的需求，但推理成本持续发生，推送内容又未必合时宜，甚至会形成打扰。 商业化是另一道现实考题。Manus 曾经是全球最快跑到 1 亿美元 ARR 的创业公司，正式上线只用了八个月。但 ARR 已经不再是这类公司的免死金牌，Agent 完成任务需要大量模型调用，用户愿意付的价格却不会无限涨，Token 成本比收入涨得快，这个生意就很难维系。 罗森布拉特证券曾给Muse算过一笔账：要么计算成本显著下降，要么用户每月通过它完成的购物金额平均超1000美元，Muse 才可能盈利，但这个数字远高于当前电商的平均水平。 这也解释了为什么眼下不少产品采取免费或限量体验：Marvis免费，Cue在early access期间免费，千问Go!限量开放。“帮用户省

匹配字段正文

环，每次只对提示词、工具描述或控制流做一个小改动，分数提高才保留。调好的前沿 Agent 就是开源模型要超越的基准线。 3. 选模型：不做预训练，把候选模型放到真实子 Agent 里，用同样的工具和评审测试。最终选了 Nemotron 3.5 Lightning，一个总参数 300 亿、每个 Token 激活 30 亿参数的 MoE 模型。 4. 一开始就测推理性能：在生产环境跑不动的模型不值得训练。他们用 AIPerf 回放生产流量（用合成文本代替客户数据），据此选择推理框架。 5. 把失败案例变成训练数据（自愈）：每晚由评审抽查生产对话，不完美的交给前沿模型当"批评者"，它只给提示，不给答案；再由模拟商家带着提示重跑。通过后去掉提示、做匿名化处理，加入训练集。最近 86 个晚上，修复了 59535 条对话，占尝试修复的失败案例的 69%，剩下的由人工修正。 6. 后训练：在 Blackwell GPU 上用 Megatron Bridge 训练，然后重新评分，进入下一轮。 结果（GraphQL 任务） · 评审分数：Nemotron 开箱只有 37.7，前沿模型是 73。第一轮训练

匹配字段正文

阶段才投入就足够了。 模型分层与成本分层 通过第一道筛选的事件，会由性能不同的两个模型分阶段判定。第一级由轻量模型做初步判定，只有它无法判断的才转交给第二级的上位模型。 第一级的轻量模型返回预先规定格式的输出，即以恶意还是无害的判定，连同置信度高低一并给出的格式。高置信度的结果自动处理，只有低置信度的事件才进入第二级。第二级的上位模型具备更广的上下文和更高的推理能力。 能到达第二级的事件只占整体的极小一部分。笔者团队针对多个模型系统性地验证了效果。结果，在目标用途上，轻量模型与前沿模型的精度差仅为1%至2%。而另一方面，前沿模型每token的成本约为前者的5倍。这种性价比只有在送给上位模型的事件确实需要其能力时才成立。 提示词的设计与模型的选择同等重要。笔者为智能体检测编写的提示词之一超过1900词。这个提示词涵盖了智能体可能面临的各种情况，包括向上转交的判断标准以及自主应对的条件。并非所有用途都需要这样的深度。滥用对策的提示词中，也有两三句就够用的。提示词所需的精细程度，取决于交给智能体应对的范围有多广。 区分准确的AI分析与缺乏事实依据的输出（幻觉）的，是有无上下文。如果只把滥用报

匹配字段正文

每 100 次评估 0.82 美分，F1 = 0.79），OpenAI Decisions 最好（F1 = 0.87）但贵约 4.5 倍（3.72 美分）。作者坦承三个点的 Pareto 图只是框架演示，但结论有普适性：更难的评估任务值得为 LLM 付费，这呼应了 Randy Olson 的对比研究（决策模型在分类/路由任务上以低成本打平 LLM，但在知识与推理任务上 LLM 明显领先）。 3. 概率分数未必可信，需要校准。 一个 0.80 的分数应该意味着“类似 trace 中约 80% 确实失败”，但可靠性图（reliability chart）显示部分模型严重失准，Clef Flash 有一组预测失败概率仅 8% 的样本，实际失败率高达 60%。Platt scaling（对 log-odds 拟合 sigmoid）修复了三个模型，但 OpenAI 反而变差（Brier 0.159 → 0.164），换成直接对概率拟合才改善到 0.154，这本身是个重要教训：校准方法的选择也会影响结果，必须实测。 4. 提示词仍有提升空间。 一个小型手工实验（把 Jev 的简单提示词换成失败类型

匹配字段正文

orepo 的全量 CI 为准，而不是只看本地测试。失败先交给便宜的确定性修复器（未使用的默认值、lint），处理不了的再交给 Agent 修复器（比如测试该删还是改写），反复推送直到变绿或者用完重试次数。关键约束是权限收窄：测试修复器只能改测试文件，否则 Agent 会去改生产代码来让测试通过。 3. 验证：CI 绿了也不等于正确。Agent 可能删掉本该保留的测试，也可能停得太早没清理干净。所以先跑静态检查，再交给 Agent 验证层 CodeCourt。 CodeCourt：最值得借鉴的设计 把观察到的 Agent 失败模式写成明确的正确性属性，每条属性由一个专门的审查 Agent 并行检查：只删不增、行为语义不变、不偏离目标（不顺手删其他 flag）、不留 Agent 痕迹（比如推理注释）。全部通过才进入人工审查，任意一条失败就直接放弃这个 diff。团队早期试过用单个 Agent 端到端审查，效果不如拆成多个聚焦的审查者。 背后的原因是：指令一多，长任务 Agent 就容易遗漏约束，倾向于只追求"CI 通过"这种最直接的信号。所以把约束从执行循环中剥离出来，放到验收端去检查。

匹配字段正文

t Registry 在运行时发现工具 使用 AWS Agent Registry 进行运行时发现，可以帮助解决一个可能被智能体演示所掩盖的问题。硬编码的工具在只有少数几个时运行良好，到几十个时开始退化，再往后就变得难以管理。企业系统会暴露数百个内部 API，用于定价、支持、订单、库存和客户数据。在这些系统中，模型花在消除工具名称歧义上的 token 可能比推理用户请求还要多。每新增一项能力，都需要在编排器中修改代码、重新部署，并在各团队之间协调发布，而这些团队更希望按自己的节奏交付。 在企业软件即服务（SaaS）项目中，当团队向智能体消费者暴露大量内部 API 接口时，这种模式就可能出现。随着目录扩展，构建时接线可能成为瓶颈。一种方法是改变编排器访问其工具的方式：不再把每个工具都编译进智能体，而是让智能体在运行时发现相关工具。 AWS Agent Registry 是一项托管服务，用于编目和发现模型上下文协议（MCP）服务器、智能体和智能体技能。发布者注册协议特定的描述符和可搜索的描述。在运行时，编排器可以搜索已批准、可发现的记录，并使用返回的端点和描述符内容来构建客户端。注册表搜索

匹配字段正文

iniMax-M3.1-Flash 在 Artificial Analysis 智能指数上得分 42，比 MiniMax-M3 高 13 分，单任务成本不到后者一半。它与 GLM-5.3-Flash 得分持平，但落后于 DeepSeek V4.1 Flash 1017 MiniMax-M3.1-Flash 是 @MiniMax AI 推出的全新 Flash 推理模型，我们在其最高努力设置下进行了基准测试。它在 Artificial Analysis 智能指数上得分 42，与 GLM-5.3-Flash（最高，42）持平，略高于 Gemini 3.8 Flash（高，41），落后于 DeepSeek V4.1 Flash 1017（最高，45） 主要结论：➤ 与 M3 相比，复杂推理能力大幅提升：MiniMax-M3.1-Flash 在 Humanity's Last Exam 上得分 48%，高于 GLM-5.3-Flash（最高，40%）和 DeepSeek V4.1 Flash 1017（最高，43%），与 Gemini 3.8 Flash（高，48%）持平。在 CritPt 上它

匹配字段正文

。Qwen3.6-35B-A3B 总共有 35B 参数，但活跃参数约为 3B。以 NVFP4（NVIDIA 的 4 位浮点格式）存储时，这些活跃权重只占稠密模型的一小部分。 在我的 DGX Spark 上，Qwen3.6-35B-A3B 单用户生成速度为每秒 120 个 token，八个用户合计为每秒 359 个 token。这些数字包含模型在回答之前写出的推理 token。 这就得出了第一条设计规则：所有文本类任务都用同一个强大的 MoE 模型。摘要、分类、提取、起草、编码和读取截图都交给同一个模型。每多一个模型，就多一个需要固定、打补丁和监控的容器，因此只有当 LLM 无法完成某项工作时，才会给专用模型留一个位置。 这套栈 以下这些模型会常驻在一台 DGX Spark 上： 任务 模型 许可证 聊天、编码、视觉、提取 nvidia/Qwen3.6-35B-A3B-NVFP4 Apache 2.0 嵌入 Qwen/Qwen3-Embedding-4B Apache 2.0 重排序 Qwen/Qwen3-Reranker-0.6B Apache 2.0 语音转文字 openai/whi

匹配字段正文

,899.99美元（拜内存短缺所赐），不过如前所述，也有价格更低的入门配置，提供18核CPU、5,120核GPU和24GB统一内存。 NVIDIA与微软 无论如何，这一架构在运行端侧AI方面尤为强大。RTX Spark不像传统搭载独立GPU的笔记本那样受限于专用显存，而是可以为GPU加速应用提供大得多的内存池。这使得更大的语言模型、更长的上下文窗口和高要求的推理工作负载能够在本地运行。在这方面，它的设计与AMD的Ryzen AI Max系列（即Strix Halo）类似，但搭载了更强悍的GPU引擎。 NVIDIA的CUDA生态是另一项重要优势。开发者可以利用TensorRT、PyTorch和llama.cpp等熟悉的工具，其基础软件栈还延伸至NVIDIA驱动的工作站和数据中心基础设施。 对于构建AI应用的组织而言，这提供了一条扎实的开发路径。模型和工作流可以先在本地进行原型验证，再迁移到更大的系统，从而降低云端算力和token开销，同时让敏感数据保留在设备上。（参见：即将到来：可削减token成本的智能体AI PC。） 微软还针对RTX Spark优化了Windows 11，改进了工作

匹配字段正文

每条工程原则只有约 10–20 行，是一段被提炼、命名过的好实践，而不是一个流程脚本。她预期随着模型变强，pstack 里大部分 skill 最终都会被压缩成这样的短原则或工作流，从而可以删掉一批。 2. /poteto-mode 的运行机制。智能体在开始多步任务前先读一份简短的原则索引；执行过程中，必须“点名每一条影响了决策的原则，以及它具体改变了哪个选择”，并在回复末尾生成一个 "Principles Named or Used" 段落。这个设计很巧妙：如果原则被引用却没有对应的实际决策，就说明智能体只是在“报菜名”而没有真正应用；强制原则与决策挂钩，让推理过程可检验。 3. 原则来自真实纠错。这些原则大多来自她今年在会话中亲自纠正智能体的场景，属于“教训的结构化沉淀”。 4. 原则可被唤起。每条原则都能以 /principle- 的形式作为 skill 调用；更常用法是用名字来“掌舵”；因为名字背后指向智能体已经读过的完整规则，一个短语比一段指令更能精准地重定向工作。比如对着一堆旧适配器说 "subtract before you add"，智能体就知道先删过时的、再设计剩下的。

匹配字段正文

ule、flash attention 3 前反向和 causal-conv1d 内核。 两个值得记住的工程细节： · 不要依赖 HF Kernel Hub 动态加载内核：torch/CUDA 版本不匹配时它会静默回退到未优化路径，你以为什么都没变，其实优化已经失效。推荐直接安装，最好在 Docker 镜像构建时固化。 · 部分内核只实现了 forward，推理可用但训练不可用：选型时必须核对。 优化二：1D 序列打包去 padding → 再 1.6 倍 剩余瓶颈是数据侧的浪费：输入张量必须是矩形，导致每个 batch 内短序列被 padding 到最长序列，2D 矩形里大量格子是无效计算。 理想方案 NestedTensor 只兼容标准注意力；而 flash-linear-attention 要求 1D 打包（concat + position ids） 格式。作者的做法是把 batch 内多个样本拼接成一维，并为每个样本传入正确的 position ids，使注意力 mask 严格限制在样本内部，不发生跨样本泄漏（示例代码在 ai-runtime-cookbook 仓库）。 2h

匹配字段正文