2025年10月2日,LG AI Research 发文介绍阿里巴巴通义实验室的 WebDancer 论文。该解读指出,WebDancer 通过网页搜索工具增强大推理模型(LRM)的长链推理,以缓解长推理过程中的信息缺口与模型幻觉。论文提出 CRAWLQA 与 E2HQA 两种合成数据生成方法:前者基于 arXiv、GitHub、Wikipedia 等多跳网页生成问答数据,后者将简单事实问题逐步改写为需要多步推理的难题。目前该事件仅有这一项官方博客证据,尚无后续发展事实。
匹配字段摘要
2025年9月14日,PromptArmor 发布分析,拆解了 ChatGPT 自定义 MCP 连接器导致邮件泄露的攻击链。该分析引用 Eito Miyamura 的演示:攻击者仅需受害者邮箱地址,发送带越狱提示词的日历邀请;当用户让 ChatGPT 查看日历准备日程时,ChatGPT 读取被越狱的邀请后遭劫持,转而搜索私人邮件并将数据发送至攻击者邮箱。PromptArmor 表示已为安全从业者逐步拆解该攻击链。Eito Miyamura 提到,OpenAI 目前仅在 developer mode 中提供 MCP,且每个会话都需人工批准。
匹配字段摘要
2025年8月25日,安全研究者Johann Rehberger演示了ChatGPT Deep Research在同时启用多个连接器时存在数据泄漏。他通过自建名为Remote Matrix的远程MCP服务器实测发现,智能体会把Linear工单中的生产服务信息和凭据合并进对Remote Matrix的查询,并可能把记忆和聊天历史发送给Bing、Shopify等搜索工具。他还利用Linear工单和恶意工具描述中的间接提示词注入劫持研究流程,让智能体以特定口吻发起查询。作者建议不要在同一研究流程中同时连接敏感数据源与低可信数据源,并指出OpenAI要求自定义连接器只实现search和fetch两个工具以限制风险。目前尚无后续发展。
匹配字段摘要
2025年9月3日,Linear介绍其Triage Intelligence智能问题分流功能。该功能结合语义搜索、排序和大语言模型推理,利用现有积压事项识别重复及相关问题,并推荐标签、负责人等属性。团队将所用模型从GPT-4o mini和Gemini 2.0 Flash转向GPT-5与Gemini 2.5 Pro,同时采用可补充上下文的智能体方案,并通过推理说明、思考面板和Additional Guidance增强透明度与可控性。目前,该功能已作为技术预览向Business和Enterprise套餐开放。
匹配字段摘要
2025年6月13日,Anthropic工程团队公开了Claude Research功能背后的多智能体研究系统构建与生产化实践。该系统采用orchestrator-worker模式,由主智能体负责规划并派生并行子智能体执行搜索。Anthropic在内部评测中显示,以Claude Opus 4为主智能体、Claude Sonnet 4为子智能体的多智能体系统,在内部研究评测上比单智能体Claude Opus 4高出90.2%;但多智能体系统消耗的token约为普通对话的15倍。文章还给出了提示词设计、工具描述、LLM-as-judge评估以及生产环境可靠性方面的具体经验。目前该故事尚无后续发展事实。
匹配字段摘要
2025年2月25日,Anthropic发布Claude 3.7 Sonnet与Claude Code。据官方说明,Claude 3.7 Sonnet是其首个混合推理模型,可在标准模式与扩展思考模式间切换,API用户可控制思考token预算;定价与上一代相同,为每百万输入token 3美元、每百万输出token 15美元(含思考token),已在所有Claude套餐及Amazon Bedrock、Google Cloud Vertex AI上线。同日推出的Claude Code为终端智能编码工具研究预览版,可搜索和阅读代码、编辑文件、运行测试并提交到GitHub。2025年2月26日,Cognition发布Devin二月产品更新,新增批量并行编辑与多动作并行执行能力,并支持GitLab;官方称Devin于2月24日集成Sonnet 3.7,在调试、代码库搜索和智能体规划等任务上表现最佳。
匹配字段摘要
Thinking Machines Lab 发布第二代模型 Inkling 2 Small，采用 594B 总参数、17B 激活参数的 MoE 架构，支持图像输入和可变推理强度，在 Artificial Analysis Intelligence Index 上得分 31。模型先在 Tinker 上以闭源权重提供，计划在外部安全测试和红队评估完成后于下周以 Apache 2.0 许可开放完整权重。官方称其在长程智能体编码、视觉和知识工作上较上一代全面提升，训练包含 8.4 万亿 token 预训练和 1075 步、超 1700 万次 rollout 的联合 RL。
损失函数，训练超过 200 步。Inkling 模型的结果为 3 个随机种子的平均值；其他模型为单次运行。成本通过将采样和训练 token 数乘以当前 tinker 每 token 定价估算；对于采样，我们假设同一组内 rollout 中存在前缀缓存命中。 推理、知识与认识论 Inkling 2 Small 在具有挑战性的 STEM 问题、指令遵循、有无网络搜索的信息检索以及预测任务上接受训练。在 RL 过程中，我们对预测任务使用适当的评分规则，并对某些问答任务使用对不确定性敏感的奖励。这训练模型评估不确定性、表达适当的置信度，并做出校准良好的预测。 长上下文推理与事实性Inkling 2 SmallGLM-5.3-FlashMuse Spark OpenMistral Large 4Kimi K3 HLE-Diamond28.7%（该行报告的最高分）18.2%26.3%17.3%26.9%（该行报告的第二高分） CritPt v2Full / Hard55.7/35.0%（该行报告的最高分）–/24.5%52.6/29.5%（该行报告的第二高分）50.3/27.0%–/40.5% A
匹配字段正文
NVIDIA 发布面向 AI 智能体负载的 Vera CPU，称在 100 兆瓦数据中心对比中，单颗 Vera 的性能优于最快的 x86 CPU 和最节能的 x86 CPU。NVIDIA 给出的数据是：相比最快的 x86 CPU，Vera 每瓦可支持 1.6 倍数量的智能体；相比最节能的 x86 CPU，智能体速度提升 2 倍。Perplexity、DeepInfra、ClickHouse、DuckLabs、Daytona、Modal 等早期采用者给出了生产环境测试结果，其中 Daytona 用 Vera 在 10.8 秒内启动 1000 个智能体沙箱，x86 为 88.4 秒。
AI智能体不仅生成答案，还会搜索信息、查询数据库、编写和测试代码并采取行动。 上述每一步都依赖CPU，智能体在整个任务过程中不断在GPU推理与CPU执行之间切换。 随着企业部署越来越多的智能体，AI工厂需要能够快速执行这些步骤、同时支持大量智能体的CPU，而且这一切都要在可用功耗的限制之内实现。 这意味着： AI基础设施提供商需要支持更多智能体，同时不让每个智能体等待更长时间才能完成工作。更关键的是，AI工厂受功耗限制。这意味着运营方需要选择能在每一瓦功耗下最大化完成工作量的基础设施。 为何重要： NVIDIA Vera 在单颗CPU内同时实现了快速的智能体性能和高每瓦容量。这为提供商提供了一颗可覆盖多种智能体工作负载的CPU，而无需混搭快速型和密集型x86部件来平衡速度与容量。 证明这一点的数据： 在100兆瓦数据中心的对比中，NVIDIA发现单颗Vera CPU的性能优于最快的x86 CPU和最节能的x86 CPU。 Vera 在提供行业领先的智能体速度的同时，还能实现 相比最快的 x86 CPU，每瓦可支持的智能体数量多 1.6 倍。 相比最快的 x86 CPU。 Vera 实现
匹配字段正文
微软研究院联合 GitHub Next 和 RiSE 团队提出 Proof-Driven Development（PDD）范式，并发布研究原型 PDD Kit，把用户意图转成 Verus 形式化规格，再证明智能体生成的代码对每个输入都满足该规格，证明覆盖不到的部分回退到测试。团队在 GitHub Next 的 Chopin 环境中用 PDD Kit 验证了 Rust 全栈应用 Pet Store 的登录逻辑，约 5000 行 Rust 代码中，开发者只审阅意图文档和规格，未逐行阅读生成代码。PDD Kit 目前仅支持 Rust，登录逻辑中有 6 处被列为受信任边界，由测试而非证明覆盖。
改 decide login 的函数体，只有 decide login 会被重新证明。 这里是最小的片段，完整呈现，以及密码关卡的开头和结尾： pub fn lookup target(email: Option, username: Option) - (r: Result) ensures // 当发送了电子邮件时，电子邮件优先：客户会按该电子邮件被精确搜索。 email matches Some(e) == r == Ok::(LookupTarget::CustomerByEmail(e)), // 没有电子邮件时，用户名会将搜索 // 发送给管理员，按该用户名精确搜索。 email is None && username matches Some(u) == r == Ok::(LookupTarget::AdminByUsername(u)), // 两者都没有时，登录因缺少身份而被拒绝。 email is None && username is None == r == Err::(LoginError::MissingIdentity), pub fn decide l
匹配字段正文
OpenAI 发布 GPT-6 Cyber 系统卡，这是 GPT-6 Astra 的网络安全专用变体，用于漏洞发现、利用开发与 Web 渗透测试等授权安全工作。在防御性使用评测中，该模型完成 100% 的通用安全协助与漏洞修补任务、96% 的利用开发任务和 97% 的红队任务。按 Preparedness Framework，其能力定级与 GPT-6 Astra 相同：网络安全为 Critical，生物化学为 High，AI 自我改进低于 High；访问通过 Daybreak Red 限制，需身份验证、SSO、MFA 和 API IP 白名单。
Safety Processing 以进行自动化安全审查。新的防护措施旨在阻止针对关键系统的高风险活动以及为高风险活动提供协助，同时配合 GPT-6 Astra 对超出用户意图或授权范围的有害行为进行监控。详见 Safeguards 。 GPT‑6 Cyber 的后训练聚焦于网络安全能力与对齐。我们使用强化学习，在复现崩溃、开发可用的漏洞利用以及在代码库中搜索漏洞等任务上训练模型。通过这一训练，模型学会改进其方法、尝试不同策略并识别错误。我们还使用旨在减少对授权网络安全请求拒答的奖励信号。 在提升这些能力的同时，我们引入了训练信号以改善对齐并抑制奖励黑客行为。这些信号强化了对用户预期范围和授权的遵循、避免未经请求的操作，以及准确报告结果。 1 GPT-6 Cyber 的训练旨在减少对授权网络安全任务的拒答，同时保持其他领域的安全表现。我们通过网络安全拒答测试、安全完成测试和生物安全测试来评估这两个目标，并通过智能体评估来检验模型是否尊重用户的意图和授权。 数值可能与这些模型发布时公布的数值略有差异。此前已发布模型的数值来自这些模型的最新版本，评估结果也会存在一定波动。下文列出的早期模
匹配字段正文
Apple 研究团队在 ICML 2026 论文《Amortizing Maximum Inner Product Search with Learned Support Functions》中提出，针对固定 key 数据库离线训练小型神经网络，把 MIPS 视为凸分析中的支撑函数来学习，从而在推理时更快、更准地路由查询。方法包含 SupportNet（用 ICNN 学习支撑函数，可按簇计算以改进路由）和 KeyNet（直接输出最佳匹配 key 向量，并用基于 Euler 齐次函数定理的一致性损失约束）。两者均基于相关查询分布采样训练，以一次性摊销成本换取推理阶段更高效的 RAG 检索。
内容类型：重点报道发布于 2026 年 11 月 5 日 更快的检索，带来更好、更高效的 RAG 最大内积搜索（MIPS）是推荐系统、搜索和检索增强生成（RAG）的核心。给定一个查询向量，MIPS 系统会在包含数百万个候选键向量的数据库中搜索与查询最匹配的那一个。随后，与该最佳匹配键相关联的原始数据点被用于处理该查询：在 RAG 中，最适合回答该问题的文档通常会被前置到查询之前。 随着键的数量增长到数百万、向量维度达到数千，将查询与所有键逐一进行穷举比较的计算成本会急剧上升。人们已经提出了许多近似方法，利用聚类和量化来以精度换取速度。这些基线方法关注的是键集合的性质，以构建巧妙的索引结构，但它们的几何论证粗略地假设查询集合本身会与键集合相似，或者完全回避了对查询形态的任何考量。这在两个方面可能带来问题：在关键的 RAG 场景中，查询来自用户生成的简短问题，而键则代表冗长、信息丰富且经过精心整理的文本片段，这使得键与查询存在显著差异。 此外，生产环境中部署的大多数 MIPS 用例面向的是已有的用户群体，其查询分布稳定且特征明确——这一信号表明，通用的、与查询无关的方法尚有未被利用的空间。
匹配字段正文
Reflection 发布 Beam 的安全技术报告，介绍其通过预训练数据过滤、安全对齐教师模型与多教师在线策略蒸馏（MOPD）来兼顾拒答有害请求与正常回答。在自建的 Iris Safety Evaluations 中，Beam 对有害请求的拒答率为 89%，对安全无害请求的合规率为 82%，处于安全与有用性的帕累托前沿。报告还显示，安全对齐教师从 100B 增至 501B 参数后，过度拒答相对下降 48.7%，有害请求通过率下降 3.1%。
行评估。在生物、化学、网络、大规模说服与影响力行动以及一般有害内容领域，Shade在每个场景中最多进行200次尝试，以寻找绕过模型防护措施的方法。这项测试贯穿整个开发过程，使我们能够在训练推进过程中评估模型行为。 Beam在生物和化学诱导方面表现出很强的抵御能力，相关尝试极少成功，且不到一半的场景能够被突破。在其余领域中，尝试也仅偶尔成功，不过持续性的自动化搜索仍可能在大多数场景中找到可行路径。这正是我们下一步关注的重点。Beam还参与了 Gray Swan的间接提示注入（IPI）竞技场, 这是一个与英国AI安全研究所及主要模型开发者共同构建的公开红队测试竞赛；Beam也参与了Gray Swan为期三周的间接提示注入公开漏洞赏金项目，我们与其他前沿实验室共同赞助了该项目。 在化学武器方面，Beam在WMDP-Chem（一项包含408道题的化学危害知识评估）上得分为62.4%，而得分最高的模型为78.2%。该基准衡量的是相关知识，而非开发或部署化学武器的能力。除第三方测试外，这些结果也支持了我们的评估，即Beam的能力仍处于现有开放权重模型领域之内，并未实质性增加有害活动的规模、复杂程度
匹配字段正文
Databricks 认为开放权重模型已接近前沿模型水平且成本更低，企业因此重新评估单一前沿模型供应商策略。其 Unity AI Gateway 通过统一 API 托管开放权重、前沿和外部模型，支持智能路由、回退与预算控制；自 1 月以来客户平均使用模型数从 4.2 增至 7.1，其中约 40% 为开放权重模型。
继续演变。 一些前沿供应商已偏离零数据保留（ZDR）政策，例如 Anthropic 的前沿层级引入了 30 天最低保留期 [8]。对于合规政策围绕“任何提示或补全内容都绝不存储”原则制定的企业而言，上游政策变化可能带来问题，并可能需要系统变更。 5. 企业希望获得对模型治理的可见性和控制权。 对跨 AI 模型的端到端可见性和治理的需求正在增长。客户希望获得可搜索的模型输入、输出、错误和智能体操作记录，以便团队评估准确性并提升性能，同时希望获得集中控制以保护敏感数据和知识产权。 6. 测试框架与模型同样重要。 Databricks 的研究表明，模型周围的脚手架——即由提示、工具和控制流组成的测试框架——会改变测得的性能。在 Databricks 自己的基准测试中，同一模型在一个测试框架中得分为 61.7%，在另一个中为 48.1%，而在裸模型下为 38.4% [9]。由于测试框架的选择会改变基准测试结果，评估应同时测试模型和测试框架。 7. 开放权重模型已赶上前沿模型。 顶级开放权重模型如今的基准测试水平已可与顶级前沿模型相媲美，且成本更低 [3][4][5]。这在十八个月前并不成立。开
匹配字段正文
Google Research 提出 Agile Deliberation 框架，把主观图像分类器的构建变成人与 LLM 的迭代对话，先让用户拆解子类别与排除项，再由 VLM 主动挑出语义边界图像，反馈进入自动提示词优化循环。团队在 18 场、每场 1.5 小时的真人实验中验证，该流程减少了用户疲劳与焦虑，产出的分类器优于标准基线，代码与算法已在 GitHub 开源。
见且各不相同的范式进行了对比评估： 零样本分类器：标准的“一次性”方法。用户编写初始提示词，但无法看到边缘案例，也无法在模型误解边界时进行调整。 建模合作者：一种自顶向下的自动化方法，由 AI 智能体尝试自行拆解概念。虽然它能自动生成标准，却将用户排除在流程之外，使用户无法引导或纠正其逻辑。 人工审议：这种繁琐的暴力现状流程，用户要在电子表格中检查数据、猜测搜索查询以发现异常，并手动重写原始提示词。 结果 实时用户会话表明，Agile Deliberation 能产出性能更高的分类器模型，同时大幅改善用户体验。 提升一致性与性能 我们发现，参与结构化审议流程的研究参与者在随时间推移中表现出显著更高的一致性标注水平。通过尽早解决边界模糊问题，他们构建的分类器大幅优于所有标准基线。这些性能提升在最具挑战性的主观图像上最为显著——而这正是传统分类器通常失败的领域，因为它们依赖默认的、通用的 AI 假设，而非用户明确而细致的意图。 消除盲点 专家参与者报告称，该系统是一个有效的诊断工具。通过有意提供令人困惑的边界图像，AI系统帮助他们发现了初始定义中的“盲点”——揭示了在遇到模糊的真实世界示例
匹配字段正文
Smartsheet 在 Engage 2026 大会上发布 AI 驱动的规划与执行平台 vsActual，通过 AI 智能体持续监控跨企业系统的工作进度，并与战略目标比对、推荐调整。其核心 Execution Graph 基于约 20 年工作流数据和 9 PB 信息构建，底层依托 AWS Neptune 知识图谱约 1 亿个节点，可连接 Oracle、SAP、Workday、Atlassian 和 ServiceNow 等系统。平台同时新增 Agentic Workflows、多项集成和 ISO/IEC 42001 认证，默认保留人工审批。
接Oracle Corp.、SAP SE、Workday Inc.、Atlassian Corp. PLC和ServiceNow Inc.的应用，以收集有关预算、进度、人员配置和项目依赖关系的信息。 Smartsheet表示，AI智能体可以将战略文档、电子表格和预算提案转化为结构化计划，模拟替代情景，并对照这些计划监控执行情况。一个偏差检测智能体（如图）持续搜索新出现的问题，而其他智能体则生成高管报告，并随着业务优先事项的变化推荐调整方案。 该系统还可以跨组织层级追踪中断的后果。“如果Jira工单出现延误，且其影响向上波及五个层级，我们能够检测到并告诉你正在发生什么，”Arora说。 历史数据优势 Smartsheet表示，其历史工作流数据相比竞品规划和工作管理产品具有优势。Arora说，Execution Graph构建在现有的Amazon Web Services Inc. Neptune知识图谱之上，该图谱包含约1亿个节点，并纳入了有关工作流模式、依赖关系和协作的信息。 该公司使用多个基础模型，根据工作负载需求和成本进行选择。AWS和Databricks Inc.是其主要的底层技
匹配字段正文
Figma 构建了名为 Nimbus 的集中式沙箱管理平台，通过 namespace 配置文件和 GetOrCreate、Get、Delete 三个 API，让工程师无需了解云厂商细节即可创建、复用和删除沙箱。Nimbus 使用统一基础镜像 sandbox-base 和守护进程 sandboxd 管理进程、网络与健康检查，目标是在 1 秒内返回已配置好的沙箱，并跨多个云厂商做负载均衡以应对故障。
全地满足 namespace 要求的沙箱，无论使用哪个提供商。 容器边界还不够 沙箱将 AI 生成的或其他不受信任的代码与 Figma 服务器上运行的其他进程隔离开来。但从安全角度来看，这还不够。代码仍然可以通过网络发送我们不希望离开沙箱的信息。最直接的解决方案是实现严格的网络允许列表，但对于我们想要构建的产品来说，这往往过于简单粗暴。AI 工作负载可能需要搜索和读取互联网上的任意页面，而允许列表会阻止这一点。 在构建 Nimbus 的过程中，我们最终确定了一种对读取和写入区别对待的解决方案。通过 namespace，产品团队可以显式允许一份完全受信任的主机列表——代码可以从这些主机读取数据或向其发送数据。对于该列表之外的目标，Nimbus 仅允许 读取请求——、 或 ——且不带请求体。这对于网络搜索和页面检索等功能来说已经足够，而 、 或任何带有请求体发往任意端点的请求仍会被阻止。如有必要，产品团队还可以动态更新正在运行的沙箱的策略。 读取请求——GET, HEAD，或 OPTIONS——且不带请求体。这对于网络搜索和页面检索等功能来说已经足够，而 POST, PUT，或任何带有请求
匹配字段正文
Indegene 在 AWS 上的 NEXT Unified Data Platform（NEXT UDP）中构建了由 LLM 驱动的 Data Quality Agent，可生成上下文感知的数据质量规则、完成校验，并产出可直接运行的 SQL 和 Python 代码，全程采用集中式 human-in-the-loop 治理。NEXT UDP 还提供 Data Ingestion、Orchestration、Data Catalog 和 SQL Bot Generator 等独立 AI Agent，可单独用于数据管道或定制为 agent-to-agent 通信。
用中获得的经验相结合。 第一个是 内部企业知识库： 它整合了内部业务术语表、数据字典、SOP、监管指南、已批准的数据质量规则、经验证的脚本、剖析结果、历史异常以及主题专家（SME）反馈。内容经过摄取、向量化，并通过检索增强生成（RAG）进行检索，以生成基于企业标准和已验证成果的数据质量规则。 第二个是 外部参考知识库： 它使用已批准的标准化数据质量框架、网络搜索和受控网络抓取来构建并定期更新。当选择数据集时，智能体会分析表和列元数据，并从可信来源检索相关的数据质量标准、参考值和校验最佳实践。例如，对于 NPI（国家提供者标识符）列，它可以识别适用的质量标准、推荐格式（必需的 10 位数字格式）并执行参考值校验检查。 工作原理 图 3：数据质量智能体流程 数据质量智能体在单一工作流中引导用户从数据剖析走向规则创建和治理： 选择源： 连接到受支持的源，例如 Amazon Redshift 或 Snowflake。 选择数据库和架构： 浏览可用的表，并查看每个表的规则数量和活动规则状态。 剖析数据： 该解决方案计算表的质量指标和列模式，供用户审查。 检测异常： 该解决方案对照历史基线标记异常
匹配字段正文
Claude Marketplace 新增覆盖安全、开发基础设施、创意和生产力领域的合作伙伴智能体与产品，平台上的合作伙伴智能体和产品现已超过 25 个。符合条件的企业客户可将部分 Anthropic 承诺支出用于这些解决方案，在 Claude 和合作伙伴产品之间共用同一笔承诺额度。新增产品包括 Chainguard Harness、Checkmarx One、Datadog Agent Observability、Runway、Asana AI Teammates 和 Zoom Agentic Search 等。
助团队提升智能体质量、性能和成本效率。 Netlify：Netlify Enterprise 将应用、网站和智能体部署到全球边缘网络，每次变更都会生成预览 URL。它帮助团队将用 Claude 构建的内容从原型推向生产环境，无需配置基础设施，并包含 SSO、基于角色的访问控制和审计日志。 用于营销和创意工作的工具 AirOps：AirOps 提供用于 AI 搜索策略、内容和多渠道执行的智能体平台。它帮助营销团队分析品牌在 AI 搜索中的表现，并将结果与销售管线和收入关联起来。 Runway：Runway 可生成和编辑视频、图像和音频。它帮助创意和营销团队将简报转化为成品素材，并用自然语言编辑素材。 Webflow：Webflow 提供用于构建、管理和优化网站的内置工具。它帮助营销人员、设计师、开发者和智能体进行更改，并内置控制与治理机制。 面向每个团队的生产力应用 Asana：Asana AI Teammates 是预构建的智能体，它们使用 Asana Work Graph 中的上下文，每个智能体都有自己的身份、限定范围的权限和审计轨迹。它们帮助团队处理多步骤工作，并将需要判断的决策路
匹配字段正文
Cohere 的 Embed 5 和 Rerank 5 检索模型已在 OpenRouter 上线，可通过单一 API 调用并统一计费，无需额外 SDK。Embed 5 Pro 与 Fast 共享同一嵌入空间，可用 Pro 建索引、Fast 查询以降低延迟；Rerank 5 的分数经过校准，同一相关性阈值可跨查询和领域过滤弱上下文。Embed 5 支持 256 至 2048 维 Matryoshka 向量，默认 2048 维，单次最多 128k tokens。
hon 代码将它们变成可用的 RAG 流水线。 单一 API. 这是 Cohere 迄今最强大的检索模型，在企业文档和复杂检索任务上均展现出领先性能。如果你已经在使用 OpenRouter，可以立即开始使用——沿用现有模型所用的同一 API 密钥和额度，无需任何额外设置。 RAG 会在 LLM 撰写答案之前先检索相关片段，从而让答案以你自己的数据为依据。嵌入搜索提供了一种快速有效的第一阶段近似。随后，重排序器会同时读取查询和每个候选片段，为已检索到的内容增加精确度。 Cohere 模型的两个特性塑造了这一设计： Embed 5 Pro 与 Fast 共享同一个嵌入空间。 使用 embed-5-pro 建立索引以获得质量，然后使用 embed-5-fast 进行查询以降低延迟。 Rerank 5 的分数经过校准。 分数在不同查询和领域之间含义一致，因此可以用同一个相关性阈值在弱上下文到达 LLM 之前将其过滤掉。 到最后，你将拥有一个简短的 Python 脚本，能够基于你的文档回答问题并给出带分数的引用。同样的方法几乎可以应用于任何检索用例，从企业搜索和客户支持到知识管理和文档发现。 R
匹配字段正文
Together AI 发布 Together Compiler（TKCC），一个用高吞吐智能体持续优化推理负载的编译系统，在不到 24 小时内于 Kimi K3、GLM 5.3、MiniMax M3.1-Flash、DeepSeek v4.1-Flash 等前沿开源模型上实现最高 2.6x 的 TPS 提升。它在 SemiAnalysis 的 InferenceX 低延迟基准上取得 MiniMax M3.1-Flash 1111 TPS、DeepSeek v4.1-Flash 1205 TPS 的当前最好成绩，并在 Llama 1B batch size 1 场景比开源 megakernel 高 1.7x。TKCC 依靠持久化引擎热加载候选前向计算和快慢两级引擎平衡吞吐与保真度，实验吞吐比基线智能体优化系统高 252x，目前已用于服务每天数万亿 token。
作负载高度多样：Together 每天为数千名客户提供数万亿 token 的服务，每个客户的流量形态各不相同（批大小、序列长度、MoE 专家不均衡、注意力稀疏性、会话时长、领域）。 硬件高度多样：H100、B200、B300、NVL72、VR、Groq 等各自需要不同的策略。 理论上，智能体非常适合解决这个问题。它们能够适应新的工作负载，并在可能的优化空间中搜索，而不依赖那些困扰人类专家和传统机器学习编译器的固定规则或启发式方法。然而，当今的智能体系统受限于实验速度。 我们推出 Together Compiler（TKCC），这是首个 真正 持续 的优化循环，利用高吞吐智能体针对多样化的推理工作负载进行优化 在不到 24 小时内，TKCC 在前沿开源模型（Kimi K3、GLM 5.3、MiniMax M3.1-Flash、DeepSeek v4.1-Flash）上实现了最高 2.6 倍的 TPS 提升，在 SemiAnalysis 的 InferenceX 低延迟基准上创下当前最好成绩——MiniMax M3.1-Flash 达到 1111 TPS，DeepSeek v4.1-Fla
匹配字段正文