←搜索结果

按匹配度 · 共 1610 条结果 清除搜索

星期三

  1. Unite.AI

    NVIDIA 发布 Nemotron 3.5 系列开放模型,覆盖嵌入、重排与文档解析

    NVIDIA 于 2026 年 10 月 21 日扩展 Nemotron Retriever 系列,推出 Nemotron 3.5 Embed(8B BF16、1B BF16、1B NVFP4)、Nemotron 3.5 Rerank 8B BF16 和 6.31 亿参数的 Nemotron 3.5 Parse,面向企业智能体工作流的多模态检索与文档处理。NVIDIA 称在智能体检索流程中加入 Rerank 后,单次查询的 token 成本分别降低约 14%(搭配 8B 嵌入模型)和 13%(搭配 1B 模型),检索准确率同时提升。Parse 在 ParseBench 上得分 75.20,单张 H100 上每秒处理 10.5 页;开放权重、数据和训练配方已在 Hugging Face 发布,并可通过 NVIDIA NIM 及 Baseten、DeepInfra、FriendliAI 部署。

    不完整或不相关时,智能体会执行更多搜索、审阅更多文档,在完成任务前消耗额外的推理token。 四种Embed和Rerank变体分别对应不同的部署角色。Nemotron 3.5 Embed 8B BF16定位于面向文本和视觉丰富文档的高质量搜索。1B BF16模型将8B模型的多模态检索能力浓缩到更小的体量中,用于多模态索引和查询服务。1B NVFP4模型对文本编码器和图像编码器均应用NVFP4量化,面向支持硬件上的大规模文档索引和高吞吐检索。Nemotron 3.5 Rerank 8B BF16对查询—文档对进行联合打分,以优化文本和图像候选的相关性排序,为检索增强生成和智能体工作流筛选证据。检索范围涵盖文档文本以及表格、图表、信息图、数据手册和示意图等图像。NVIDIA在34种语言上评估了文本检索,并在覆盖18种语言的MIRACL Vision和KoViDoRe上评估了多语言视觉检索,同时指出这些模型可能还能处理测试范围之外的其他语言。 智能体检索实验 为衡量检索对智能体行为的影响,NVIDIA在ViDoRe v3、BRIGHT和BrowseComp-Plus上评估了Nemotron

    匹配字段正文

  2. Unite.AI

    什么是分布式 AI 训练?数据、张量、流水线与专家并行解析

    分布式 AI 训练通过在多个加速器间协调数据、参数、激活值、梯度和优化器状态,使超出单设备容量的模型或批次得以训练。其流程可拆为五步:按选定并行策略切分工作、执行本地前向与反向计算、通信所需张量、同步或流水线更新、跨节点检查点与恢复。文章指出,仅增加设备而不改变通信与内存设计是常见误区,网络瓶颈和同步失败可能浪费大部分理论算力。

    准测试仅仅因为容易运行而变成目标。 使用未触碰的测试集进行受控比较,然后在分阶段运行环境中验证分布式 AI 训练。离线评估使变体具有可比性;影子模式、金丝雀发布、速率限制或审批门禁揭示真实流量、反馈循环和人员如何改变行为。部署阶段应有明确的停止条件,而不是假设每一项改进都值得全面推广。 对复现分布式 AI 训练所需的输入进行版本管理:源数据、预处理、分词器或编码器、模型权重、配置、提示或策略、检索索引、评估集、硬件假设,以及适用的服务代码。没有血缘关系,团队就无法判断改变的结果是来自技术、环境,还是未被注意的流水线编辑。 最后,要问什么样的发现会证伪“分布式 AI 训练有帮助”这一主张。如果没有任何结果能逆转采纳决定,那么这次评估就是营销。预先承诺的验收阈值和保留的确认集能把这项工作变成证据。 目标:分布式 AI 训练打算解决哪个可衡量的瓶颈? 机制:五个阶段中哪一个包含其独特的转换? 基线:与仅仅增加设备而不改变通信或内存设计,或与另一种更简单的替代方案相比,它表现如何? 证据:测试了哪些普通、困难、对抗性和子群体案例? 运营:在规模化时会出现哪些延迟、内存、计算、能源、维护和审查成

    匹配字段正文

  3. 邵猛

    Grok Bot 与 Cursor Harness 负责人谈 Harness 是否已死

    Grok Bot 与 Cursor Harness 负责人 Jediah Katz 认为,Harness 中帮模型写代码的部分正被模型吸收,但开拓新任务边界、提供基础设施与信任安全、优化效率这三项职责仍离不开 Harness。他引用 UC Berkeley 在 SWE-bench Lite、Apple 和 EPFL 在 MLE-Bench 上的测试称,不同 Harness 的分数差别不显著,但单任务成本差别明显。他还预测 6 个月内 90% 的 Agent 工作会脱离个人电脑、在云端运行。

    Agent Harness 已死?Grok Bot & Cursor Harness 负责人 Jediah Katz 认为: 编码补丁正被模型吸收,开拓新任务、安全与效率仍离不开 Harness! 模型越来越聪明,Harness 里"帮模型写好代码"的那部分确实在消失。但 Harness 还有两项消失不了的职责:一是带模型开拓新的任务边界,二是提供模型无法吸收的基础设施、信任安全和效率。 演讲者与背景 @jediahkatz 2025 年初加入 Cursor,是在 Agent Harness 上工作时间最长的工程师,随 Cursor 被收购后加入 SpaceX并参与 Grok Bot Harness。他梳理了这个领域的称呼变迁:2023 年流行"提示词工程师",2025 年年中变成"上下文工程师",今年业界才定名为"Harness 工程"。 Harness 由什么组成 Harness 是模型的"眼睛和手",向上对接用户使用的 App,向下连接电脑和第三方服务(如 MCP)。他把它分成两层: 运行时层:决定 Agent 循环在哪里运行、状态怎么保存以便中断后继续,比较接近传统软件工程。

    匹配字段正文

  4. 36氪 · AI

    DeepSeek 开源搜索、推理框架与编解码组件,并公开单卡每小时收入

    DeepSeek 在一周内接连推出自研搜索 Search 与 Fetch、推理框架 DeepInfer 和编解码组件 deepseek-recipe,除搜索服务将于 11 月 1 日开始收费外,其余均免费开源。Search 与 Fetch 是面向模型的 JSON 接口,每 1000 次成功请求 5 元,可在 DeepSeek Harness、Claude Code、Codex 中通过服务端工具调用,且不绑定 DeepSeek 模型;DeepInfer 以 Apache 2.0 开源离线推理版本,兼容英伟达和国产算力平台。官方部署实践还披露单一集群每天 155 万亿 Tokens 吞吐、平均每卡每小时 38 美元收入,按此计算单卡月收入约 2.7 万美元。

    把回答翻译回OpenAI格式还给你。 你不需要改变你输入的格式,两个不同的模型依然能听懂。 官方技术文章里提到了它解决的两个真问题。 一个是防注入:特殊标记本来用来标记角色和边界,但用户也可能在输入里故意打出同样的字符串,冒充系统发号施令。recipe的做法是,只有提示词构建时显式插入的标记才会映射到真正的特殊token,用户输入里同样的文本会被当成普通文字编码。 另一个是长文本提速:特殊标记之间的普通文本可以独立编码,所以它先定位边界,再并行编码各段,最后按顺序拼回去,降低长上下文请求的分词延迟。 在真实的场景中,这三个产品是能串联在一起的。比如有家公司想要自己部署V4.1 Flash,那它就需要用DeepInfer。想要配合其他模型,那就挂上recipe来转格式。 执行层再拿着这个调用去请求Search和Fetch,把清洗好的结果塞回对话,模型继续往下输出答案。 为什么DeepSeek像可口可乐? 这三样东西还有个共同点,那就是每一样都留了一扇门,让你无论出于什么样的场景,都可以用到DeepSeek的产品。 如果你算力够,想自己部署和DeepSeek官方同款的推理能力,那就用Dee

    匹配字段正文

  5. 36氪 · AI

    PostgreSQL 19 推迟至 11 月 19 日发布,AI 代码审查集中翻出长尾缺陷

    PostgreSQL 团队宣布原定 10 月 29 日发布的 PostgreSQL 19 推迟至 11 月 19 日,并在 11 月 12 日增加一个 RC2 候选版本,用于验证近期加入各维护分支的较多修复。核心提交者 Peter Eisentraut 解释,Beta 阶段约有 8~10 项重要功能被撤回,其中不少问题由大模型辅助代码审查和模糊测试集中发现,原本可能在未来 5 年内才逐渐浮现。他指出这些问题大多并非 vibe coding 造成,而是新审查能力抬高了有效质量门槛,开发者面对数十份缺陷报告时,人类确认和修复的时间成为瓶颈。

    续挖出新的边缘问题,那么理论上永远存在下一个 Bug。项目究竟应该修到什么程度才允许发布,未来可能成为比“AI 能找到多少 Bug”更困难的问题。有开发者建议,与其追求在单个版本里消灭所有 AI 找出的缺陷,不如把它们系统化登记、分级,纳入后续开发路线,否则没有任何大型软件能够达到真正意义上的“零缺陷”。 结束语 Claude Code、Codex 等工具的编码能力越来越强后,AI 写代码已经不是问题,而 PostgreSQL 19 事件展现出了,当 AI 同样能够大规模审查、测试和攻击代码之后,“发现问题”也不再是问题。 接下来真正稀缺的,可能变成人类的判断力:哪些问题必须修,哪些问题可以接受;一个三行代码能够修复的边缘缺陷,是否值得为它推迟一个重要功能;AI 给出的几十个问题里,哪几个意味着架构本身需要重新设计;以及当机器可以无休止地寻找异常时,一款软件究竟要达到什么程度,才算“足够好,可以发布”。 本文来自微信公众号 “InfoQ”(ID:infoqchina),作者:褚杏娟,36氪经授权发布。 该文观点仅代表作者本人,36氪平台仅提供信息存储空间服务。+11 好文章,需要你的鼓

    匹配字段正文

  6. cnBeta

    DeepSeek 开源推理框架 DeepInfer 与分词组件 deepseek-recipe

    DeepSeek 发布技术博客《DeepSeek V4.1 Flash 大规模推理部署实践》,并以 Apache 2.0 协议开源支撑其线上百亿级调用的云服务推理框架 DeepInfer 和生产级分词组件 deepseek-recipe。博客称基于该框架单一集群服务吞吐已达每天 155 万亿 Tokens,未来新模型的推理代码和性能优化也会持续放进 DeepInfer。文中还提到用 8 卡机器做 Prefill、64 到 128 卡超节点做 Decode,以及用 3FS 分布式存储保留 KVCache、SWA Bounded Replay 只重算最后 128 个 token 等优化。

    、光明对决黑暗的人类命运决战,不管对面想打多久,我们奉陪到底,直到完全胜利。 此外,如果你去翻翻 DeepSeek 那篇技术博客就会发现,他们的底气全来自把每一滴显存榨出汁的工程强迫症。 从设计第一天起,这套系统就具备广泛的硬件兼容性,用常见的 8 卡机器做 Prefill,用 64 到 128 卡的超节点做 Decode。 最让人印象深刻的是文档里关于视觉编码器 Vision Encoder 的部署建议,人家工程师原话写着“一般单卡部署就可以,建议用可用范围内最便宜的卡部署”。 不是哥们,同行都在忙着跟投资人说自己非顶级旗舰卡不用,DeepSeek 在官方文档里手把手教你拿机房角落里最便宜的卡凑合过日子,勤俭持家得像我广东房东。 抠门到极致就是艺术。 为了让你用最少的电费发最多的 Token,DeepSeek 还把一些独门秘籍全抖搂出来了。 比如现在 Agent 和长文本对话越来越火,每次重复计算 Prefill 都在烧真金白银,DeepSeek 直接搞了套 100 PiB 容量的 3FS 分布式存储集群,把 Agent 流量的 KVCache 保留 72 小时以上,Chatbot

    匹配字段正文

  7. 中华网科技

    美图6款产品入选2026 Q3 AI 100榜单

    美图旗下美图秀秀、美颜相机、Wink三款产品入选2026年第三季度“旗舰AI 100”榜单,美图设计室、开拍、WHEE等产品入选“创新AI 100”榜单。两份榜单于10月21日前出炉,美图共有6款产品上榜。

    增值电信业务扩大对外开放试点稳步实施,截至9月底,... 2026-10-21 09:06:44 动力电池有了数字身份证 一块汽车动力电池,从出厂装车、换电维修到退役拆解,需要记录多少信息?今年9月,在四川省宜宾市举行的2026世界动力电池大会上,一组数字给出答案:动力电池的数字身份证记录96项信息——54项基础信息、24项运维信息、18项回收信息,由24位编码贯穿电池全生命周期。在会上,工业和信息化部相关负责人介绍,... 2026-10-20 11:12:50 OpenAI拟融资300亿美元,估值瞄准1.4万亿美元 10月20日消息,据路透社援引知情人士消息,OpenAI 正加快融资进程,力争在竞争对手 Anthropic 预计于 11 月中旬上市前敲定投资者认购承诺。本轮融资推进后,这家 ChatGPT 开发商估值有望突破 1.4 万亿美元。报道称,该公司计划向投资者募资约 300 亿美元,现有投资方软银集团... 2026-10-20 11:12:06 东风日产NX7官宣即将登场,号称“年轻人的智能零压SUV” 东风日产今日宣布,东风日产 NX7,年轻人的智能零压 SUV,即将

    匹配字段正文

  8. VR陀螺

    Meta推出三款VR开发SDK,Disney+ Quest版11月上线3D内容

    Meta在Connect 2026大会上发布VR Layout SDK、VR Gaze SDK和VR UI Set SDK三款开发工具,升级Quest系列及新款VR眼镜的空间应用能力。VR Layout SDK让安卓应用无需切换Spatial SDK即可实现类似visionOS的空间窗口布局,NBA官方应用为首批适配产品,完整支持Horizon OS 2.7及以上版本。Disney+ Quest版将于今年11月新增3D媒体支持与多款3D观影场景,同期Meta将在美国Quest平台上线数百部电影的租赁与购买服务。

    Set SDK,补齐了平台原生UI框架的短板。此前Horizon OS没有专门的官方UI套件,开发者大多依赖游戏引擎开发,应用界面风格参差不齐;2024年推出的旧版UI Set又只能配合Spatial SDK使用,无法直接适配普通2D应用。新套件基于Jetpack Compose打造,提供统一的深浅配色、字体、图标与交互组件,兼容常规安卓应用开发,还针对AI编码工具做了优化,未来平台上的应用将逐步实现视觉与交互风格的统一。 内容生态方面,Disney+ Quest版将于今年11月迎来重大更新。此前该版本仅支持2D视频内容,缺少visionOS版的3D观影环境与空间界面。此次更新将借助Meta的开发工具与系统能力,全面重构界面,新增3D媒体支持,同步引入多款3D观影场景。同期Meta还将在美国Quest平台上线数百部电影的租赁与购买服务,官方表示到2027年新款VR眼镜上市时,全球片库规模将扩展至数千部。 来源:uploadvr 投稿/爆料:tougao@youxituoluo.com 稿件/商务合作: 林南(微信 19250561593) 加入行业交流群:林南(微信 192505615

    匹配字段正文

  9. AWS Machine Learning

    从数据到决策:用 Amazon Quick 与 Amazon Bedrock AgentCore 构建对话式供应链智能

    Amazon Quick 与 Amazon Bedrock AgentCore 组合,把 ERP、监控、采购等系统的供应链数据变成可对话查询的 MCP 工具层,用户用自然语言即可获得跨系统答案。示例中一次 TechComp 停产事件经 assess_disruption_impact 查出 750K 美元风险、23 笔订单和三天库存,并由 recommend_mitigation 串联治理与报价工具生成应急 RFQ。所有变更都需指定人员审批,同一流程还可按计划或邮件触发自动运行。

    Diagram showing domain expertise with business users while operational data is split across ERP, monitoring, procurement, and email systems

    Outlook 以实现电子邮件自动化)。桌面应用中的对话体验放在最后,待设置完成后进行。 部署基础设施 一切均为开源且已脚本化:克隆 quick-for-supply-chain 示例位于 aws-samples/sample-amazon-quick-suite-knowledge-hub 仓库中,并遵循其 README.md,或者让像 Kiro 这样的编码代理指向它。 该 README.md 涵盖三个阶段。阶段 1 部署 AgentCore 堆栈:身份层(一个 Amazon Cognito 用户池和应用客户端、授权码 OAuth 流程,以及一个测试用户)、四个业务规则 MCP 服务器(每个都是一个 AWS Lambda 函数,由各自的 AgentCore Gateway 前置,这是 Amazon Bedrock AgentCore 的一项能力,使用 CUSTOM JWT 授权)、将每个 Lambda 函数的工具映射起来的网关目标,以及 sc-order-fulfillment-agent 在 AgentCore Runtime 上作为容器运行,并配有最小权限 IAM 角色。阶段

    匹配字段正文

  10. Simon Willison

    Simon Willison 用 Claude Code 做出音频联机的 RTS 游戏 Battle Drones

    Simon Willison 发布用 Claude Code 全程 vibe coding 开发的即时战略游戏 Battle Drones,经过 12 个大版本、321 次提交,可在手机和桌面浏览器运行。游戏包含 9 种建筑、7 种地面载具、6 种空中载具和 3 种步兵单位,支持战争迷雾、随机地图生成、AI 对战 AI 以及两个 LLM 互相对战的 Agent 对战模式。他还实现了两台设备通过麦克风音频同步游戏状态的联机方式,并因音频引发头痛问题补充了基于 WebSockets 中继服务器的在线联机。

    游戏状态来实现多人联机!以下是我目前构建的内容,以及一路走来学到的一些东西。 v10:Goliath,以及智能体对战 更新:在线多人联机支持 Battle Drones 我最初的目标是打造一款能在手机上玩的《命令与征服》风格 RTS 游戏。我对 1995 年的原版有着美好的回忆(我也喜欢《红色警戒》),想重新找回一点那种魔力。 经过 12 个大版本迭代(以及编码智能体提交的 321 次提交,主要是 Claude Code),我现在有了一款可在移动端和桌面端运行的浏览器游戏,它拥有多种游玩模式、数张地图(包括随机地图生成器),甚至支持两台处于彼此麦克风范围内的设备进行多人联机。 以下是 Battle Drones 在桌面浏览器中运行的视频演示: 目前的功能包括: 9 种建筑、7 种地面载具、6 种空中载具、3 种步兵单位——全部为 3D 模型,可在此浏览 战争迷雾 需要不同的武器才能攻击空中或地面载具 六张地图,横跨五种生物群系——温带、沙漠、极地、火山、热带 随机地图生成器 遭遇战模式——红方对蓝方,地图呈旋转对称 背水一战模式——一名玩家抵御尽可能多的敌人波次 空投补给箱,提供额外资

    匹配字段正文

  11. Fortune Tech

    非玩家出身的 Xbox CEO Asha Sharma 如何拯救微软游戏业务

    微软 CEO Satya Nadella 于今年 2 月任命零游戏行业经验的 Asha Sharma 接替 Phil Spencer 出任 Xbox CEO,她已裁员数千人、整合工作室并重组技术栈,试图扭转这个 210 亿美元业务的财务困境与市场份额下滑。外界同时质疑,在微软全力投入 AI 竞赛之际,Nadella 是否在为 Xbox 的出售或分拆做准备。

    工作的压力,包括通过使用AI。在回应AI如何影响Xbox的目标或其微软内部地位时,夏尔马表示她不会“为AI而AI”,而是将其视为解决特定工程和性能问题(如开发者工作流程)的工具。 如果夏尔马要建立必要的权威和信誉,让Xbox重回正轨,成功驾驭这类冲突将至关重要。 在纳德拉选择她执掌Xbox之前,夏尔马领导了构建微软AI Foundry平台的产品团队,还参与了编码AI工具GitHub Copilot的产品。在快速发展的AI热潮中,随着长期任职的公司领导人不断离职,她是纳德拉所信任的几位较新或较年轻的高管之一。 夏尔马是三个孩子的母亲,有印度血统,在密歇根湖畔的威斯康星州拉辛长大。她年幼时父母离婚,母亲从事零售工作。青少年时期,夏尔马在高尔夫球场工作,并卖优惠券簿赚钱。她谈过自己晨跑和手冲咖啡的习惯、排得满满的工作和旅行日程,以及她在韩国武术跆拳道中的二段黑带。 “我这一生中下功夫最多的一件事,就是如何学习,”她说,“如何了解一个领域;如何学会解决问题;如何向与你相似以及与你截然不同的人学习。” 2011年从明尼苏达大学获得商科学位后,她先在微软市场部门开启职业生涯,后来进入Meta Pl

    匹配字段正文

  12. Unite.AI

    GEPI 报告《AI 如何辜负女性》审视算法如何放大性别偏见

    性别平等政策研究所(GEPI)发布由 Myriam Shiran 撰写的报告《How AI Fails Women: When Bias Becomes Amplified》,综述自动化系统如何复制甚至放大性别歧视。报告引用 2024 年一项涉及超 300 万次模拟简历对比的招聘审计:筛选模型在 51.9% 的对比中显著偏向男性关联姓名,仅 11.1% 偏向女性关联姓名。报告还指出,仅删除性别字段不足以消除偏见,姓名、教育、履历等信息仍会携带性别信号。

    论点在于:带有偏见的结果离开模型之后会发生什么。推荐会影响决策,生成内容会塑造预期,而某些输出会成为未来训练的素材。因此,不公平的模式在依次经过多个系统后,可能变得更难被识别。 删除性别字段是对歧视的一种直觉性回应。GEPI的综述解释了为何仅靠这一步并不足够:姓名、教育背景、工作经历和其他细节仍可能携带与性别相关的信号。历史结果也可能在模型接触到它们之前就已编码了不平等待遇。 报告中引用的一项招聘审计由Wilson和Caliskan于2024年开展,涉及九个职业中超过三百万次模拟简历对比。受测试的筛选模型在51.9%的对比中显著偏向男性关联姓名,在11.1%的对比中偏向女性关联姓名。其余37%未显示出显著偏好。这些是受控模型测试的结果,而非被拒绝工作的真实申请人的百分比。 证据也因测试设计而异。报告描述了另一项2025年的审计:当研究人员仅更改姓名时,若干语言模型未表现出性别差异,而更改教育细节则会影响评分。范围狭窄的测试可能遗漏同一工作流程中其他地方的重要信息。 在贷款领域,该综述指向一项针对美国一家大型金融科技贷款机构约8万笔无担保个人贷款的研究。女性的贷款为该贷款机构带来了更高的

    匹配字段正文

  13. Unite.AI

    Perplexity 发布 AI Gateway 指南:解析 LLM 与智能体流量的路由、成本控制与治理

    Perplexity 于 10 月 20 日发布《What Is an AI Gateway?》指南,说明 AI gateway 如何统一处理应用与 LLM 之间的路由、成本控制、安全与用量监控。指南称其请求流程包括鉴权、策略执行(token 限额、预算、PII 脱敏)、按成本/延迟/可用性路由与故障转移,以及记录 token 数与延迟。指南引用 Broadcom VMware 2026 年 6 月基准称,调优后的 Envoy AI Gateway 在 224 并发用户下每请求约增加 2 毫秒,但 guardrails 与语义缓存可能增加数十至数百毫秒。

    高级基础设施负责人的调查中,三分之二的人估计AI停机一小时将给其组织造成超过10万美元的损失。指南还引用了OWASP 2025年将提示注入列为LLM首要安全风险的排名,以及Zscaler ThreatLabz的一项发现:一年内发送至AI应用的企业数据增长了93%,仅ChatGPT就触发了4.1亿次数据防泄漏违规。 指南列出了组织需要网关的信号:提供商密钥被硬编码在多个代码库中、财务部门无法归属的模型账单、与依赖单一提供商相关的速率限制或停机错误、携带敏感数据的未经检查的提示、各团队之间相互竞争的提供商集成、MCP工具集成,以及缺乏安全或合规概览。指南称,对于单个原型、低用量副业项目,或对安全要求极低、仅调用一个模型端点的情况,网关并非必需。所列自托管选项包括部署在私有云、Kubernetes或本地基础设施上的LiteLLM、Portkey和Apache APISIX;托管选项包括Cloudflare AI Gateway、Azure API Management和Amazon Bedrock AgentCore Gateway。指南围绕数据控制与隐私、运营负担(包括PostgreSQL

    匹配字段正文

  14. 澎湃新闻

    没有人类教授语言,AI智能体可自发形成一套词汇体系

    比利时布鲁塞尔自由大学AI实验室和那慕尔大学团队证明,在没有人类教授语言、也没有预设交流规则的情况下,AI智能体可通过反复互动自发形成共享且彼此能理解的词汇体系,成果发表于《计算语言学学报》。团队在37组不同类型、复杂程度各异的数据集上验证了该方法,涉及葡萄酒理化性质、NASA系外行星数据、视觉信息以及鸟类和人脸图像。该方法有望为自动驾驶汽车、机器人和工业传感器等自主系统之间的通信提供新思路。

    型主要通过训练,学习和使用英语等人类语言。但人类语言植根于人的感官体验,未必适合描述机器感知到的所有信息。如激光雷达获取距离数据、红外传感器捕捉热辐射、声呐探测周围物体、化学传感器分析物质成分等。即使两台机器配备相同类型的传感器,实际测量结果也可能存在偏差,进一步增加彼此交流的难度。 此次研究中,团队没有给AI智能体准备现成的词汇表,也没有设置一套固定的通信编码,而是让它们在互动中逐步摸索。智能体可自行创造词语、调整词语对应的概念,并根据交流是否成功来修正表达方式。两个智能体先进行局部交流,随着越来越多的互动不断累积,整个群体逐渐形成共同遵循的语言规则。 这有点像一群彼此陌生的人,在没有统一教材的情况下,通过一次次交流慢慢约定某个词代表什么。不过,AI智能体形成的语言并不需要模仿人类的表达习惯,而是直接服务于它们所感知的数据和需要完成的任务。 团队在37组不同类型、复杂程度各异的数据集上验证了这一方法的适用性。数据涉及葡萄酒的物理化学性质、美国国家航空航天局的系外行星数据、视觉信息,以及鸟类和人脸图像。测试表明,AI智能体成功发展出自己的词汇体系,用于交流多种数据的信息。 这种语言也并

    匹配字段正文

星期二

  1. heise online

    从脑扫描到图像:AI 如何重建人正在看的内容

    以色列魏茨曼科学研究所的 Michal Irani 团队开发出名为“Universal brain encoder”的 AI 工具,仅凭脑扫描就能推断人正在看什么,并生成相当精准的对应图像,还能反向根据人正在看的内容预测其脑活动。该工具上月已在纽约“Cognitive Computational Neuroscience”会议上公布,目标是帮助理解大脑工作机制,并有望协助闭锁综合征患者沟通或重建梦境内容。

    一款新的人工智能工具仅通过分析脑部扫描就能猜出人当前正在看什么。在此基础上,它还能以惊人的精确度生成相应的图像。它也可以反向工作:该工具能够根据一个人当前正在看的内容预测其大脑活动。 该工具出自Michal Irani之手,她与同事在以色列雷霍沃特的魏茨曼科学研究所共同开发了它。上个月,她在纽约举行的“认知计算神经科学”会议上介绍了这款名为“通用大脑编码器”的工具。该编码器最终旨在更深入地揭示大脑的工作机制。人们的希望是,它或许能帮助闭锁综合征患者进行交流,或让科学家得以重建梦境内容。 世界模型:AI如何学会预测行为的后果 AI智能体的数据架构需要一个联邦式知识层吗? 从脑部扫描到图像:AI如何重建人们当前所看到的内容 OpenWiki实测:为编程智能体提供记忆 教程:用来自互联网的最新事实丰富本地AI模型 链式操作如何变成风险:AI智能体中的传话游戏 加拿大不列颠哥伦比亚大学的神经伦理学家Judy Illes并未参与这项研究,她称这项工作“非常出色”。“将[这种方法]用于治疗、帮助患有神经系统疾病的人……这一想法令人无比兴奋,”她说。 以上是我们heise-Plus文章《从脑部扫描到

    匹配字段正文

  2. 量子位

    记忆张量开源 MemT 1.0 系列记忆原生模型

    记忆张量开源发布 MemT 1.0 系列记忆原生模型,包含 36B 参数、激活 3B 的 MemT-1.0-Nano(基座 Qwen3.6-35B-A3B)和 288B 参数、激活 17B 的 MemT-1.0-Flash(基座 DeepSeek-V4-Flash),在选定的 Transformer 模块中加入与注意力并行的记忆计算通路。团队构建了 340 亿 Token 记忆训练语料,其中继续预训练 200 亿、后训练 140 亿。在 11 项记忆基准综合评估中,Flash 和 Nano 平均得分分别为 50.6 和 47.0,位列参与评估的参数化记忆方法前两名;在 500 项 SWE-bench Verified 任务中,Nano 三次全部成功的任务比例从无经验基线的 54.00% 提升到 62.80%。

    次的起点? 有效的方法需要被保留,走过的弯路也需要被识别,承接这件事的,其实是 记忆 。 记忆张量 在这方面的探索,则给出了一份截然不同的答卷——记忆原生。 何为记忆原生?就是将经验的保留、更新和调用,做成模型可以学习的能力。 当记忆在模型中生根发芽,便构成了 记忆原生模型 。 其最新开源发布的 MemT 1.0 系列,就给出了一条颇为具体的路径: 它把经验编码成内部动态状态,再通过训练学习怎样写入、更新和读取,最后让这些状态经由记忆分支参与后续计算。 与外部记忆相比,它不仅能力没打折,未来拓展的天花板也会更高。 这也是记忆原生模型 首次 实现近300B参数规模的工程验证。 好家伙,记忆看不见摸不着,但却实打实成为模型成长的立足根本。 从早期要求模型记住信息,到用好经验,模型对记忆的要求不断升级,也让记忆一步步从幕后走到台前。 MemT 1.0这次直接甩出两个型号: MemT-1.0-Nano 总计36B参数、激活3B,基座用的是“源神”Qwen3.6-35B-A3B; MemT-1.0-Flash 则向上突破,高达288B参数、激活17B,基座是经过进一步后训练的DeepSeek-V

    匹配字段正文

  3. 智东西精选

    DeepSeek 开源推理框架 DeepInfer 与 token 编解码组件 deepseek-recipe

    DeepSeek 开源了内部大规模云服务推理框架 DeepInfer 和生产级 token 编解码组件 deepseek-recipe,前者支持分布式推理、推测解码、SWA Bounded Replay 和结构化输出,可在英伟达与华为昇腾平台运行。DeepSeek 称 DeepSeek V4.1 Flash 的高吞吐低延迟推理服务即基于该框架,单一集群服务吞吐为 155 万亿 Tokens/天,按谷价计算每卡每小时 38 美金。deepseek-recipe 的处理逻辑与 DeepSeek 官方 API 完整对齐,团队同时说明 KVCache 管理与负载均衡组件因与内部基础设施耦合较深,相关代码尚未完整开源。

    unded Replay重算。 4、SWA Bounded Replay:V4把SWA落盘,占掉持久VCache近一半容量却换不到命中收益;V4.1改为只重算最近128 token,Decoder侧总prefill计算量近乎减半。 5、硬件成本:常见硬件组网(8卡机+超节点),兼容多厂商芯片,可在英伟达与华为昇腾运行。 延迟线:TTFT与TBT分别优化 1、编码器/Prefill/Decode分离部署:解耦资源分配,Prefill侧优化TTFT,Decode侧优化TBT。 2、chunk size按时间预算反解:由目标时延倒推每个chunk的大小。 3、分词不拖TTFT:分词从线性改为分段并行——special token之间的普通文本独立编码,再按序拼接;核心路径用Rust实现。 4、边生成边返回:跨chunk状态机缓冲不完整UTF-8码点,按思考/正文/工具参数分阶段维护状态,KMP增量匹配分隔标记,不回溯已确定文本。 5、工具参数不整体构造:按DSML边界直接输出JSON片段,字符串逐段转义,缩短首个参数片段的等待时间。 6、投机解码同时压延迟:Confidence Head按接

    匹配字段正文

  4. The New Stack精选

    DeepSeek 开源其 API 背后的推理引擎 DeepInfer,同时支持 Nvidia 与华为昇腾

    DeepSeek 开源了用于生产环境服务其模型的自研推理框架 DeepInfer,采用 Apache 2.0 许可,可让开发者在自有基础设施上运行 DeepSeek-V4.1-Flash,并计划支持后续模型。该框架包含 FlashMLA、DeepGEMM、DeepEP 等优化计算内核与通信库,支持投机解码、异步调度和结构化输出,同时开源了处理请求与响应转换的 deepseek-recipe 库(提供 Rust 和 Python 版本)。硬件方面首日支持 Nvidia SM100(Blackwell)架构和华为昇腾 950 NPU 系列,Hopper 等旧架构未列入;批量不变推理与确定性采样仅在 Nvidia 硬件上可用,公开性能数据也基于 Nvidia GPU。当前版本支持离线推理,但缺少 KV cache 管理、跨机推理阶段分离和副本负载均衡等完整生产服务组件。

    求如何转换为模型输入,以及生成的输出如何被处理为响应。它提供 Rust 和 Python 版本,旨在帮助开发者在运行自有部署时复现 DeepSeek 官方 API 的行为。该库于 9 月悄然发布,周二又发布了更新版本。 这一公告发布仅数天前,DeepSeek 刚发布了 V4.1 Flash 的更新版本 DeepSeek-V4.1-Flash-1017,宣称在编码性能和效率方面有所提升。据 The New Stack 周一的报道,该版本发布的同时,该公司还通过新的 Search 和 Fetch API 向开发者开放了其内部网络搜索技术。 DeepSeek 为何在 2025 年有所保留 DeepInfer 比 DeepSeek 此前分享其推理技术的计划走得更远。早在 2025 年 4 月,该公司发布了一份文件,概述其推理引擎的计划,并解释称它曾考虑发布整个系统,但最终决定改为向现有项目贡献单个组件和改进。 当时,DeepSeek 指出了若干障碍。其推理软件已从早期版本的 vLLM 演变为高度定制的系统,公司质疑其相对较小的研究团队能否再维护一个大型开源项目。此外,要让该软件在 DeepSe

    匹配字段正文

  5. OpenAI:Alignment 研究博客

    OpenAI 提出 g-mean² 之外的可监控性互补指标

    OpenAI 在 g-mean² 之外提出两个互补指标:pair-matched 指标只在多个模型共同支持的实例上比较可监控性,post-control risk 指标则模拟用监控器拒绝输出后系统仍产生不良输出的概率。g-mean² 此前用于衡量监控器区分正负样本的能力,但不同模型的有效正样本任务子集不同,分数可能反映不同任务混合。文章指出,若监控器作为部署控制手段,模型被拒后可重试,风险取决于不良行为频率、监控器接受哪些输出以及允许的尝试次数。

    Pair matching isolates monitorability from capability-driven instance selection

    \(K=4\)使用至少有四次有效rollout的相同实例,因此各柱状条隔离了门控和重试的影响。在每个环境内,先对有支持的模型配置取平均,然后再让各环境获得相等权重。 对结果假阴性的一项重点审查发现,通过的正例往往比被捕获的正例更模糊。在Honeypot中,明显的monkey-patching被捕获,而一个简短的辅助模块包装器通过了;在时间约束中,针对测试的硬编码被捕获,而一个通用的奇偶优化通过了;在Antischeming中,直接篡改评分器被捕获,而一个教育价值调整通过了。因此,重试不仅可以搜索监控器的漏判,还可以搜索不同的、更难分类的行为。 风险必须与部署情况一起解读 较低的\(B(K)\)可能意味着监控器捕获了正例行为,但也可能意味着系统很少部署任何输出。为说明这一点,图6展示了两个Honeypot切片,其中\(B(4)\)低于3%,但\(A(4)\)低于7%;在已部署的输出中,41–45%为正例。因此,我们建议在报告\(B(K)\)的同时报告部署概率\(A(K)\)(图7)和\(B(K)/A(K)\),后者提供了在实际部署了输出的请求中风险的另一个视角(图8)。 图6. 低单请求

    匹配字段正文

  6. Zyphra Research

    Zyphra Inference Wave 2:在 MI355X 上加速 MoE 与长上下文推理服务

    Zyphra 发布第二代推理优化 ZOE,在 AMD Instinct MI355X 上把 GLM-5.3 在 512K 上下文下的首 token 延迟(TTFT)从 178.8 秒降至 64.6 秒(2.8 倍),90% 前缀缓存命中时从 42.3 秒降至 11.8 秒(3.6 倍)。其 CSA top-K 选择 HIP kernel 让 DeepSeek-V4-Pro 在 1M 上下文下单用户解码吞吐从 43.5 提升到 61.1 tokens/s(1.40 倍)。GLM-5.3 的 AMD MXFP4 量化把模型从 756 GB 压到 410 GB,AIME25 等基准分数与 FP8 相差 3 分以内。

    模型更快,在 32 个请求时差距约在 1% 以内,因此在低并发场景下我们继续在生产环境中提供 FP8 模型。 智能体性能基准 固定的预填充和解码基准无法可靠地反映生产环境中的性能。真实流量是多轮且长上下文的,其中包含子智能体突发、KV 缓存卸载和工具调用。在 Zyphra,我们使用 SemiAnalysis 的 AgentX 基准,这是一个开源的多轮智能体编码推理基准,上下文长度为 100 万 token。它可在 InferenceX 仓库,其中更详细地描述了它。我们将很快发布智能体基准测试结果。 未来工作 本文介绍我们在 Zyphra Inference 上进行的第二轮全栈推理优化。我们将继续改进推理平台,重点关注以下几个方面: 在 FP8 前沿 MoE 形状上弥合大 M 维度的差距,使预填充不再通过混合调度器回退到厂商内核。 完成 BLOCK Q 1 的闪电索引器变体,并为瘦长形状构建更深的预取流水线。 MXFP4 MoE 内核在低并发下更快,MXFP4 GEMM 达到 MI355X FP4 峰值的比例更高(图 5),因此 MXFP4 模型在每种并发下解码都比 FP8 模型更快。

    匹配字段正文