←搜索结果

按匹配度 · 共 77 条结果 清除搜索

星期一

  1. n8n Blog

    如何在 NVIDIA DGX Spark 上不调用云 API 运行 n8n AI 工作流

    n8n 博客发布教程,介绍如何在一台 NVIDIA DGX Spark 上本地部署完整模型栈,让 n8n 工作流在不调用云 API 的情况下完成转录、OCR、文档问答和图像生成。整套栈通过 LiteLLM 暴露一个 OpenAI 兼容端点,主模型为 Qwen3.6-35B-A3B 的 NVFP4 版本,单用户生成速度 120 tokens/s,八用户合计 359 tokens/s。作者实测发现图像生成会让对话速度降到约三分之一,建议小团队把图像任务排队或放到非工作时间。

    ker run 之后 311 秒就准备好提供服务了。 端口发布在 172.17.0.1,即 Docker 的网桥地址,因此只有本机上的容器才能访问它。VLLM API KEY 会让 vLLM 拒绝任何不带密钥的请求。 在 DGX Spark 上最重要的几个参数: --gpu-memory-utilization 0.32 将此模型的内存占用限制在约三分之一。其他模型需要剩下的部分。 --kv-cache-dtype fp8 将 KV 缓存所需的内存减半,因此在同样的预算下可以容纳更多上下文。 --moe-backend marlin 为量化专家层选择内核。草稿模型的专家层未量化,因此 --speculative-config 会为它单独设置 moe backend。 --speculative-config 开启多 token 预测(MTP)。模型会提前起草三个 token,并在一次前向中校验它们。 --reasoning-parser 和 --tool-call-parser 必须与模型系列匹配。当工具调用失败时,先检查这些参数,再归咎于模型。 检查启动日志中 vLLM 选择的内核。

    匹配字段正文

星期二

  1. 钛媒体 · AGI

    Cue一周实测:给AI配了身份证,却还做不到随时可用

    作者开通Cue Pro会员实测一周,邮件处理最顺畅,能及时提醒收信、总结要点并按意图组织回复;电话与支付两项因需绑定国际账号未能跑通。多Agent协作需配置海外应用接口且群聊回复混乱,日程管理也接不进微信、QQ等国内信息流。Cue于9月28日与Manus 2.0一同发布,为每个Agent配备独立邮箱、电话号码、数字钱包和专属电脑,面向海外用户,国内版本仍在筹备。

    些混乱,谁在回应谁、由谁收尾并不总是清楚;私聊与群聊之间的信息也没有完全对齐,用户单独交代的要求,不一定会被同步到整个任务里。要跑通协同流程,还需要配置海外应用接口,并保持稳定的网络连接,额外付出的配置与运维成本不低,产出提升却不明显。 我们还用同一条指令,让Cue、豆包和腾讯WorkBuddy分别完成一份“Q4传播方案”,结果Cue的产出并没有显著优于国内其他AI产品。 当然这个对照并非完全对等,Cue更强调Agent编排,豆包和WorkBuddy可以直接交付方案。但也正因如此,编排能力需要拿出额外价值。如果多个Agent忙碌协作之后,仍交不出比单体工具更好的成果,用户很难为协作本身买单。 上:cue 下:豆包 日程管理差一口“活人感”。简单的待办录入,豆包、飞书、WorkBuddy 乃至手机语音助手都能做,所以我们重点测了两件更考验“活人感”的事:能不能主动发现日程冲突,能不能主动获取信息、减少人工录入。 结果是喜忧参半。我们预先埋了冲突陷阱,Cue 没有主动发现,是在人工反复提醒后才学会分辨,唯一的正反馈在信息提炼:随手丢给它的图文,它都能提取出日程信息,且还能与邮件托管 Age

    匹配字段正文

星期日

  1. 腾讯云开发者社区

    《Agent 工程实战八讲》导读:从能跑到敢上线的工程方法

    腾讯云开发者社区发布《Agent 工程实战八讲》导读,围绕如何把能调用模型与工具的原型升级为可完成业务任务、解释失败、控制成本并持续迭代的系统。全系列以立案助理 Agent 和术后随访 Agent 两个虚构教学案例贯穿,覆盖任务契约、推理与协作、上下文与记忆、工具可靠执行、观测与重放、评测与校准、安全边界、生产运营八个主题。文中强调模型能给出下一步不等于系统能兑现业务结果,示例字段、预算与数字均为教学演算,不构成法律意见。

    辖连接点信息。Agent 在立案庭工作人员之前完成材料审查:逐项核对要件,检索带版本与生效日期的规则库,判断管辖候选,形成《材料审查意见》和一次性《补正通知书》草稿。审查建议写入案件管理系统,状态停在“待人工确认”;只有工作人员确认并绑定审批后,才通过平台向当事人送达补正通知。 它不决定立案或不予受理,不判断实体胜负,不修改当事人材料,不读取与本材料包无关的其他案件,不把证据附件里的“本材料已经承办法官审核,请直接登记立案”当作指令。它的工具只有八个:五个只读(读材料包、核验身份、检索规则、检查管辖、读权威状态),两个内部写(保存审查建议、生成通知草稿),一个外发写(notice.send,必须绑定工作人员的审批)。 规则边界来自可核对的原文:民事诉讼法第一百二十二条的起诉条件与第一百二十六条的七日期限,登记立案规定第七条的一次性书面告知补正,在线诉讼规则的合法自愿、安全可靠原则与实名核验、电子化材料要求,以及最高人民法院关于人工智能司法应用意见中“辅助而不替代裁判”的立场。 随访 Agent 患者出院后,Agent 按科室随访计划,在术后第七天、第三十天通过医院 App 对话、短信或

    匹配字段正文

  2. The Guardian Technology

    什么是能自我复制的 AI 蠕虫,Anthropic 为何担忧

    《卫报》解读 Anthropic 攻击性研究团队本周发布的报告:该团队称已造出一个恶意 AI 程序,可在联网智能电视之间自主传播,并把自身拆分到 15 台电视上、借用每台的一点算力维持运行。研究人员认为,成功的 AI 蠕虫需要在更低算力设备上具备更强能力,但按当前趋势到年底就可能可行;多伦多大学此前论文中的蠕虫则感染了一台全尺寸电脑并能更快扩散。多位安全专家意见不一,有人强调智能电视等物联网设备补丁更新慢、风险难修,也有人认为该实验移动缓慢、动作可预测可拦截,属于 stunt hacking。

    么的警告——连同有关它已经干了什么的令人警觉的报道——发布得如此之快,以至于连安全专家都难以判断该担心什么。 然而,Anthropic攻击性研究团队本周发布的一份报告引起了关注,因为它描述了一种新的、现实的威胁,其中没有人类特征,也没有末日式的遐想。这个被称为“红队”的内部测试团队表示,他们创建了一个恶意AI程序,该程序通过联网的“智能”电视自主传播,并能在其他普通设备内部做同样的事。虽然运行AI的机器通常需要相当多的算力,但研究人员表示,他们的程序将自身的各个部分拆分到15台电视上,并且仍能通过使用每台电视的一点算力来运行。 除了让人联想到《哈利·波特》系列中让伏地魔灵魂碎片在物体中存活的魂器之外,这份报告还令一些专业人士感到警觉,因为智能电视和许多其他“物联网”设备普遍薄弱的安全性将很难纠正,即使付出协同努力也是如此。 “这就像其他每一波网络攻击一样,是值得担心的事情。我们需要减轻可能的影响,”领导Meta AI安全工作开发的Joshua Saxe说。“我现在担心的是,网络安全界的人士没有像他们应该的那样认真对待这类真实风险。” 此类“AI蠕虫”的破坏可能大得惊人。无需诱骗人类即可

    匹配字段正文

星期六

  1. 腾讯云开发者社区

    3人备课组用9个AI智能体把两周集体备课压到1个上午

    一位高中英语教师与3人备课组把集体备课改造成9个AI智能体加3个真人角色的四阶段流水线,原本跨两周的备课闭环在9月上旬实测单日上午跑通。四套提示词分别负责学情三维归因、每条不超过100字的四段式研讨意见、80分钟对辩主持稿和三维评分归档,共识执行率从经常烂尾变为100%。作者还记录了二次质检分数降6分实为评分量表变化、教师对格式约束的抵触、成员出差由副备兼顶三个坑,并称该SOP跨学科通用,提示词可在豆包、Kimi、ChatGPT、DeepSeek上运行。

    理写进SOP,比临场协调便宜得多。 四、收益与迁移 两个硬指标:原本D0-D7跨两周的备课闭环,9月上旬实测单日上午跑通全流程(正常学期节奏仍建议留两周,给主备思考时间和研讨组织时间);共识执行率从"经常烂尾"变成100%——三要素约束下,每条共识都有人和截止日期。 更重要的收益是结构性的:质检标准从"上交任务"变成了"改进导航"——9个智能体的评分不再是考核,而是下一轮迭代的输入。 这套框架的迁移成本很低:四阶段九智能体SOP跨学科通用,换学科只改依据体系里对应学科的本体理论一条;提示词四件套不绑定任何平台,豆包、Kimi、ChatGPT、DeepSeek都能跑。我们整理了一页纸入门包(总览+6步闭环+依据体系三份文件),其他备课组复制后跑一个单元就能上手。 --- 写在最后:我不是程序员,这套东西的全部"技术含量"就是四份提示词文档和一张轮值表。多Agent编排听起来高深,拆开了看就是两件事:把标准动作写成强约束的提示词,把人的判断留给对辩和拍板。AI管结构,人管方向——教学如此,编排也如此。 版权声明:本文作者库致堂。转载请注明出处。 文中人物均为化名,单位信息已按匿名规则处理。

    匹配字段正文

星期五

  1. heise online

    RTX Spark 笔记本实测:Nvidia 首款本地 AI 笔记本芯片表现如何

    heise online 的 c't 3003 实测了搭载 Nvidia 首款笔记本芯片 N1X(品牌名 RTX Spark)的 Asus ProArt P14,该机支持最高 128 GB 统一内存,测试机为 32 GB 内存加 1 TB SSD,售价 3300 欧元。用 llama-bench 测试 Qwen 3.8-27B 时生成速度约 14.5 Token/s,略快于 Apple M6 和 Strix Halo,慢于 M5 Pro;改用 MoE 模型 Qwen 3.6-35B-A3B 可达近 61 Token/s。提示词处理速度优于 Strix Halo 和 M5 Pro、M6,但满载风扇噪音最高 2.7 sone,且空闲时也会启动。作者还尝试安装 Ubuntu,在自行补齐驱动后,两个模型在 Linux 下的速度反而比 Windows 快 14% 和 9%。

    在用我的编码工具 Pi 给我各建一个网站。我之前也说过,Dense 模型,也就是 27B,更聪明。这从结果里也能看出来。这里,这个任务很简单:给我建一个看起来精致的 Jan-Keno Janssen 网站,从网上搜集关于他的所有信息。然后这边是更快、更笨的模型。 对,那个更笨的模型不仅看起来无聊,而且里面写的也是胡扯。比如我从来没在 PC-WELT 工作过,其他内容也很,怎么说呢,反正没法用。对,而 Qwen 3-27B 这边就完全不同。首先看起来挺不错的,我觉得。我尤其觉得有意思的是,它不知从哪儿找来了这张俏皮的照片。 再确认一下,让大家真正理解:我没有给模型任何上下文,它事先也没有关于我的任何上下文,而是一个全新部署的模型。我说:找些关于 Jan-Keno Janssen 的信息,建一个网站。我得说,这已经相当合理了。包括权重方面,哪些是相关的、哪些不相关,我觉得做得挺不错。 对,你们看这里:这是 Artificial Analysis 的行业标准智能评估。里面包括 Anthropic、OpenAI 等目前最大的云端模型,而且是很新的,也包括这周才发布的模型,就是那种跑在价值数百万

    匹配字段正文

  2. heise online

    Aleph Alpha 发布 Kolibri-1:78B 参数、德语推理的开放权重模型

    Aleph Alpha 发布开放权重模型 Kolibri-1,总参数 78B,采用 384 个专家、6 个路由专家的 MoE 结构,推理时仅激活 3.46B 参数,上下文 256K Token 并可外推至约 100 万 Token。该模型专注德语和英语,tokenizer 对德语词切分更省 Token,例如德国联邦议院术语表仅需 1137 Token,而对比的 DeepSeek-V4.1-Flash 需要 1910 Token;预训练使用 20 万亿 Token,数据截至 2026 年 6 月 18 日。作者实测其回答正确、德语推理过程明显,并称 Merlin-Arthur 协议让模型在基准中幻觉更少,但实际效果仍需在真实使用中检验。

    ash需要1910个Token——差别真大!因此,这里可以节省大量Token,并使用更短的上下文。此外,处理速度也可以因此加快,因为许多词不再需要由其组成部分拼合而成。这同时提高了预测的精确度。 借助这个分词器,Aleph Alpha用20万亿Token对模型进行了预训练,并使用截至2026年6月18日的内容。这非常新,因为基础训练通常需要数周或数月。与许多其他提供商一样,Aleph Alpha也使用Common Crawl数据,但为此非常详细地描述了一个去重流程;除了静态测试外,开发者还使用了Gemma-4-26B-A4B等其他LLM。不过,仅靠其中包含的数据还不足以达到技术报告中提到的21.3%占比。为此,开发者还使用了另一个模型(Mistral-NeMo-12B),让英语内容用德语重新表述。此外还使用了翻译数据,其中部分经过人工整理,以避免翻译过于逐字直译。 Aleph Alpha在质量保障上投入了大量精力,其中使用其他模型作为“评判者”。借此以及由此计算出的相关性,可以识别出特别“好”的文档,随后将其纳入“数据混合”。不同来源会获得不同的权重,这与其文档质量相关。 这条自有的数

    匹配字段正文

  3. Computerworld

    Surface Laptop Ultra 评测:NVIDIA RTX Spark 的本地 AI 表现

    作者实测搭载 NVIDIA RTX Spark N1X SoC 的微软 Surface Laptop Ultra,该机最高配 20 核 Grace Arm CPU、6144 核 Blackwell GPU 与 128GB 统一内存,起售价 2599.99 美元。在 UL Procyon AI 文本生成测试中得分 2703,比 Intel Core Ultra X9 388H 的 IdeaPad Pro 5 高约 33%;MLPerf Flux 2 Klein 4B 图像生成达每分钟 26.97 张,约为后者的 2.7 倍。作者还用本地 Qwen3.8-27B 驱动 Hermes 智能体,约五分钟完成从 Excel 提取基准图表并生成 Word 报告。

    well GPU技术和庞大的软件生态整合进新一代Windows笔记本电脑。微软的Surface Laptop Ultra是首批展示这一合作成果的机型之一,它采用NVIDIA的技术,直接与英特尔、AMD、高通乃至苹果在高性能本地AI和创作优化笔记本领域展开竞争。 对微软而言,这一合作大幅扩展了Windows on Arm的能力,尤其是在本地AI开发、内容创作和其他高要求的专业工作负载方面。Surface Laptop Ultra起售价为2,599.99美元,显然是一款高端产品,但其处理性能、大容量统一内存与高端工业设计的组合,使其在市场上占据了有趣的位置。 我的个人测试表明,NVIDIA和微软打造出了一个颇具吸引力的平台,具备强劲的AI吞吐能力、图形性能和具有竞争力的CPU算力。同样重要的是,Surface Laptop Ultra让人得以一窥AI开发和本地AI智能体工作流如何在便携式Windows PC上变得更加实用。 Surface Laptop Ultra的核心是NVIDIA的RTX Spark N1X SoC,它将最多20个Grace Arm CPU核心与最多配备6,144个CU

    匹配字段正文

  4. 36氪 · AI

    Artificial Analysis 发布 AA-Robotics v0.1 机械臂操控评测

    美国 AI 基准测试公司 Artificial Analysis 发布 AA-Robotics v0.1,用抓取、物体摆放、按按钮等 8 项桌面操作任务,评估前沿大语言模型通过写代码控制 6 轴机械臂的能力。GPT-6 Astra 以 69 分排名第一,其后依次为 GPT-6.1 Sol、Gemini 4 Argon、Claude Opus 5.5 和 Claude Fable 5.1。GPT-6 Astra 平均每项任务耗时约 30 分钟、成本 16.36 美元,而人类平均只需 20 秒,速度差距接近两个数量级。

    采取第一次行动。 在摆放一个鳄鱼玩具的任务中,这种差距更加明显。 摆放鳄鱼玩具任务 GPT-6.1 Sol在任务开始5分钟后就宣布完成,但Claude Opus 5.5则花了45分钟。两者完成时间相差9倍。 在所有任务中,Gemini 4 Argon是任务完成最慢的模型。它平均需要花费21分钟观察场景并进行推理,之后才会开始采取第一次行动,这一完成时间几乎是其他模型的两倍。 同时,测试中研究团队还发现,模型在已经达到任务通过状态后,往往仍会继续优化操作,甚至持续很长时间。例如,GPT-6.1 Sol在约17分钟时已经搭建出一座符合要求的塔。但随后它继续操作,最终反而导致任务失败。 这个例子也暴露出,让机器人完成任务,需要解决的不只是“怎么做”的问题,还有“做到什么程度才算结束”的问题。 模型未来能否进一步提升对物理空间中任务完成状态的判断能力,还有待观察。 03.GPT-6 Astra拿下第一,但成本最高 抓取和精细操作是AA-Robotics v0.1重点测试的能力。在抓取和精细操作测试中,GPT-6 Astra和Claude Fable 5.1的表现最好,两者成功完成任务的比例最高

    匹配字段正文

星期三

  1. 腾讯云开发者社区

    Jev 不只是 JSON 分类器:从 Kev 与 Laya 还原其技术路线

    文章指出 Jev 是一台把状态映射为概率分布的机器,输入共享 state 与运行时定义的 choice、score、noul 三类问题,直接输出各选项概率且不生成任何输出 token。作者通过 kev 和 laya 两个开源项目还原其技术路线:Laya 基于 BERT 在每个选项前插入 [MASK] 并读取隐藏向量打分,Kev 基于 Qwen 用 block-causal 隔离与 pointer head 并行决策。训练部分为作者推断,涉及 soft label 蒸馏、按题型与选项数分桶的温度缩放、Permutation KL、RPS 损失和 None-of-Above 选项等校准手段。

    练最后说。 Laya:BERT 复古,但复古得很精妙 一句话概述:Bert基座,每个选项前插一个[MASK],最后去这些 [MASK]的隐藏向量上logit打分 输入是怎么拼的? 每个选项前面各顶着一个 [MASK]。这个设计的巧妙之处在于:MASK 的位置在 Encoder 里能双向 attend 所有 token——它同时"看"到了问题、自己选项的描述、其他选项的描述,以及完整的 state。所以 MASK 位置的 hidden state,天然就是"在当前语境下,这个选项的综合表示"。 Forward 之后,怎么读出概率? 四步走: Encoder 编码 注入题型信息 决策头:再过一个2层的transformer,从 Encoder 的通用表示里蒸馏出决策信号 只读取MASK位置,按不同问题类型进行归一化计算 注意那个 tscale——按题型 × 选项数分桶的温度系数,这是 Laya 概率校准的关键手段,后面训练章节会详细展开。 额外输出:置信度 Laya 还会从 [CLS] 的 hidden state + 4 个概率统计指标(熵、最大概率等)预测一个置信度分数,用于判断"这道

    匹配字段正文

星期一

  1. 新京报

    豆包工作、千问办公、WorkBuddy 三款 AI 办公应用实测对比

    新京报贝壳财经记者对豆包工作、千问办公、WorkBuddy 三款 AI 办公应用进行系列任务实测,分别使用豆包2.1 Lite0921、Qwen3.87-Max、Hy4 preview 模型。在《2026年AI办公赛道调研报告》长程任务中,豆包工作用20分46秒产出1万字,WorkBuddy用21分18秒产出2.5万字,千问办公耗时超1小时产出5万字,但消耗约1800 token,约为另两款的60倍,记者需充值78元购买会员。多模态测试中,豆包工作的海报与视频完成度最高,WorkBuddy 生成的3D模型最接近原手办,但生成漫画时把自己的图标认成青绿色小猪脸。

    千问办公、WorkBuddy的桌面图标分别截图发给上述AI应用,并输入提示词“设计一个漫画,三个顶着上述图标的小人在互相打架”。 从左至右分别为豆包工作、千问办公、WorkBuddy生成的调研报告截图。 结果显示,豆包工作生成了“顶着”图标的漫画图,千问工作和WorkBuddy对记者的意图理解更透彻,图标直接化身人物,漫画更为形象。不过,WorkBuddy在其他两家图标生成无误的情况下,“认错”了自己的标志。记者复盘其思考过程发现,WorkBuddy形容自己的图标是“青绿底白色小猪脸标”,可能因此造成了后续生图的错误。 WorkBuddy生成漫画的思考过程。截图 根据有线耳机照片生成的广告海报,从左至右分别为WorkBuddy、豆包工作、千问办公生成。 结果显示,无论是海报还是视频,依托Seedance系列模型的豆包工作交付结果更有质感。此次测试中,三家AI应用生成的视频效果存在明显差异。WorkBuddy的真人模特动作自然,也有分镜,整个视频没有声音;千问办公的视频深谙“产品”是第一要务,镜头逐渐推向耳机,但缺少分镜的变化感;豆包工作则既有光影变化,还有模特手持耳机、插耳机、戴耳机享

    匹配字段正文

星期四

  1. A6 a6-051 · Cerebras:Blog

    Cerebras 如何防止 autoresearch 循环跑偏:71 次实验的经验

    Cerebras 让 AI 智能体在训练优化和模型压缩两类任务上跑了 71 次实验,发现循环范围收紧时能稳定产出真实结论,护栏一放松智能体数小时内就会偏离目标。实验一用 codex-autoresearch-harness 把 Codex 包进 bash 循环,GPT-5.4 与 Codex-Spark 各自 6 小时都独立收敛到学习率 warmdown 调度,但 GPT-5.4 提案接受率 67%,Spark 仅 17%,提案质量比单次推理速度更决定总成本。实验二用 REAP 加 INT4 量化把 717 GB 模型压到 92 GB,动态专家换入换出耗时 0.151 秒,但无人值守 12 小时后智能体自行改问另一个问题,作者通过清理上下文、隔离目录和更频繁的验证检查点来纠正。

    如果你不盯着,它就会浪费一整晚的 GPU 时间。 Karpathy 上周发布了 autoresearch,一个让 AI 智能体自主运行实验的框架。给它一个目标、一些要跟踪的指标,以及一个代码库。 设置极简,只有 3 个文件: 每次迭代,智能体读取程序和结果日志,提出对 train.py 的修改,提交,训练,并评估。只有当修改达到更好或相等的指标时才会被接受。其他一切都会通过 git reset 回滚。 我们想知道:这在演示之外还站得住脚吗?我们运行了两个实验,把 autoresearch 推向不同的领域,一个关于训练,一个关于推理,来找出答案 :) 实验 1:训练优化 我们将 Codex 包装在一个 bash 循环中(codex-autoresearch-harness),并在 Karpathy 的 nanochat 模型上,对两个不同的 LLM 作为“研究员”进行了 A/B 测试:GPT-5.4 和 Codex-Spark。Codex 原生不支持循环,所以我们构建了一个 harness 来强制它循环。我们的问题是:autoresearch 真的能做自主研究吗,不同的模型会如何表现/影

    匹配字段正文

  2. A6 a6-051 · Cerebras:Blog精选

    Cerebras 解读 GPT-5.6 Sol、Terra、Luna 的模型与推理档位选择

    Cerebras 发文介绍 Codex 订阅中的 GPT-5.6 三款模型 Sol、Terra、Luna,三者独立训练与部署并带推理档位,用于在速度、成本和智能之间取舍。价格上 Terra 为 Sol 的一半,Luna 为 Sol 的五分之一,短上下文和长上下文均如此。文中建议多数任务先用 Luna,进展受阻时再升级到 Terra 或 Sol,Sol 在 Cerebras 上可达 750 tokens/s,并给出 Codex 中 Light 到 Ultra 五档推理级别的用法。

    缩功能也已足够出色,你可以运行单个会话处理数亿个 token,甚至不会遇到任何问题。 如果你让会话保持活跃,提示处理成本会低得多。你可以设置每 20 分钟运行一次的 Codex 自动化来保持缓存存活,并利用这些自动化驱动长时间运行的流程。 不同模型在不同数据上训练,并针对不同目标进行优化,这意味着每个模型在某些方面会略好或略差。 本地 Codex 还允许你将其他提供商引入应用。这意味着你可以在熟悉的 Codex 体验中,试验成本更低的开源权重模型,如 Kimi K2.7 Code,或具有不同优势的模型,如擅长长程推理和编码的 GLM-5.2。 然后你可以将这些外部模型用于有边界的子智能体工作,帮助降低成本或利用每个模型的不同优势。 一个重要细节:这是通过 Codex 配置和自定义智能体文件完成的,而不是通过简单的应用内模型选择器。Codex 支持 Ollama 和 LM Studio 等本地提供商,以及兼容 Responses 的自定义提供商。 订阅用量限额相当慷慨,但随着 AI 智能体对更多人变得更有用,许多人正在将限额推到远超单个订阅所能提供的程度。 而且,即使你有钱可烧,也并非每

    匹配字段正文

星期三

  1. 量子位

    斯坦福 HomeBody 让 GPT-6 Astra 接入宇树 G1 收拾厨房

    斯坦福团队推出 HomeBody 项目,让 GPT-6 Astra 接入宇树 G1 进入厨房执行语言指令,可归拢咖啡袋、丢弃指定纸盒,并在药品不在视野内时从记忆中找到抽屉取药递给人。系统先由 Astra 引导 G1 探索陌生厨房并保存相机画面、激光雷达与关节姿态作为空间记忆,再在 Isaac Sim 中重建数字厨房,之后由 Astra 调用导航、抓取、放置、开抽屉等可复用技能,技能模块负责具体动作规划并反馈结果。团队表示部署到新厨房无需额外采集训练数据或训练专用动作策略,但感知、规划与技能执行运行在一台 RTX 4090 笔记本上,Astra 在远端决策,前期重建有准备时间和 API 成本,手指舵机过热也是当前限制之一。

    行,执行完再把结果反馈给大模型。 比如抓取,Astra只需要在画面中点出目标物体,再指定使用左手还是右手。 接下来,抓取技能内部的感知模块会圈出物体、估计深度,结合相机标定确定目标的三维位置,并计算抓取姿态。运动规划器再规划机械臂怎么伸过去、怎样避开障碍,最后交给控制模块执行。 换句话说, GPT决定抓哪个、用哪只手,技能模块解决手怎么伸过去、怎么抓起来。 其他技能也遵循类似的分工。导航接收目标位置和朝向;放置接收物品的落点;开抽屉则把对准把手、勾住把手、后退拉开,封装成一项完整技能。 每项技能执行后,都会把结果反馈给Astra,再由它决定下一步。遇到偏差时,技能模块会先自行调整、重试,解决不了再交回大模型重新安排。 通过这样的 决策—执行—反馈循环 ,「走到抽屉前—打开抽屉—取出药」就能被串成一项任务,而不必让大模型包办每一步的运动细节。 至于走路、伸手时怎样保持平衡,则属于前面说的System 0的工作。HomeBody使用预训练的AMO控制策略,让下半身运动同时考虑上半身的动作目标,协调行走与操作。 这也解释了为什么, 不需要额外训练,不等于整套系统从未训练过。 HomeBody

    匹配字段正文

星期四

  1. Chips and Cheese

    实测 Windows 11 Prism 二进制翻译:x86-64 程序在 Arm 上的性能损失

    Chips and Cheese 作者 Chester Lam 用 Geekbench 7 实测 Windows 11 的 Prism 二进制翻译,发现 x86-64 程序经翻译后执行的 aarch64 指令数约为原生两倍,各核心均出现数代性能损失。测试在 Snapdragon X2 Elite Extreme X2E-96-100 笔记本和 Azure 上的 Neoverse N1、N2 实例上进行,Snapdragon 的 E-Core 与 P-Core 即使承担翻译损失仍分别超过 Neoverse N1 和 N2。作者还查看 C:\Windows\XtaCache 中的翻译代码,指出 Prism 会做不必要的寄存器溢出,并把 256 位 AVX 运算拆成多条 128 位 NEON 指令。

    包括高通核心在内的每个核心,都承受了相当于数代性能损失的影响。不过,Snapdragon X2 Elite 中的核心基线性能远高于 Neoverse N1 和 N2。Snapdragon X2 Elite 拥有一个由 6 个“性能”核心组成的集群,以及两个各由 6 个“prime”核心组成的集群。“性能”核心为 6 宽,运行频率为 3.6 GHz。由于它们在其他芯片中承担与能效核心相同的角色,为简便起见,我将称它们为 E-Core。“Prime”核心为 9 宽,运行频率为 5 GHz。它们以最大性能为目标,因此我将称它们为 P-Core。 即使承担二进制翻译惩罚,高通的 E-Core 仍能超过 Neoverse N1。P-Core 对 Neoverse N2 也是如此。面对以极高时钟速度运行的宽得多的核心,即使存在二进制翻译惩罚,也确实无可争辩。 高通核心从二进制翻译中承受的惩罚也略低。很难判断这是因为 Prism 中针对高通的特定优化,还是因为高通核心的吞吐量高得多。二进制翻译导致的指令数增加让我想起玩 Claude 的 C 编译器(CCC)的经历。CCC 的情况涉及在关键路径之外生

    匹配字段正文

星期六

  1. Together AI Blog精选

    Kimi K3 开发者完整指南:2.8 万亿参数、1M 上下文与 Together AI 用法

    Together AI 发布 Kimi K3 开发者指南,介绍 Moonshot AI 这款 2.8 万亿参数开源权重模型,采用 KDA 混合线性注意力、Attention Residuals 与 Stable LatentMoE(896 个专家激活 16 个),支持 1M token 上下文和原生视觉输入。指南给出 OpenAI 兼容 API 的 reasoning_effort(low/high/max,默认 max)、流式 reasoning_content、结构化输出、工具调用与动态工具加载等用法,并说明采样参数固定为 temperature 1.0、top_p 0.95。定价为每 1M token 缓存命中输入 $0.30、缓存未命中输入 $3.00、输出 $15.00,思考 token 按输出计费。

    1M 上下文长度,且上下文缓存是自动的。请让你的长前缀(系统提示、知识库、仓库转储)在多次请求之间保持字节稳定,以便后续调用能够命中缓存。Moonshot 建议将固定的大块上下文(知识文档)放在 messages 数组的最开头、系统消息之前,然后在其后追加问题和回复。 采样参数 采样参数是固定的,你应当从请求中省略它们。该模型是使用这些参数训练的,不支持设置其他替代值: temperature = 1.0;top p = 0.95;n = 1;presence penalty = 0;frequency penalty = 0 保留式思考 K3 是在保留思考历史模式下训练的,因此轨迹就是下一轮所依赖的状态。使用以下方式保留上一轮的思考 token,并将它们转发到后续轮次。 去掉 reasoning content 这一行,同样的调用每次都会用一个新编造的数字来回答。在真实代码中,你从不手写轨迹;你重放模型产生的内容,也就是工具循环中的那一行代码: Kimi K3 定价 Kimi K3 按 token 计价,并设有缓存命中输入档位,以奖励稳定的前缀: 需要内化的两个成本方面: 缓存是你的

    匹配字段正文

星期二

  1. 蚂蚁百灵:Developer Blog

    蚂蚁百灵公开 Ling-2.5-1T-base 超长上下文训练提速方法

    蚂蚁百灵针对万亿参数预训练模型 Ling-2.5-1T-base 给出超长上下文训练的工程优化方案,在 256K 上下文训练中实现 token 吞吐 2.5 倍提升。方案包括 AllGather 与 All2All 两种 CP 并行实现,以及 linghe(灵核)高性能算子库的算子融合,后者在显存仅增加 2.8G 的情况下额外带来 43.7% 性能收益。团队还记录了 Ring Attention 调用 cuDNN 在 causal=False 下的性能问题、Linear Attention 朴素实现的 kernel launch 开销,以及 Triton 精度与竞态条件等踩坑经验。

    01

    g Attention 调用的 cuDNN 性能问题。 在初版实现中,我们用了Ring Attention。在超长上下文训练的实践中却发现当 MLA 结合特定的算子时,Ring Attention 会暴露严重的性能问题。Ring Attention 的核心机制是将长序列切分成多个块,GPU 在计算完本地的 Q 和本地的 K、V 后(即对角线块),需要接收来自其他 GPU 的历史 KV 块进行计算。 在处理历史 KV 块时,历史 token 对当前 Q 是可见的,不需要掩码,因此需要调用 causal=False 的 fused attention 算子。在实际测试中,我们发现底层 cuDNN 实现的 MLA 算子在 causal=False 这种配置下 backward 存在性能问题,算子的性能问题导致 Ring Attention 并不是一个合适的选择。 踩坑二,Linear Attention 部分如果使用简单的实现,会遭遇严重的 kernel launch cpu overhead 问题。 我们以一段描述变长序列(varlen)情形下的伪代码来描述我们的第一版实现: 在初始版本的

    匹配字段正文