LLM 可直接读写神经网络权重，Weight Space Programming 提出免梯度训练新路径

← AI 新闻AI 新闻LLM 能读写神经网络权重：“权重空间编程”将 Autoresearch 移出 RSI 循环

编辑 Qwen 的权重以减少推理循环、DeepSeek 的超级智能体原型，以及 GDPx 基准。swyx .ai11月3日·30 分钟阅读

在 AI/科技熊市不断加深（堪称黑色幽默）之际——Anthropic 债券被评为“垃圾”级，OpenAI 融资登上头条——我们仍不断在社区中看到令人非常惊讶的能力发现，比如今天这个。

要为今天这篇重磅论文提供背景，最好的方式是回想仅仅 8 个月前 Karpathy 的 autoresearch，它预示了一个充满递归自我改进恐惧的夏天：

抽象地说，这项演示表明，你可以拿一个足够聪明的模型，通过在计算集群上运行一系列实验，在无需人类专业知识或干预的情况下自主训练一个模型。然而，这通常要通过一个繁琐的过程来完成：编写 PyTorch/Jax 代码、运行计算、观察损失曲线、阅读评估结果、优化内核和数据等等……

那么，上个月的嘉宾 Alex Zhang 回来共同撰写了一项重大发现：如果你直接让一个聪明模型读取并编辑一个笨模型的权重，会怎样？在 X 上查看帖子 ↗

在机器学习中，这相当于不看源代码，直接查看（非常小的）编译可执行文件的 1 和 0，并且能够 1）说出它们做什么，2）在给定失败轨迹的情况下一次性修复 bug，或者用 50 步朝某个总体方向改进（这里可能有所夸大），3）一次性从零写出整个网络权重，击败一些独立训练的模型。

如果你相信 LLM 在参数足够多时确实能拟合和模拟一切（事实上，随着规模增长，LLM 正越来越擅长计算），那么这类事情理论上注定会发生，但这项能力突然出现仍然令人惊讶，而且似乎已经有一项独立复现发现了这一点：在 X 上查看帖子 ↗

当然，我们真正建模的准确对象是某种形式的机制可解释性（这可以手工完成），而且目前它不太可能扩展到比简单游戏和 RL 策略更高级的任务，但世界现在已经在这项全新的 RSI 能力上从 0 走到了 1……由于其非凡的效率，这项能力将立即被投入使用和探索。在 X 上查看帖子 ↗

2026/10/31-2026/11/02 的 AI 新闻。我们检查了 12 个 subreddit、544 个 Twitter 账号，没有检查更多 Discord。AINews 的网站可让你搜索所有过往期刊。提醒一下，AINews 现在是 Latent Space 的一个栏目。你可以选择订阅/退订邮件的频率！

AI Twitter 回顾

发布：DeepSeek Harness 发布了一篇长篇设计文章（文章）以及 dsh-superagent-prototype 仓库（仓库链接）。随后发布了官方英文版（@tianyi）。

架构：一个长期存活的路由会话与人类对话并分发工作。隔离的 worker 并行运行任务，由 GitHub 事件触发（摘要）。

声称的结果：在 DeepSeek 自己的测试中，与使用子智能体的单一会话相比，p95 完成时间从 29.5 分钟降至 15.7 分钟（摘要）。

审阅者的设计理由：最终审阅者崔添翼（@tianyi）表示，“Super”指的是工作智能体之上的一层，而非更优越的智能。他将核心权衡概括为跨任务连续性与吞吐量之间的取舍（知乎摘要）。

明确的局限：该 harness 目前尚无内置的跨会话长期记忆。状态、计算和环境的分离大多尚未实现。该原型仅在一个小型、可信的内部环境中得到验证，安全、隐私和智能体间通信仍是未解问题。

先前工作：他承认其他团队在数月前就探索过类似架构。

从业者反响：@badlogicgames 表示，该设计与 Earendil 的发展方向一致：一个长期存活的单一实体、临时的递归委派以及跨系统事件触发。@omarsar0 称其为协调-执行 harness 设计方面的“大师课”。DeepSeek 还表示，其目标是在每一代模型上支持 pi 和其他主流 harness（@tianyi）。

批评：@teortaxesTex 称这篇文章“有点一团糟”。他认为 DeepSeek 围绕模型的弱点（如幻觉）构建了内部拐杖，而不是让系统普遍稳健。他还指出，彭博社报道了一个没有英文公告的仓库（帖子）。

V4.1 命名混乱：中国人民大学 FlashRSI 的 README 提到了 deepseek-v4.1-pro，引发了发布猜测。Teortaxes 称这是一个占位符：真实配置使用 v4-flash 和 v4-pro，而 deepseek-v4.1-flash 不是有效 ID（讨论串、后续）。他还表示 V4.1F-1017 的 API 指纹没有变化（指纹）。

GDPx 基准（SemiAnalysis）：该基准涵盖 11 个具有经济价值的领域中的 206 项智能体任务，包括芯片设计、SWE、金融和生物学。最佳模型仅得分 12%（发布）。

结果：Opus 5.5 以 12% 领先。Gemini 4 Carbon 以 10.9% 紧随其后，成本约低 4 倍（细分）。

反响：@dylan522p 向 Google 道歉，称 Carbon“更尖峰”，但在某些领域非常强。@demishassabis 对该基准表示欢迎。

分析：@eliebakouch 发现，移除受防护措施影响的基准后，情况会发生变化。按此观点，Carbon 仍然便宜，而 Sol 6.1 更便宜。他还提出，OpenAI 的生物防护比 Anthropic 更强（注）。

同系列比较：Sol 6.1 和 Astra 得分非常接近，Carbon 全面胜过 Argon，Sonnet 在 SWE 上表现强劲（比较）。

可能的 bug：部分 Argon 网络安全运行可能受 Antigravity bug 影响（报告）。

审计担忧：一篇讽刺帖子抱怨 GDPx 并非开源，且审计成本高昂（帖子）。

Epoch 能力指数：DeepSeek V4.1F-1017 得分为 159，与 GPT 5.5 持平。这比 V4.1F-0910 高 3 分，比 V4-Pro 高 10 分；Astra 大约高出 10 分（@teortaxesTex）。

与 Mythos 的差距：@scaling01 指出，约 7 个月后，仍没有中国模型追平 Mythos Preview（约 161 ECI）。

加权批评：@wenhaocha1 认为，未加权的 ECI 夸大了差距；对编码赋予更高权重后，差距缩小到约 2 个月。

尖峰性：Teortaxes 称 1017 极度尖峰。它在部分 SWE 评测中得分接近零，仅在网络安全和量化交易上接近前沿（图表）。他还指出存在“奖励黑客形态”的行为（帖子）。

十月发布汇总（Vals）：Vals 报告了 15 个发布和超过 500B 评测 token（@nikilravi）。

开放权重领先者：Kimi K3.1 Pro 在开放权重模型中排名第一，DeepSeek V4.1 Flash 1017 紧随其后，并在网络安全方面更强。

新开放模型：Meta 的 Muse Spark Open（总参数 816B，激活 42B）是美国最强的开放权重模型。Reflection 的 Beam 1.0 总参数 500B，激活 23B，上下文 1M。Mistral 的 Le Chonk（总参数 1T，激活 52B）在开放权重模型中排名第 5。

即将推出的模型传闻（未经证实）：

GPT-6.2 Astra：据报道在 Codex 使用分析中可见，发布“很快”（@kimmonismus、@TokenGremlin）。

Mythos 5.5：出现在 Anthropic 网站的 HTML 中，其中将 Mythos 描述为“我们用于网络安全和生物学研究的最强模型类别”（提示、文本）。该标语涵盖所有 Mythos 模型（更正）。10 月 23 日的快照中没有这一提及（@AiBattle_）。

“Numbat”泄露：据称的 Anthropic 泄露很可能是假的，因为部分权重与随机初始化完全一致（@kimmonismus）。

JEPA 与柏拉图表示假说：Balestriero 和 LeCun 表明，在某些条件下，分别训练的图像和文本 JEPA 在没有配对数据的情况下会收敛到基本相同的表示（摘要）。

声称的结果：他们的方法在样本量比下一 token 预测少 42 倍的情况下（21.6M 对 900M 示例）达到了图像-文本对齐。一个 109M 的文本 JEPA 在跨模态对齐上胜过最高 72B 的 LLM（解释）。

机制：所声称的驱动因素是“同一事物的两种视图”训练信号，而非规模。

FineDNA 与 Carbon-X（Hugging Face）：该数据集包含 300B+ token 的基因组序列、论文和混合 DNA/文本网络数据，外加 200k SFT 样本和约 100k 带确定性验证器的 RLVR 样本（@_lewtun、@LoubnaBenAllal1）。

结果：在该数据上训练的 Qwen3-14B（Carbon-X）据报道是 DNA 任务上最强的开放模型。在 SFT 之上进行 RLVR 带来进一步提升（详情）。

开放性：数据、模型和配方均已发布（代码）。

消融：交错的生物学文本被限制在少于 7 个 epoch（回复）。

训练智能体集群：GenReasoning 的第一篇帖子涵盖延迟压力如何激励并行工作、智能体需要哪些协调原语，以及训练智能体集体中的开放问题（博客）。

其他值得注意的工作：

关注 TTT：Jianlin Su 撰写了《平均之路：从注意力到 TTT》（帖子）。

每周论文：DAIR 的列表包括 HarnessMM、Agentic Backdoors、EmbeddingGemma 2 和 Verification in Agent Harnesses（列表）。

LeCun 谈 Llama-4：LeCun 表示他从未主导 LLM 工作。他将 Llama-4 的失望归因于产品压力、保守主义以及将决策权从巴黎团队移走（帖子）。

推理系统、量化与硬件

NVIDIA AgentX 提交（SemiAnalysis）：据报道，由智能体集群编写的软件在 700B+ 模型上达到超过 1,000 tok/s/用户（讨论串）。

Rubin 对比 GB300：Rubin NVL72 声称在 325 tok/s/用户时性能/TCO 比 GB300 NVL72 好 20.9 倍，在 200 tok/s/用户时好 9.11 倍。

内存：Mooncake Store 的扩展 GPU 内存通过 NVLink 而非 RDMA 在所有 18 个计算托盘上的 Vera LPDDR5X 中池化 KV 缓存，带宽超过 10 倍（2/2）。

MiniMax M3.1 Flash（428B）本地生态：MiniMax 重点介绍了社区量化和服务工作（MiniMax）。

量化：Unsloth 发布了 143.9 GB 的 2-bit 动态 GGUF，AMD 为 Instinct 适配了 Quark MXFP4。

配方：社区构建者发布了 EXL3 变体、MLX oQ 量化、单 DGX-Spark 配方，以及在 4×3090 上的专家卸载。

小模型量化：对 LFM3-1.7B GGUF 进行 SLQ 搜索，在 1.588 GB 下达到 97.74% EAR@10，而 AtomicChat 的 Q6_K 为 97.52%。作者报告 EAR 与任务准确率强相关（@bnjmn_marie）。

智能体驱动的移植：Devin 花了 36 小时、约 2 千美元，把一个模型移植到 Trainium 上以低成本运行（@dabit3）。

压缩作为杠杆：在完整上下文下运行 GLM 5.3-Flash 和 Grok 4.7，而不是在约 200k token 时进行压缩，效率提升最高达 23%。同样的工作，GLM 便宜 30 倍（@evalstate）。

算力经济学：128×B300 容量的定价为每 GPU 小时 5.75 美元，约合每块 B300 30 万美元。Teortaxes 估计，即便达到 DeepSeek 级别的收入，也大约需要一年才能回本（帖子、后续）。

Karpathy 的 HackerTube：Claude 从 20 年间 4300 万条 HN 评论中筛选出 6,454 个被反复推荐的视频。整个构建在 Opus 5.5 上以 Medium 强度使用 Claude Code 桌面版耗时约 2 小时，包括 VPS 加固和部署（@karpathy）。

强度级别之争：Karpathy 默认使用 Medium 重新引发了关于强度设置的讨论（@yuchenj_uw、@swyx）。

衍生项目：DAIR 构建了一个面向 arXiv 论文的版本，覆盖 1,000 多篇论文（Hacker Papers）。

大规模自主 PR：一次为期一天的运行使用 GitHub 新的云端智能体和 Opus 5.5，向 ASP.NET Core 提交了约 90 个性能 PR，token 成本约 230 美元（@davidfowl）。

框架与工具更新：

T3 Code：新增托管组织策略，并报告在 Microsoft、AWS 和 Apple 的内部采用情况（@theo）。

pi：移除了其 typebox 依赖（@badlogicgames）。

kamchatka：一个 Rust 终端智能体，没有系统提示词，上下文可由模型编辑，支持无损可恢复压缩和单步循环调试（Harness Lens）。

LlamaIndex Extract Max Effort：声称文档提取准确率高于 Astra 或 Opus xhigh，且成本更低（@jerryjliu0）。

智能体安全模式：Vercel 将智能体凭据限定在已批准的方案内，因此批准时铸造的 token 只携带所声明的范围（博客）。Pydantic 展示了 E2B 微虚拟机可以暂停而非消亡，让被终止的 Temporal worker 得以恢复（指南）。

端侧语音智能体：Ava 完全在浏览器中运行 LFM3-Omni，并使用 Hugging Face WebGPU 内核（@victormustar）。

行业与政策

数据中心反弹：SemiAnalysis 称 2027 年的容量基本已经锁定。得克萨斯州长期暂停许可现在是 2028 年美国建设面临的最大单一风险，且两党都在以更严格的规则为竞选主张（报告）。

Marvell + Lumentum：两家公司正在合并，这是一次具有 AI 网络影响的光互连整合（分析）。

网络滥用风险：Jun Song 称一个匿名黑帽组织向他出高价，要求他用漏洞利用数据训练开放权重模型。他拒绝了（报告）。

市场信号：

OpenRouter 支出：Opus 推动年化 GMV 运行率超过 50 亿美元（@deedydas）。

Kimi 争议：Kimi 因未披露地推广 K3.1 Pro 而受到批评（帖子）。

Sakana Sawara：Sakana 发布了 Sawara，这是一个内部预训练的 LLM，其中 Sawara Small 目标定于 2027 年春季（@hardmaru）。

AI 与生产力：John Burn-Murdoch 认为美国生产力的上升早于 AI，且仅出现在美国，因此看起来不像是 AI 效应（讨论串）。

热门推文（按互动量）

Karpathy：用 Opus 5.5 在约 2 小时内构建 HackerTube — 52.9K

DeepSeek Harness 超级智能体文章 — 15.6K

LeCun/Balestriero JEPA 结果解读 — 5.6K

在 Anthropic 网站 HTML 中发现 Mythos 5.5 — 3.9K

alphaXiv 关于 JEPA 柏拉图式表征 — 3.9K

Rauch：拥有你自己的智能，本地模型 — 3.8K

SemiAnalysis 推出 GDPx（最高分 12%）— 3.3K

GPT-6.2 Astra 据称即将发布 — 2.9K

AI Reddit 摘要

/r/LocalLlama + /r/localLLM 摘要

1. 面向本地编码智能体的压缩 MoE

[发布] ISTA DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder：一个 763B 模型，每参数 1 bit（热度：507）：ISTA DAS Lab 发布了 DeepSeek-V4.1-Flash-1017 的实验性 GGUF 编码器构建，这是一个 763.2B 稀疏 MoE，每层 384 个路由专家、每 token 激活 6 个，使用 RCO 专家剪枝将每层保留 192/384 个专家，外加 GSQ 低比特量化。该发布报告 transformer 权重为 72.1 GB，而未剪枝的 IQ2_XXS 构建为 138.2 GB，相对于原始 551.9B transformer 参数被描述为每参数 1.05 bit，而保留权重平均为 2.06 bit；共享 Engram 权重额外增加 110.6 GB。基准测试：LiveCodeBench v6 为 88.57，基线为 89.71（保留 98.7%）；SWE-bench Verified 为 77.00，基线为 81.20（保留 94.8%）。链接：剪枝版 Coder GGUF、未剪枝量化模型、GSQ 论文/代码、RCO 论文/代码；可在 llama.cpp b11870+ 和 Strata 中运行。评论者质疑评估框架：一人认为单文件 HTML 演示与未剪枝的 IQ2_XXS 模型相比并非有意义的比较，另一人则问，当 Qwen 变体或 Claude Opus 等更小模型据称能达到或超过所公布的 LiveCodeBench/SWE-bench 数字时，一个高度压缩的 763B MoE 为何仍有吸引力。一项实际请求是希望提供一个 90–110 GB 的中间版本，具有更高精度或更少剪枝专家，以适配 128 GB 显存/内存系统。

评论者质疑展示生成的单文件 HTML 演示（例如动画 SVG / three.js 场景）这一评估选择，认为这些实际上是预先解决的定性提示词，并不能有意义地将 1-bit / 剪枝的 763B 编码器模型与 iq2-xxs 等量化版本进行比较。他们建议实验室应提供更严格的、同类对比的基准测试，以衡量剪枝/量化的影响。

一位基准测试对比指出，所宣称的 LiveCodeBench v6 88.57 和 SWE-bench Verified 77.00 落后于小得多的模型：Qwen3.8-27B 在 LiveCodeBench 上被引为 90.3，Qwen3.8-Flash-Next 为 91.9，Claude Opus 4.6 在 SWE-bench Verified 上为 81.42%。评论者的技术异议是，如果更小的稠密/前沿模型在编码基准上表现更好，那么该发布需要说明为什么一个更大的 763B 剪枝/1-bit 模型仍然有用。

有人要求在 90–110GB 范围内提供更高精度或剪枝不那么激进的变体，面向拥有 DGX 系统或大约 128GB 显存/内存的用户。另一位评论者提到此前的可复现性担忧，称 Unsloth 或另一个团队据称未能复现 ISTA 所宣称的数字，这意味着需要可独立复现的基准脚本和评估设置。

抱歉 Sam，我那“相当糟糕”的家用 DRAM 现在占用率已达 100%：我修补了 Strata，让 DeepSeek V4.1 智能体会话在一张老式标准游戏 GPU 上启动速度提升 20 倍，无需数据中心（活动：596）：图中是一张技术基准表，比较在消费级 RX 9070 XT 16 GB + 64 GB DDR4 + NVMe 系统上，离线运行 DeepSeek V4.1 Flash 1M 上下文智能体会话时，原版与修补版 Strata 的表现。该补丁结合了针对基本稳定的智能体系统提示词的 KV 缓存拼接，以及在提示词摄取期间仅驻留专家的路由，将新的 OpenCode 会话启动时间从约 100 秒降至约 5 秒，并将全新的 1.2K token 提示词从 22.8 秒 / 58 GB SSD 读取降至 8.2 秒 / 1.3 GB SSD 读取，同时将报告的编码基准保持在 12/13。这是一篇技术基准/实现文章，不是梗图，分支可在 PhialsBasement/Strata dsv41-kv-splice 获取。评论反驳称，Sam Altman 关于 DRAM 的观点讲的是时间利用率，而非带宽，并且数据中心总体上仍然更具资源效率，尽管本地推理在隐私/离线/控制方面有合理理由。其他人则质疑，为什么智能体框架一开始要把路径、日期和随机 ID 等易变数据注入系统提示词，从而导致前缀缓存未命中。

几位评论者关注 Strata 中的 KV/前缀缓存行为，指出智能体框架可能通过将会话特定数据——工作目录、日期、项目 CLAUDE.md、带随机 ID 的技能路径——直接注入系统提示词，从而破坏缓存复用。在报告约 37K token 的系统提示词下，即使很小的会话特定变动也会导致前缀缓存未命中，使启动延迟对提示词布局和缓存键稳定性高度敏感。

关于本地 GPU 推理与 API/数据中心推理存在争论：一位评论者认为 Sam 的“5%”说法讲的是时间，而非带宽，并且数据中心总体上资源效率更高。另一位则反驳所报告的本地速度的可用性，称 7 tok/s 与可提供约 10–20 倍更高吞吐量的 API 相比“并不算好”。

不是又一篇 tok/s 文章：本地量化模型与 Claude 在 9 个真实 bug 上的对比（活动：591）：图中是一张技术基准图表，不是梗图：它可视化了文章的说法，即本地量化模型在 9 个私有 C++/CUDA bug 修复任务上可以接近较低层级 Claude 编码智能体的表现，但往往需要多得多的推理 token 和实际耗时。Claude Opus 5.5 以评审得分 0.74 领先，Claude Sonnet 5.5 得分为 0.58，而最佳本地模型 Qwen3.8-Flash-Next NVFP4 达到 0.50；图表还显示了自动评分一致性、置信区间、每任务 token 数、每任务分钟数以及无法编译的补丁数量。关键的技术结论是，在这个小型基准中，激进量化并未明显降低准确率，但对于稠密 Qwen3.8-27B，3-bit 使每任务 token 数增加约 1.40 倍，使得仅看 tok/s 对“每分钟修复的 bug 数”具有误导性。评论者质疑量化选择，建议使用 UD-Q6_K_XL 或 Q5 等更高质量格式，它们可能适配可用显存并表现更好，并要求与 GLM Flash 或近期“Swift”变体等模型进行比较。一个值得注意的反应是，尽管基准范围狭窄，但重度量化的 Qwen3.8 27B 匹配或击败较旧的 Claude Sonnet 模型“太疯狂了”。

几位评论者质疑量化选择，认为 NVFP4 / 3-bit 量化可能低估了本地模型的能力，并建议使用 UD-Q6_K_XL、Q5 或近期“Swift”变体进行测试。一位用户从定性角度报告称，Q6 27B 和 FN 感觉更接近 Q8，而不是 Q4 感觉接近 Q6，更高量化有时能产生较低量化无法给出的解决方案，而不仅仅是花更长时间达到相同答案。

关于基准评审是否引入偏差存在争论：使用 Opus 5.5 来评审 Opus 5.5 可能偏向同家族输出，因此评论者建议使用家族外评审器，如 Sol 或 Muse/Wonder，以获得更可靠的评分。这尤其相关，因为图表显然将 Opus 5.5 排在最高，这可能将实际的 bug 修复质量与评估者偏好混为一谈。

一位评论者分享了一张额外的基准图片，显示至少有一个任务可能需要多步推理，只有 Opus 和 Mimo 超过 60/100：https://preview.redd.it/ad5p3xqti7zh1.jpeg?width=3542&format=pjpg&auto=webp&s=af4fa42e63abcc518e30ddd4d70d7f180bbafff8。其他人指出，重度量化的 Qwen3.8 27B 在这些真实 bug 任务上匹配或击败上一代 Sonnet 值得注意，并要求加入 GLM Flash，尽管其本地状态处于边缘。SponsoredYour sponsor ad hereReach the AI engineers building what comes next.

Latent Space 的读者正是那些交付智能体、模型和基础设施的人。咨询赞助此广告位：business@latent.space →

2. Qwen 开放权重生态与编码基准

官方声明：Qwen 模型将坚持开源到底！（活动：4707）：图片显示 Qwen 负责人 Liu Dayi Heng 在 APSARA 大会上以“智能超越”为主题发表演讲，幻灯片强调 Qwen 对“开源与开放”的承诺。结合语境，该图片为帖子中关于 Qwen 4.0 和 Qwen 5.0 将保持开放权重/开源的说法提供视觉佐证，反驳了未来 Qwen 版本将仅提供 API 的传言；帖子还提到累计下载量超过 30 亿次、已发布 460 多个开源模型以及 30 万多个衍生模型。评论大多对 Qwen 的开源立场表示庆祝，一位用户强烈赞同关于 AI 是广泛可及的基础能力的引述。另一条评论开玩笑说，这张幻灯片翻译过来就是在 Anthropic IPO 当天发布 Qwen4，但这显然是幽默而非真正的翻译。

一位评论者认为，Qwen 反复发布开放权重并非一次性姿态，而是刻意的市场策略：中国模型实验室以更低成本和开放性展开竞争，以赢得全球开发者的采用，尤其是在发展中市场。他们还指出，中国的开放模型通常包含更广泛的多语言覆盖，包括一些美国闭源模型提供商可能优先级较低的非洲语言。

[GLB-3D-Coder] 一个为 Godot 和其他游戏引擎创建 3D 资产的微型 4B 编码模型（活动：946）：ccore 发布了 Qwen3.5-4B-GLB-3D-Coder 的早期检查点，这是一个经过微调的 4B 编码模型，用于生成带 GLB 导出的 Three.js 场景，以便将生成的游戏资产导入 Godot 等引擎。作者推荐使用模型卡中的系统提示词加上简单的英文资产提示词，采样设置为 temperature=0.8、top-k=40、top-p=0.95、min-p=0；更新后的 Q4_K_M 和 Q8_0 GGUF 于 2026-11-02 04:50 UTC 替换了此前的权重，生成质量“大幅”提升。训练数据集据称涵盖 25 个资产类别，包括角色/NPC、敌人、Boss、武器、模块化建筑、载具、机械、陷阱、水下结构以及谜题/玩法标记；作者表示，完整的 Safetensors 权重和训练数据集将在训练完成后发布。评论者关心这种方法能否扩展为模块化/MoE 式系统，由小型专业代码模型处理前端、后端、2D、3D、音频和智能体任务。一个技术问题询问，为什么模型输出的是导出 GLB 的 Three.js 代码，而不是直接生成二进制 .glb，并提出一个相关方向：微调 LLM 以生成程序化材质图，例如 Blender 着色器节点或 Material Maker 的纯文本 JSON 项目文件。

一位评论者提议将 GLB-3D-Coder 扩展为更大的混合专家（MoE）系统，由任务专业化的小模型处理智能体编码、前端/后端、2D、3D 和音频生成等领域，并在专家之间进行路由/委派，而不是使用单一的整体模型。

一项技术讨论质疑，为什么模型输出 Three.js 场景而不是直接生成 glb 资产，并询问模型内部实际生成的是什么。同一位评论者建议将该方法扩展到程序化材质生成，指出 Material Maker（materialmaker.org）将节点图存储为纯文本 JSON，其可下载的用户创建材质有可能构成简单程序化纹理的训练语料。

Haruspex（github.com/tmac1973/haruspex）的作者描述说，他们为桌面编码工具添加了“专家模型”支持，将 GLB-3D-Coder 等模型作为主编码模型可调用的工具委派对象暴露出来。他们还计划将现有的基于扩散的精灵图生成工作流接入 3D 流水线，例如先生成参考图像，再将其传给 3D 资产模型。

Memdoor：由 5 个 Qwen3.8-27B 模型组成的团队在 LiveCodeBench Hard 上击败 Fable 5（活动：788）：帖子称，由 5 个 Qwen3.8-27B 模型组成的集成系统 Memdoor 在 LiveCodeBench Hard 上表现优于 Fable 5。所描述的架构分配了专门的智能体角色——“一个规划者、两个构思者、一个求解者和一个管理者”——表明性能提升来自多智能体编排，而非单个更大的模型（图片）。评论者认为这一结果可信，因为基准性能可能在很大程度上取决于编排、提示和配置：“关键始终在于你如何使用模型，而不是模型本身。”一位评论者称，在自己实际的编码用例中，配置良好的 Qwen 27B 表现优于 Opus 5，而 Claude 通常以开箱即用方式使用，可调参数有限。

讨论围绕一个多智能体编排设置展开：五个 Qwen3.8-27B 实例被分配为“一个规划者、两个构思者、一个求解者和一个管理者”的角色，帖子称该团队在 LiveCodeBench Hard 上击败 Fable 5。评论者将这一结果视为证据，表明架构和协调策略可能与单一模型的原始能力同样重要。

提出的一个技术观点是，模型配置和推理设置可能解释令人惊讶的结果：一位评论者报告称，在某些情况下“配置良好”的 Qwen 27B 表现优于 Claude Opus 5，并认为许多用户运行 Claude 时大多使用开箱即用设置，可调参数很少。隐含的比较不仅是模型与模型之间的比较，还包括优化的开放权重部署与受限的托管模型默认设置之间的比较。

一些评论将这一结果解读为群体/集成推理的概念验证，即多个较弱的模型能否在编码基准上胜过单个更强的模型。提出的主要保留意见是，该基准结论在很大程度上取决于实现细节——角色设计、提示、管理者选择逻辑和评估协议——而不仅仅是底层 27B 模型的质量。

3. 权重空间编辑与模型引导

评论者强调了此前的技术抄袭分析，指控 HauHauCS/reaper-abliteration 未经署名便复制了 Heretic，并链接到 Nathan Sapwell 的文章和 DreamFast 的分析：https://nathan.sapwell.net/posts/hauhaucs-abliteration-analysis/ 和 https://dreamfast.github.io/reaper-analysis/#statement-from-heretics-author。所引用的 Heretic 作者声明称，对 reaper-abliteration wheel 包的检查显示，该包“抄袭自 Heretic，然后很可能使用 LLM 进行了重构以试图掩盖这一点”，这引发了对模型修改工具链的软件来源与署名方面的担忧。

权重空间编程的星火：LLM 可原生读写神经网络权重（活动热度：478）：Takehi 等人提出权重空间编程：前沿 LLM 从自然语言目标出发检查和编辑神经网络权重张量，无需梯度下降或训练循环。已报告的演示包括：从小模型的原始权重中识别行为、编写小型游戏 MLP、通过编辑 3.5% 的权重修复失败的控制策略，以及通过编辑 0.016% 的权重将 Qwen3.5-0.8B 在 MATH-500 上的成绩从 7.9% 提升到 48.1%，并声称实现了指令遵循能力的迁移。评论者指出，最强的结果可能更接近于在 Python 沙箱中进行 LLM 辅助的可解释性分析/消融，而非字面意义上的“原生”权重读取。主要的技术反驳在于，若干实验或许可以用更简单的结构来解释：早期/晚期层作为空间热图、QK/OV 分析很可能遵循已知的 Elhage 式方法，以及实验 7 在稠密中间表示上失败，直到模型改用激活探针。MATH-500 的结果也受到质疑，因为据报道 7.9% 的基线涉及病态采样下的 token 上限循环；批评者将该编辑描述为删除一个类似循环/拒绝的方向，而非增加数学能力。

一篇详细的批评文章认为，该论文的结果比“LLM 能读写权重”要狭窄：实验 1–2 可能之所以有效，是因为第一层/最后一层在空间上具有类似热图的大权重带结构，而实验 3 可能是在利用 Elhage 等人已知的 QK/OV 电路分析方法，而非真正的原生权重理解。该评论者强调实验 7 是一个关键失败案例：据报道，对稠密中间表示的直接解释多次失败，直到允许模型创建自己的探针，这使其更接近基于激活的可解释性，而非权重空间读取。

同一位评论者质疑“权重写入”主张的强度，将部分结果描述为把 LLM 当作弱 MLP 基线的编译器，而非展示超越梯度下降或 PPO 的稳健优化。他们特别指出，围棋实验中的 512x6 MLP 很可能是一个非常弱的对手，因此胜过它只是很低的标准，这更多说明基线薄弱，而非通用的权重编程能力。

对于头条的实验 8，批评称基线是病态的：7.9% 的性能且 93% 的答案触及 token 上限，表明在糟糕的采样设置下出现了循环，而模型卡据报道也警告了这种失败模式。所提出的修复被描述为类似于 Arditi 等人应用于循环而非拒绝的单方向消融；在 50 次尝试后跃升至 48% 被解释为方差或障碍移除，而非增加新能力的证据。

GPT-6 Astra 编辑 Qwen 权重：MATH-500 从 7.9% 提升至 48.1%（活动热度：507）：所链接的讨论涉及 MIT CSAIL 的权重空间编程的星火工作，评论者指向原始来源而非摘要网站：rikiyat.github.io/blog/weight-space-programming。头条结果是，对 Qwen3.5-0.8B 的直接权重编辑据报道改变了 131,072 个权重（约 0.016%），并将 MATH-500 准确率从 7.9% 提升至 48.1%，但所描述的机制似乎主要是抑制了一个病态的推理循环吸引子，将 token 上限失败率从 93% 降至 33%，而非增加通用的数学能力。评论者还指出，同样的干预据报道在一个没有该循环病态的模型上失败了，例如 Gemma 3 270M，这限制了该主张的普适性。主要的技术怀疑在于，7.9% 的基线对于一个 0.8B 模型来说低得不合常理，除非许多评估因无限/长循环而失败；因此这一提升可能主要是解码/失败模式的修复，而非广泛的“权重空间编程”的证据。

评论者指向原始技术博客而非摘要报道：rikiyat.github.io/blog/weight-space-programming。所提供的核心解读是，Qwen 模型的 MATH-500 分数从 7.9% 提升至 48.1%，很大程度上是因为 GPT-6 Astra 编辑权重以消除一种病态的循环行为，而非通过训练广泛地教会了新的数学能力。

几位评论者质疑基线：7.9% 被认为对于一个 0.8B 模型来说异常低，表明许多失败的 MATH-500 尝试可能是由重复循环导致的非答案。在这种观点下，所报告的大幅提升主要是推理稳定性或失败模式的修复，而非通用权重空间推理或任务学习的证据。

提出的一个技术性警告是，据报道，同样的权重编辑方法在一个没有循环吸引子的模型上失败了，具体是 Gemma 3 270M。这意味着该方法可能高度依赖于在权重空间中发现并纠正某种特定的退化行为，而不是一种通用的免训练优化技术。

技术性较低的 AI Subreddit 回顾

/r/Singularity、/r/Oobabooga、/r/MachineLearning、/r/OpenAI、/r/ClaudeAI、/r/StableDiffusion、/r/ChatGPT、/r/ChatGPTCoding、/r/aivideo、/r/aivideo

1. Claude 模型泄露传闻

Anthropic 的 Mythos 级模型据称在 Hugging Face 上泄露 💀（活动量：4072）：图片是一张 X/Twitter 帖子的截图，声称一个 Hugging Face 仓库 burner22/numbat 包含一个 Anthropic 内部的“Mythos 级”检查点，据称规格为 14T 参数、1,224 个 MoE 专家、772 个分片共 7.72 TB 权重，以及混合 GDN + MLA 架构。该 Reddit 帖子强调，没有对权重真实性的独立验证；图片本身不是技术证据，只是社交媒体上的说法。图片评论者持怀疑态度：一人警告说，这可能是恶意的或伪造的 Hugging Face 上传，意在诱使人们下载不安全的文件；另一人则链接了一条 X 帖子，指出该模型可能是在 10 月 19 日添加的。其他评论大多是玩笑或猜测，例如“它自己泄露了自己”，以及关于对开源竞争对手潜在好处的言论。

评论者提出了供应链/安全方面的担忧，认为据称的 Hugging Face 上传可能是恶意模型或冒充尝试，而非真正的 Anthropic 泄露，并指出缺乏确认且 Twitter/X 来源名称被隐去。一位用户链接了一条 Hugging Face 模型追踪帖子，表明该模型于 10 月 19 日添加（X 帖子），但将其视为间接证据而非验证。

一个技术要点指出，如果该产物是预训练中期的检查点，它很可能缺少后训练层，如安全调优、RLHF 或指令对齐。这意味着与已发布的 Anthropic 模型相比，其行为可能是原始的、不稳定的且未经过滤的，同时也使评估更加困难，因为它可能无法可靠地遵循提示。

至少有一位评论者因本地存储限制而无法测试该模型，这意味着该检查点大到不适合随意验证。该帖中没有提供基准测试结果、架构细节、参数数量或可复现的推理报告。

我们实际上将在同一周得到 Fable 5.5 和 GPT-6.2 Astra（活动量：1090）：图片是一张语法高亮的网站标记截图，其中高亮显示了一个字符串“Claude Mythos 5.5”，发帖者将其解读为 Anthropic 正在为可能的 Fable/Mythos 5.5 发布准备推广/博客基础设施的证据。这不是基准测试或已确认的公告——只是一个推测性的 HTML 产物/泄露，与标题所称“Fable 5.5”和“GPT-6.2 Astra”可能在同一周发布的说法相关。评论者将可能的发布视为与 OpenAI 竞争的战略重要性，其中一人认为，如果 Anthropic 在竞争对手发布前后安排更新，这可能“对 OAI 具有决定性”。其他人则关注访问限制，指出即使是 Opus 5.5 或潜在的 Mythos/Fable 变体等强大模型，在没有可信合作伙伴或机构访问权限的情况下也可能无法获得。

一位评论者强调了一个访问/部署问题：尽管 Opus 5.5 足以满足他们当前的工作，但他们预计不会获得 Mythos/Fable，因为他们所在的大学没有参与可信合作伙伴访问计划。这被视为学术/科研用户（特别是生物学领域）的实际障碍，而非对模型质量的抱怨。

另一个技术主题是竞争性发布时间：评论者推测 OpenAI 面临压力，因为每次旗舰发布都有可能被竞争对手的更新迅速超越，甚至可能被非旗舰模型层级超越。讨论暗示，Fable 5.5 和 GPT-6.2 Astra 在同一周到来，可能成为对相对模型性能和发布节奏的有意义检验。

2. Claude Code 对游戏克隆的限制

用户指出，通过将 Claude Code 用作另一个模型（如 DeepSeek）的“助手”，可能绕过护栏，这意味着该限制可能仅在直接生成层可执行，而在多模型工作流中 Claude 用于规划、重构或中间代码协助时则无法执行。

有人提出了一个技术相关的区分：请求明确克隆的提示，例如“给我做一个 Pokemon 的复制品，完美重现怪物和机制”，与类型级实现提示，例如“一个受经典 Pokemon 游戏启发的怪物捕捉游戏，具有类似机制，采用复古 2D 风格”。一位评论者报告说，后一种风格在实现战斗规则和伤害计算时没有触发 Claude 的护栏，这表明过滤器可能严重依赖直接的 IP 引用和类似克隆的措辞，而非仅依赖机制。

3. 用于科学和数学的 AI 智能体

MIT研究人员称，GPT-6 Astra通过直接编辑一个小型Qwen模型仅0.016%的权重，将其数学成绩从7.9%提升至48.1%，且无需基于梯度的训练。（活动：1712）：一篇帖子重点介绍了Rikiya Takehi所称的“权重空间编程”（Weight-Space Programming）成果，其中被称为GPT-6 Astra的前沿模型无需基于梯度的训练，即可直接检查和编辑神经网络权重（X、博客）。所报告的演示包括：从原始权重中识别Atari风格策略、通过修改3.5%的权重修补PPO汽车策略、从零生成MinAtar Breakout权重，以及仅编辑Qwen3.5-0.8B权重的0.016%来减少推理循环并将数学准确率从7.9%提升至48.1%，并声称指令遵循能力提升最高达3倍。评论者对此表示惊讶，并将其视为超越参数/数据扩展和推理时扩展的可能第三条进步轴：“权重空间学习”。若干评论推测了递归自我改进和未来硬件加速，但所提供的热门评论中没有实质性的技术批评。

一位评论者尝试在较小的Transformer检查点上复现这一想法，限制Astra首先使用局部数值权重分析，然后在MPS上进行有界前向传播，不改变架构也不增加推理成本。该模型检查了语义键/类别/权重/偏置，检查了非有限值、坍缩的注意力头、被置零的读出层、注意力门幅度、投影补偿和矩阵秩，然后才尝试可逆的候选编辑。

复现尝试发现，尽管改进了某个校准指标，朴素的直接编辑仍可能无法通过留出验证：对对象偏置进行-0.35的编辑将假阳性从43降至33，但也将正确对象从32降至27，因此按照无伤害标准被拒绝。后来，更有针对性的编辑沿类别投影子空间调整父查询/键权重，在102个页面上产生了小幅开发集增益：子父链接召回率75.69% → 76.03%，精确率89.09% → 89.49%，新增6个正确链接，且没有丢失任何先前正确的链接。

“当我们证明第一个千禧年大奖难题时，是即将发布的下一代GPT模型的10000个智能体，工作了大约4天”（活动：1256）：一个链接的YouTube片段被引用来支持这一说法，即证明“第一个千禧年大奖难题”涉及一个未发布的“下一代GPT”模型的10000个智能体运行约4天。该帖子将此描述为大规模多智能体推理/搜索工作负载，而非单一模型响应，但没有提供关于该问题、证明验证、智能体架构、计算预算或可复现性的可验证技术细节。热门评论聚焦于推理扩展经济学：评论者推测未来模型可能只需约100个智能体即可获得类似结果，并且此类智能体集群可能很快对不太复杂的任务变得廉价。一位评论者认为，计算支出应展示公共利益，例如产生具体的疾病治愈方法或生物医学突破。

一份成本明细引用Altman的话称，10000个智能体运行4天的计算成本约为1000万美元，这意味着每个智能体约1000美元、每天250美元或每小时约10美元。评论者推断，如果此类智能体工作流在专家监督下变得可靠，它们可能在经济上取代一些初级知识工作任务。

若干评论者关注扩展经济学：如果未发布的“下一代GPT”为所称的千禧年大奖难题结果需要10000个智能体，未来的模型改进或更便宜的推理可能将所需集群规模降至大约100个智能体即可获得可比结果。核心的技术推测是，能力提升加上计算成本下降，可能使目前奇特的多智能体搜索/证明工作流变得足够廉价，可用于常规问题求解。

我让Claude访问了远程望远镜。现在她每晚都在预订天空。（活动：3007）：一位用户报告构建了一个智能体式Claude工作流，通过位于智利、西班牙和犹他州的StellarDock租用和操作机器人望远镜：选择目标、检查月球/高度约束、选择滤镜/曝光、预订时间、下载帧，然后进行叠加/最终图像处理。初始使用包括天体测量——3个夜晚对8颗小行星测量了57个位置并提交给小行星中心——以及黎明时分对近日彗星的搜索；后来的目标包括螺旋星云、猎户腰带、蜘蛛星云/大麦哲伦云、猎户星云和玫瑰星云。评论大多是好奇和推测：有人建议将该设置连接到SETI，而另一个人询问实现细节，如天文学背景、望远镜租赁成本和目标规划工作流。作者还澄清，称Claude为“她/Annie”是一种航海风格的命名，用于一个“操纵”望远镜的工具，并非声称其有意识。感谢阅读

保持略微领先于时代。