←搜索结果

按匹配度 · 共 122 条结果 清除搜索

星期五

  1. Anthropic:The Institute

    Anthropic 发布第六期经济指数报告:Claude 使用节奏与产物分析

    Anthropic 发布 Economic Index 报告,改用每日持续采样的隐私保护遥测数据,可观察到小时级使用规律。报告显示个人用途对话占比从工作日的约 35% 升至周末的近 50%,食谱请求在 18 点出现 2.3 倍峰值,4 月 14 日税务相关对话是 5 月平均日的 8 倍。报告还按产物对对话分类,93% 的对话被识别出产物,其中解释类占 17%、文档与报告占 15%。

    和打标签,其规范更为精确。Cowork 中数据和电子表格工作既占比过高又尤其自主,这解释了聊天和 Cowork 提升的一部分原因。 13有关此分类所用提示词的详细信息,请参阅我们 3月报告. 在我们用户群体之外,由更结构化的调查数据所呈现的类似模式也同样成立,这些数据来自 Anthropic 公开记录一项覆盖超过5万名美国人的全国代表性调查。 15 在职业被编码为管理类的人群中,48.1% 表示自己受雇于某家公司,24.4% 表示自己是拥有雇员的企業主,21.7% 表示自己是自雇人士或承包商。其余人目前没有工作,报告的是其最近一份职业。 16不包括军事。 17由于回答被分箱处理——因此最低可能的编码回答也高于零,而最高可能的回答则低于一——本图中的斜率偏向于零。因此,我们对斜率的比较只作定性解读,而不将其视为精确估计。不过,若改用“报告 AI 能完成至少 60% 的工作任务”这一指标来估计该关系(该指标不受中点编码影响),上述模式(正斜率且近乎平行的直线)依然稳健。 分箱后的回答量表很可能也起了作用:由于中点编码会把报告的任务份额拉离两端,即使不存在任何实质性差异,观察到的暴露度也往往

    匹配字段正文

星期四

  1. 蚂蚁百灵:Developer Blog

    蚂蚁百灵发布 Ling 2.5 万亿参数混合线性架构改造实践

    蚂蚁百灵在开发者博客公开 Ling 2.5 架构改造实践,将 Ling 2.0 的 GQA 替换为 1:7 的 Lightning Attention 与 MLA 混合线性注意力,并扩展到万亿参数规模。Scaling Law 实验显示 1:7 比例(M=8)在相同 FLOPs 下表现最佳,M=16 推理成本低但 Loss 明显劣化。团队通过权重转换、QK Norm 数学融合与 Partial RoPE 解耦实现平滑迁移,并采用激进数据切换策略在全量加训早期切入新语料。博客提到当上下文窗口扩展至 256K 或更大时,Ling-2.5-1T 仅有的 10 层 MLA 占据超过 60% 的计算成本。

    01

    作阻碍 KV 矩阵吸收:Ling-V2.0 包含 QK Norm 这类非线性操作,这会破坏 MLA 的结构,导致推理阶段无法有效吸收 KV 矩阵。 解决方案:我们在转换前移除了 GQA 中的 QK Norm。利用 RMSNorm 的数学特性,通过数据集校准,将 QK Norm 的参数近似融合至 q proj 和 k proj 权重中,化解这一矛盾。 2、位置编码的不兼容:TransMLA 原生支持 Full RoPE,而 Ling 2.0架构使用的是 Partial RoPE。 解决方案:我们对 RoPE 模块进行了针对性解耦。将受 RoPE 影响的维度与无关维度分开处理。 PCA 、权重旋转等操作仅作用于相关维度,处理完成后再进行拼接,确保了位置编码的绝对正确性。 2. 平滑迁移训练策略 为了最小化架构变更对模型性能的影响,我们基于 Ling-2.0-1T-base-20T(即 20T tokens 的 Pre-Training Checkpoint),设计了一套多阶段的权重转换与渐进式训练(Warmup)策略: 转换至 Lightning Attention 与 GQA 混合的架构

    匹配字段正文