←搜索结果

按匹配度 · 共 491 条结果 清除搜索

星期一

  1. LMSYS Blog

    SGLang RL 团队实现 INT4 QAT 端到端 RL 训练,单张 H200 跑约 1TB 模型

    SGLang RL 团队在 slime 框架上复现并落地了 INT4 QAT 端到端方案,训练侧用假量化加 STE,推理侧用 W4A16 真实量化,使约 1TB 规模的 K2 类模型可装入单张 H200(141GB)。消融实验显示,训练端假量化与推理端真实量化必须同时开启,否则训练与推理的 logprob 差异会明显增大;在 Qwen3-235B-A22B 和 Kimi-K2-Thinking 上,BF16 训练加 INT4 推理的奖励与评测分数走势与 BF16、FP8 方案基本重合。团队称 INT4 的主要收益来自显存压缩带来的单节点 rollout,因为 H 系列 GPU 没有原生 INT4 Tensor Core,其计算速度与 FP8 大致同档。

    End-to-end QAT INT4 pipeline

    AM and bandwidth pressure, delivering rollout efficiency significantly higher than W8A8 (FP8 weights, FP8 activations) This project is jointly completed by the SGLang RL team, InfiXAI team, Ant Group Asystem & AQ Infra team, slime team, and RadixArk team. Related features and recipes have been synced to the slime and Miles communities. We welcome everyone to try them out and contribute. We are also further challenging ourselves with MXFP8 and NVFP4. We also gratefully acknowledge Verda Cloud for

    匹配字段正文

星期四

  1. TLDR AI

    Copilot、Agent Skills 与表格:TLDR AI 本周综述

    Microsoft 在 Microsoft 365 中推出 Copilot Readiness Packages,为管理员提供引导式评估和安全部署预设,并在 Teams 管理中心加入自动问题检测与 Copilot 驱动的建议。Anthropic 为企业版 Claude 推出可复用的 Agent Skills,可编码品牌语气、邮件格式、Jira 任务创建等流程,标准已开放,除正常 Claude 订阅外不额外收费。OpenAI 面向专业和企业用途发布 GPT-5.2,聚焦长上下文、结构化输出和多步骤项目,提供三个变体。

    密集型流程构建更可靠的自动化。 为何重要:这使 AI 从“问一个问题、得到一个答案”转向“描述你想要的结果,让模型围绕你现有的工具来编排工作”。 来源:VentureBeat – GPT‑5.2 来了:企业需要了解什么 AI 技术栈正在垂直整合,这改变了你的工具版图 摘要:近期一份对 AI 格局的分析认为,OpenAI、Anthropic、Google 和 xAI 正从“只做模型”转向垂直整合的技术栈,涵盖基础设施、模型、智能体和分发渠道,同时一个新的 Agentic AI Foundation 正试图防止碎片化。对高管而言,这意味着供应商选择不再仅仅关乎模型准确度,还关乎你希望自己的运营依托于哪个由智能体、连接器和合作伙伴应用构成的生态系统。 为何重要:你的 AI 战略正日益成为平台战略,因此围绕少数几个生态系统的整合将影响从采购到人才和集成选择的一切。 摘要:一篇 2025 年 12 月下旬的回顾指出,AI 系统已从静态内容生成器转变为能够使用工具、操作你的日历并跨软件协调以在无需持续提示的情况下完成任务的智能体。文章强调,人们日益期待在 2026 年,智能体将在后台越来越多地处理

    匹配字段正文

星期二

  1. LG AI Research 官方博客

    LG AI Research:从工具到同事,扩展人类判断力的 AI UX 设计

    LG AI Research 在 2025 AI Ethics Seminar 第四期中提出,AI 正从专用工具变为工作基础设施,UX 设计应让 AI 成为“同事”而非“工具”。文章引用 Kahneman 双系统理论与 Bruner 叙事自我理论,并援引 35 个人机决策案例及 ECG、放射科、150 名高管实验,说明自动化偏见会削弱人类判断。

    HJK_c3104e5c1.png

    not only refine AI models but also consider how to design structures within UX that prompt users to think again. AI & Society researchers[7] point out that simple explainability (XAI) or transparency alone is not enough to solve this problem. In fact, poorly designed explanations themselves can become another heuristic, reinforcing automation bias by fostering trust while reducing doubt. Accordingly, this post summarizes the five human–AI collaboration design implications presented in this revi

    匹配字段正文

星期三

  1. Ahead of AI精选

    DeepSeek V3 至 V3.2 模型技术演进全览

    DeepSeek V3.2 延续 V3 系列架构,并引入 DeepSeek Sparse Attention、自验证、自改进及多项 GRPO 训练调整。文章梳理了 V3、R1、V3.1、V3.2-Exp、DeepSeekMath V2 和 V3.2-Speciale 的演进,解释 MLA、RLVR 与混合推理模式等关键机制。更新部分还介绍了用于改善训练稳定性和收敛表现的 mHC 残差路径研究。

    ng DeepSeek V3 as a base model) helped DeepSeek become one of the most popular open-weight models and a legit alternative to proprietary models such as the ones by OpenAI, Google, xAI, and Anthropic. So, what’s new since V3/R1? I am sure that the DeepSeek team has been super busy this year. However, there hasn’t been a major release in the last 10-11 months since DeepSeek R1. Personally, I think it’s reasonable to go 1 year for a major LLM release since it’s A LOT of work. However, I saw on vari

    匹配字段正文

星期一

  1. One Useful Thing

    Ethan Mollick:当下使用 AI 的一份有主见指南

    Ethan Mollick 发布了一份当下使用 AI 的有主见指南,建议按 OpenAI 公布的真实使用数据判断何时用免费模型、何时升级付费。他指出最先进的四套系统是 Claude、Gemini、ChatGPT 和 Grok,付费档为每月 20 美元或约 200 美元,前者适合大多数人,后者面向复杂技术与编程需求。做正经工作时建议手动选择 Agent 模型,例如 GPT-5 Thinking Extended 或 GPT-5 Thinking Heavy。

    果图表表明免费模型足以满足你使用 AI 的目的,那就选一个你最喜欢的用起来,不必再操心本指南中的其他内容。你基本上有九个左右的选择,因为只有少数几家公司能制造前沿模型。它们都提供一定的免费访问。最先进的四套 AI 系统是 Anthropic 的 Claude、Google 的 Gemini 、OpenAI 的 ChatGPT ,以及 Elon Musk 的 xAI 旗下的 Grok。然后是开放权重 AI 家族,它们几乎(但并非完全)同样出色:中国的 Deepseek 、Kimi 、Z 和 Qwen,以及法国的 Mistral。在几乎任何 AI 评级系统中,这些 AI 模型的变体合计占据了前 35 名。你使用的任何其他提供前沿 AI 的服务,从 Microsoft Copilot 到 Perplexity(两者都提供一定的免费使用),都是以这九种 AI 中的一个或多个为基础驱动的。 你应该如何在它们之间做选择?一些免费系统(如 Gemini 和 Perplexity)擅长网络搜索,而另一些则完全无法搜索网络。如果你想要免费的图像生成,最佳选择是 Gemini,ChatGPT 和 Grok

    匹配字段正文

星期四

  1. LG AI Research 官方博客

    LG AI Research 论文解读:阿里通义实验室 WebDancer 如何用网页搜索增强 LRM 长推理

    LG AI Research 发文解读阿里通义实验室的 WebDancer 论文,该方法通过网页搜索工具增强大推理模型(LRM)的长链推理,缓解长推理中的信息缺口与模型幻觉。论文提出 CRAWLQA 与 E2HQA 两种合成数据生成方法:前者基于 arXiv、GitHub、Wikipedia 等多跳网页生成 QA,后者将简单事实问题逐步改写为需多步推理的难题。

    al sources when needed. Various models and services reflecting this trend have emerged; representative examples include OpenAI’s ChatGPT (Deep Research), Google DeepMind’s Gemini, xAI’s Grok3, and LG AI Research’s ChatEXAONE (Deep Research). In this article, I introduce WebDancer from Alibaba’s Tongyi Lab, a paper that proposes enhancing long reasoning in LRMs through the use of web search tools[6]. The paper takes a holistic view of the agentic LRM domain, covering everything from key ideas to

    匹配字段正文

星期四

  1. SemiAnalysis精选

    Amazon AI 复苏:AWS 与 Anthropic 扩建多吉瓦级 Trainium 基础设施

    AWS 正为 Anthropic 扩建多吉瓦级 AI 训练基础设施,三个接近完工的园区合计拥有逾 1.3GW IT 容量,最大园区将部署近百万颗 Trainium2。Trainium2 的多项性能落后于 NVIDIA 系统,但在单位内存带宽总拥有成本上具有优势,契合 Anthropic 侧重强化学习和训练后扩展的路线。Anthropic 还深度参与 Trainium 的系统设计,同时继续使用 Google TPU 和 NVIDIA GPU。

    revenue fivefold year-to-date to reach $5B annualized. To keep that trajectory, Anthropic is betting hard on Scaling Laws. While Dario’s startup draws fewer headlines than OpenAI, xAI and Meta Superintelligence, it isn’t shy about investment. AWS has well over a gigawatt of datacenter capacity in final stages of construction for its anchor customer. AWS is building datacenters faster than it ever has in its entire history. And there’s much more on the horizon. Trainium vs GPUs While Amazon’s AI

    匹配字段正文

星期六

  1. SemiAnalysis精选

    Meta 超级智能分析:领导力、算力、人才与数据

    Meta 正通过收购 Scale AI 49% 股份、组建超级智能团队并扩建 GPU 集群,全面重整生成式 AI 战略。其计划以高额薪酬引进顶尖人才,并建设 Prometheus 和 Hyperion 集群;报告同时将 Llama 4 Behemoth 的受挫归因于注意力、MoE 路由、数据质量及规模化训练问题。

    Just a year ago, Meta scrapped its decade-old “H”-shaped datacenter blueprint for a new AI-optimized design. Now in 2025, Zuck decided to re-invent the strategy again. Inspired by xAI’s unprecedented time-to-market, Meta is embracing a datacenter design that prioritizes speed above all else. They’re already building more of them! Traditional datacenter and real estate investors, still somewhat reeling from xAI’s Memphis site and time to market, will be shocked yet again. This design isn’t about

    匹配字段正文

星期一

  1. vLLM 官方博客

    vLLM 分布式推理中的张量并行与流水线并行

    vLLM 介绍了如何结合张量并行和流水线并行,在多 GPU 或多节点上部署超出单卡容量的大模型。张量并行可降低延迟但依赖高带宽互连,流水线并行通信开销较低且更适合跨节点部署。案例中从 TP=1 扩展到 TP=2 后,KV cache block 增加 13.9x,token 吞吐量提升 3.9x。

    tion support will be crucial for optimizing AI workloads. Come to the Bi-weekly Office Hours to learn more about LLM inference optimizations and vLLM! Acknowledgement Sangbin Cho (xAI) for the origination of some of the figures. Related Posts vLLM x AgentX: Optimizing for Real-World Agentic Serving How vLLM optimizes KV cache management, parallelism, scheduling, and P/D disaggregation for agentic workloads, validated on SemiAnalysis AgentX with up to 130K tokens per GPU-second and a 14.6x-106x s

    匹配字段正文

星期四

  1. a16z:News

    a16z 发布 AI Canon:现代 AI 必读资源精选清单

    a16z 发布“AI Canon”精选资源清单,汇集过去几年对 AI 领域影响最大的论文、博客、课程与指南。清单从 Transformer 与潜在扩散模型入门讲起,延伸到 LLM 技术学习、实践指南与 AI 市场分析,并收录以 2017 年 Google 论文《Attention is All You Need》为起点的里程碑研究。

    AI and infrastructure. Expanding the a16z Growth Fund and Platform The Machine Age Fund Rise of the Borderless Founder OpenRouter & Stripe: The Intelligence Network Cursor + SpaceXAI: the fastest iterating team wins This Essay is 10% AI Generated Can Agents Use a Computer Yet? We’ve Got the Data Expert News by a16z Views expressed in “posts” (including podcasts, videos, and social media) are those of the individual a16z personnel quoted therein and are not the views of a16z Capital Management,

    匹配字段正文

星期二

  1. Lilian Weng:Lil'Log

    如何解释机器学习模型的预测?| Lil'Log

    Lilian Weng 在 Lil'Log 撰文梳理机器学习模型的可解释性方法,从线性回归、朴素贝叶斯、决策列表到随机森林等本身可解释的模型入手。文章引用 Lipton (2017) 提出的可模拟性、算法透明性与可分解性三项标准,并以金融放贷、医疗诊断、司法再犯预测和自动驾驶等场景说明解释模型决策的必要性。

    ects are combined into one objection function to optimize for. I borrow the name of this section from the DARPA project “Explainable Artificial Intelligence”. This Explainable AI (XAI) program aims to develop more interpretable models and to enable human to understand, appropriately trust, and effectively manage the emerging generation of artificially intelligent techniques. With the progress of the deep learning applications, people start worrying about that we may never know even if the model

    匹配字段正文