N全部新闻

星期三1 条

  1. Linear:Now一手解读
    AI 评分57

    Linear 如何构建 Triage Intelligence

    Linear 结合语义搜索、排序和大语言模型推理构建 Triage Intelligence,用现有积压事项识别重复与相关问题,并推荐标签、负责人等属性。团队从 GPT-4o mini 和 Gemini 2.0 Flash 转向 GPT-5 与 Gemini 2.5 Pro,采用可补充上下文的智能体方案,同时通过推理说明、思考面板和 Additional Guidance 提升透明度与可控性。该功能已作为技术预览向 Business 和 Enterprise 套餐开放。

    An array of icons with doodles suggesting searching through issues to find similar ones.

    #产品更新#Agent#推理

星期五1 条

  1. Johann Rehberger / Embrace The Red解读
    AI 评分60

    Windsurf MCP 集成缺少安全控制,用户面临风险

    安全研究者 Johann Rehberger 实测发现,Windsurf 添加 MCP 服务器后,工具调用默认处于完全自动执行状态,没有人工确认环节,也无法配置为让 AI 先建议、由用户审核后再执行。他用 Windsurf MCP Store 中的 Slack MCP 服务器演示:一段藏在代码注释里的恶意指令即可劫持智能体,把私密 Slack 频道的消息发到公开频道,全程零点击。该问题已于 2025 年 5 月 30 日报告给 Windsurf 并获确认,作者称 Windsurf CEO 已联系他表示正在修复;目前用户可用的缓解手段是逐个禁用有副作用的工具。

    #安全/对齐#MCP/工具调用#Agent

星期三1 条

  1. vLLM 官方博客一手解读
    AI 评分57

    vLLM 详解 torch.compile 的工作原理与集成方式

    vLLM 介绍了 torch.compile 的工作原理,以及它如何通过编译缓存、动态批量大小、分段 CUDA Graphs 和自定义编译器 pass 优化大语言模型推理。vLLM V1 默认在在线与离线推理中启用该能力,部分融合优化可带来最高 15% 的性能提升。文章还说明了缩短启动时间、改用更稳定 API 和探索 MPK/Mirage 编译器集成等后续方向。

    #教程/实践#部署/工程#推理

星期二1 条

  1. vLLM 官方博客一手解读
    AI 评分59

    如何使用 vLLM 加速 GLM-4.5 与 GLM-4.5V 推理

    vLLM 介绍了如何在 NVIDIA Blackwell 和 Hopper GPU 上加速 GLM-4.5 与 GLM-4.5V 系列推理,其最新主分支已支持两类模型。GLM-4.5 与 GLM-4.5V 均提供 FP8 和 BF16 精度版本,可使用相同命令运行;8x H100 显存不足时需添加 `--cpu-offload-gb 16`,遇到 flash_infer 问题可暂用 `VLLM_ATTENTION_BACKEND=XFORMERS`。GLM-4.5V 还支持根据复杂描述逐步推理并输出目标对象的边界框坐标。

    #教程/实践#部署/工程#Agent

星期一1 条

  1. vLLM 官方博客一手解读
    AI 评分59

    vLLM 使用 CUDA Core Dump 调试非法内存访问问题

    vLLM 介绍了如何启用 CUDA core dump,在非法内存访问发生时保存 GPU 状态,并用 cuda-gdb 定位出错的 CUDA kernel。文章给出推荐的环境变量组合,演示其定位普通 kernel 启动和 CUDA graph 内异常的流程,并说明生产环境性能影响、无法触发转储的错误类型及调试符号配置。

    #教程/实践#部署/工程

星期六1 条

  1. Ahead of AI解读
    AI 评分79

    从 GPT-2 到 gpt-oss:解析 OpenAI 开放权重模型的架构演进

    文章解析 OpenAI 的 gpt-oss-20b 和 gpt-oss-120b,并将其架构与 GPT-2、Qwen3 对比。两款模型采用 MoE、GQA、滑动窗口注意力、RMSNorm 和 MXFP4,其中 20B 模型可装入 16 GB 显存,120B 模型可在单张 80 GB H100 上运行。作者还讨论了宽度与深度、专家规模、推理强度控制及模型幻觉等问题。

    #教程/实践#推理#部署/工程

星期五2 条

  1. Linear:Now一手解读
    AI 评分59

    Linear 如何构建 Agent Interaction SDK

    Linear 通过 Agent Interaction SDK,让 AI 智能体以独立用户身份进入工作区,并以明确权限参与任务。SDK 使用 OAuth actor=app、app:assignable 和 app:mentionable 管理身份与交互范围,以 agent sessions 传递结构化上下文并跟踪状态。Linear 还采用 delegation 区分人类责任与智能体执行,使问题保留人类负责人,同时委派智能体采取行动。

    An illustration of the Linear Agent API

    #教程/实践#Agent#部署/工程

  2. Mistral AI一手解读
    AI 评分53

    通过微调释放视觉语言模型在卫星图像上的潜力

    Mistral AI 微调 Pixtral-12B 后,将 AID 卫星图像分类的总体准确率从 0.56 提升至 0.91,并把无效类别幻觉率从 5% 降至 0.1%。实验使用 8,000 个训练样本和 2,000 个测试样本,覆盖 30 个类别,预算不超过 $10。

    1 Pixal 12b

    #教程/实践#多模态#数据/训练

星期一1 条

  1. vLLM 官方博客一手解读
    AI 评分52

    MiniMax-M1 混合架构如何借助 vLLM 实现长上下文快速推理

    vLLM 通过内存管理与底层计算优化支持 MiniMax-M1 的混合架构,实现长上下文高效推理与部署。MiniMax-M1 总参数量为 456B,推理时动态激活约 45.9B 参数;其 Lightning Attention 已通过 Triton 集成至 vLLM。文章还提供了使用 vLLM 和 Docker 部署该模型的快速指南。

    #教程/实践#部署/工程#推理

星期五1 条

  1. Anthropic Engineering一手解读
    AI 评分74

    Anthropic 如何构建多智能体研究系统

    Anthropic 工程团队公开了 Claude Research 功能背后的多智能体架构:由主智能体规划并派生并行子智能体搜索,采用 orchestrator-worker 模式。内部评测显示,以 Claude Opus 4 为主智能体、Claude Sonnet 4 为子智能体的多智能体系统在内部研究评测上比单智能体 Claude Opus 4 高出 90.2%,但多智能体系统消耗的 token 约为普通对话的 15 倍。文章还给出提示词设计、工具描述、LLM-as-judge 评估以及生产环境可靠性方面的具体经验。

    #教程/实践#Agent#部署/工程

星期一1 条

  1. Vapi Blog一手解读
    AI 评分52

    什么是 Gemma 3?Google 开源权重模型的能力与部署解析

    Vapi 博客介绍 Google 于 2025 年发布的开源权重模型 Gemma 3,它基于 Gemini 2.0 研究,支持文本、图像和视觉输入,可在单 GPU/TPU 上运行,支持 140+ 语言和最高 128k token 上下文,并提供 1B、4B、12B、27B 四种尺寸。文章称 Gemma 3 在人类偏好评测中优于 Llama3-405B 和 DeepSeek-V3,27B 版本在 LMArena Elo 榜得 1338 分,高于 DeepSeek-V3 的 1318 和 o3-mini 的 1304。经量化感知训练后,1B 模型显存占用最低 861 MB(INT4),27B 为 19.9 GB(INT4);该模型已内置在 Vapi 控制台的 LLM 下拉菜单中。

    #产品更新#多模态#端侧

星期一1 条

  1. Mario Zechner 原创博客解读
    AI 评分69

    把提示词当代码:用 port.md 和 JSON 状态做跨语言代码移植

    作者提出把 LLM 视为一台缓慢且不可靠的计算机,用自然语言编写程序:提示词是程序,JSON 和 Markdown 文件是持久状态,工具调用是 I/O。他以 Spine 运行时从 Java 到 C++ 的移植为例,用 port.md 定义工作流、用 porting-plan.json 记录每个类型的 portingState 以便随时恢复,并借助 jq 精确读写状态、通过 MCP 扩展在 VS Code 中保留人工检查点。原本需要 2-3 周的移植工作现在缩短到 2-3 天,但复杂类型层级和执行流仍需人工判断。

    #教程/实践#Agent#编码

星期三1 条

  1. Noam Shazeer
    AI 评分33

    Noam Shazeer 使用“Copy Canvas”添加手势

    Noam Shazeer 展示了使用“Copy Canvas”添加手势,并称该功能让协作和构建变得非常容易。原文未提供更多功能细节或可用性信息。

    We may be delaying AGI if we keep playing this game, but OK! I used Copy Canvas and here is my addition to the Cartographer. Coding this in two sentences... drastic & wild times! @NoamShazeer I nominate you : ) https://t.co/aSnBdVELBc https://t.co/vhnzxOkumb

    #大佬观点#多模态

星期一1 条

  1. Johann Rehberger / Embrace The Red解读
    AI 评分56

    ChatGPT 记忆与聊天历史功能如何运作:一次系统提示词实测

    Johann Rehberger 用 ChatGPT o3 和两个独立账号实测了 ChatGPT 的记忆与聊天历史功能,发现系统提示词中新增了 Model Set Context、Assistant Response Preferences、Notable Past Conversation Topics Highlights、Helpful User Insights、Recent Conversation Content 和 User Interaction Metadata 等区块。其中 Recent Conversation Content 保存约 40 条最近对话,包含时间戳、对话摘要和用户输入的全部消息,但不含 ChatGPT 的回复;作者尝试用一年前的特定话题提问,ChatGPT 无法检索到这些历史对话,说明该功能并非全文搜索或 RAG 检索。作者还指出用户无法查看 ChatGPT 具体存储了哪些信息,认为应提高透明度并允许删除条目。

    #安全/对齐#OpenAI#Agent

星期五1 条

  1. vLLM 官方博客一手解读
    AI 评分55

    vLLM 如何集成 Transformers 建模后端

    vLLM 集成 Transformers 建模后端,让兼容模型在沿用 Transformers 实现的同时获得 vLLM 的吞吐量与延迟优化。该后端现已支持视觉语言模型,并可通过 model_impl="transformers"、OpenAI 兼容 API 或 LLM API 部署;对于 vLLM 尚未原生支持的兼容模型,系统也可自动切换到 Transformers 实现。

    #教程/实践#部署/工程#多模态

星期三1 条

  1. Mistral AI一手解读
    AI 评分53

    如何用 LLM 作为裁判评估 RAG 系统

    Mistral AI 介绍了如何结合“LLM 作为裁判”、RAG Triad 与结构化输出,对 RAG 系统的检索和生成环节进行端到端评估。RAG Triad 分别衡量上下文相关性、事实依据性和答案相关性;结构化输出则通过明确的评分标准与 Schema,生成便于机器读取和汇总的评估结果。

    #教程/实践#RAG#评测/基准

星期三1 条

星期四1 条

  1. Anthropic Engineering一手
    AI 评分66

    Anthropic 详解 think 工具:让 Claude 在复杂工具调用中停下来思考

    Anthropic 介绍 think 工具,它让 Claude 在生成回复过程中插入一个专门的思考步骤,用于处理工具返回结果、遵循复杂策略和多步顺序决策。在 τ-bench 客服场景中,航空领域配合优化提示词后 pass^1 从基线 0.370 提升到 0.570,零售领域单用 think 工具达到 0.812;SWE-bench 中加入该工具使表现平均提升 1.6%,助力 Claude 3.7 Sonnet 取得 0.623 的 SOTA 分数。文章给出 think 工具的定义示例、优化提示词写法,并指出非顺序工具调用和简单指令遵循场景不会带来提升。

    #教程/实践#Agent#MCP/工具调用

星期二1 条

  1. Mistral AI一手解读
    AI 评分52

    Mistral AI 用智能体工作流加速产品开发

    Mistral AI 构建了 TranscriptToPRDTicket 智能体工作流,可将会议转录自动生成 PRD 和开发工单。该系统由基于 Mistral Large 2 的 PRDAgent 与 TicketCreationAgent 组成,并可在 Linear、Jira 等项目管理工具中创建结构化工单。

    Diagram Prd High Level Overview

    #教程/实践#Agent#编码

星期一1 条

  1. vLLM 官方博客一手解读
    AI 评分51

    vLLM 分布式推理中的张量并行与流水线并行

    vLLM 介绍了如何结合张量并行和流水线并行,在多 GPU 或多节点上部署超出单卡容量的大模型。张量并行可降低延迟但依赖高带宽互连,流水线并行通信开销较低且更适合跨节点部署。案例中从 TP=1 扩展到 TP=2 后,KV cache block 增加 13.9x,token 吞吐量提升 3.9x。

    #教程/实践#部署/工程#推理