Answer.AI 团队对 Devin 进行了一个月的真实任务测试，在 20 个任务中记录到 14 个失败、3 个成功和 3 个结果不明，且无法从任务类型预判成败。Devin 通过 Slack 交互并自带 Docker 计算环境，早期在 Notion 到 Google Sheets 的数据同步等任务上表现不错，但在新建项目、研究任务和修改现有代码库时频繁陷入死胡同，甚至花超过一天尝试 Railway 并不支持的部署方式。团队认为开发者主导、AI 辅助的工作流（如 Cursor）更能规避这些问题。
#评测/基准#Agent#编码
Anthropic 工程博客总结与数十个团队共建 LLM 智能体的经验，指出最成功的实现并未使用复杂框架，而是采用简单可组合的模式。文章区分了由预定义代码路径编排的工作流与由 LLM 自主决定流程和工具使用的 Agent，并给出提示词链、路由、并行化、编排者-工作者、评估者-优化者五种工作流模式及各自适用场景。作者建议从直接调用 LLM API 和简单提示词起步，仅在简单方案不足时才增加多步智能体系统的复杂度，并强调工具文档与 agent-computer interface（ACI）的设计投入应与 HCI 相当。
#教程/实践#Agent#MCP/工具调用
vLLM 官方博客给出在 AMD MI300X 上部署大语言模型的优化指南，涵盖分块预填充、多步调度、前缀缓存、图捕获、KV cache 和张量并行等 8 项设置。测试中，vLLM 服务 Llama 3.1 405B 时比 TGI 吞吐量高 1.5x、TTFT 快 1.7x，服务 Llama 3.1 70B 时吞吐量高 1.8x、TTFT 快 5.1x。
#教程/实践#部署/工程#开源生态
vLLM 通过推测解码让小模型提出候选 token、再由大模型批量验证，在不牺牲准确性的前提下降低生成延迟。测试中，基于草稿模型的方法在 ShareGPT 数据集上实现最高 1.5x 加速，提示词查找解码在 CNN/DailyMail 摘要数据集上达到最高 2.8x。该方法更适合低 QPS 环境，高 QPS 下可能因额外计算产生性能损失。
#教程/实践#推理#部署/工程
Anthropic 提出 Contextual Retrieval 方法，通过 Contextual Embeddings 和 Contextual BM25 两项子技术，将 top-20 检索失败率降低 49%（5.7% 降至 2.9%），叠加 reranking 后降低 67%（5.7% 降至 1.9%）。该方法用 Claude 3 Haiku 为每个分块生成 50-100 token 的上下文说明，再拼接到分块前进行嵌入和建立 BM25 索引，配合 prompt caching 时生成上下文化分块的一次性成本为每百万文档 token 1.02 美元。Anthropic 同时提供了可直接部署的 cookbook。
#教程/实践#RAG#Anthropic
Ollama 在博客中称 Llama 3 的误拒率不到 Llama 2 的三分之一，可讨论的话题范围更广。文中用同一组提示词对比了 Llama 3 8B 与 Llama 2 7B 的输出，两者均采用 4-bit 整数量化。用户可下载 Ollama 并运行 llama3 在本地体验。
#现象/趋势#OpenAI#评测/基准
Lilian Weng 在 Lil'Log 撰文梳理以 LLM 为核心控制器的自主智能体架构，将其拆解为规划、记忆和工具调用三大组件。规划部分涵盖 CoT、Tree of Thoughts、LLM+P 等任务分解方法，以及 ReAct、Reflexion、Chain of Hindsight、Algorithm Distillation 等自我反思机制。记忆部分区分短期上下文学习与基于外部向量库的长期记忆，并介绍 LSH、ANNOY、HNSW、FAISS、ScaNN 等快速 MIPS 检索算法；工具调用部分则列举 MRKL、TALM、Toolformer、HuggingGPT、API-Bank 以及 ChemCrow 等科学发现智能体案例。文末指出有限上下文长度、长期规划与任务分解、自然语言接口可靠性三类常见局限。
#教程/实践#Agent#推理
Lilian Weng 发布提示词工程综述，系统梳理零样本、少样本、指令提示、CoT、自洽采样、检索增强与外部工具调用等方法，并指出提示词效果因模型而异，需要大量实验和启发式调整。文章还汇总了示例选择与排序、自动提示词生成、Tree of Thoughts、Toolformer 等方向的研究，并附 26 篇论文引用。
#教程/实践#推理#数据/训练