AWS 于 2026 年 10 月 20 日介绍 vLLM 新增的双向 KV 缓存传输机制:在后续轮次中,decode 节点把已算好的 KV 缓存回传给 prefill 节点,避免重复计算对话历史。在 Amazon EC2 P5en 的 1P1D 部署上,该机制使 Qwen3-32B 的 TTFT 最高改善 1.6 倍,zai-org/GLM-5-FP8 最高改善 3.3 倍。该能力最初在 AWS Trainium 集群上验证并贡献给 vLLM,作为与加速器无关的特性,需配合 KV-cache-aware 路由器协调跨轮复用。目前尚无后续发展。
匹配字段标题
Deepgram与AWS合作,将Nova-3语音转文字模型移植到AWS Trainium2。据AWS Machine Learning于2026年10月20日发布的信息,单台trn2.3xlarge实例可运行8个模型副本,在离线批处理场景下每美元处理的音频量比原有方案提升11%–70%。团队使用TorchNeuron完成PyTorch移植,并通过NKILib融合内核与手写NKI内核调优,其中FFN内核延迟降低2.0x、depthwise conv1d提速1.5x,conv2d内核解锁了32以上的批大小。目前尚无后续发展事实。
匹配字段标题
AWS 于 2026 年 10 月 20 日介绍 vLLM 新增的双向 KV 缓存传输机制:在后续轮次中,decode 节点把已算好的 KV 缓存回传给 prefill 节点,避免重复计算对话历史。在 Amazon EC2 P5en 的 1P1D 部署上,该机制使 Qwen3-32B 的 TTFT 最高改善 1.6 倍,zai-org/GLM-5-FP8 最高改善 3.3 倍。该能力最初在 AWS Trainium 集群上验证并贡献给 vLLM,作为与加速器无关的特性,需配合 KV-cache-aware 路由器协调跨轮复用。目前尚无后续发展。
匹配字段标题
AWS 推出 基于推送的NIXL连接器
English translation is being prepared.
匹配字段标题
Deepgram与AWS合作,将Nova-3语音转文字模型移植到AWS Trainium2。据AWS Machine Learning于2026年10月20日发布的信息,单台trn2.3xlarge实例可运行8个模型副本,在离线批处理场景下每美元处理的音频量比原有方案提升11%–70%。团队使用TorchNeuron完成PyTorch移植,并通过NKILib融合内核与手写NKI内核调优,其中FFN内核延迟降低2.0x、depthwise conv1d提速1.5x,conv2d内核解锁了32以上的批大小。目前尚无后续发展事实。
匹配字段标题
AWS宣布,新客户可通过新版AWS登录注册体验直接进入SageMaker Studio。据AWS Machine Learning于2026年10月20日发布的信息,新客户可使用Amazon、Apple、GitHub、Google账号或邮箱,在2–3步内完成AWS注册,并自动在约20秒内创建好SageMaker Studio环境,无需手动配置;多数客户无需填写信用卡。新客户可获得100美元AWS Free Tier额度,用于模型定制、训练任务、Studio notebook和端点部署,符合条件账户默认可用G5、G6、G4dn GPU实例。该体验仅面向新AWS账户,已有账户登录方式不变。目前尚无后续发展事实。
匹配字段标题
AWS 宣布 新客户可通过新版AWS登录注册体验直接进入SageMaker Studio
English translation is being prepared.
匹配字段标题
AWS 于 2026 年 10 月 20 日推出基于推送的 NIXL 连接器,用于分离式推理中的 KV 传输。该连接器把 prefill 之后的传输协调与建立过程移出关键路径:在 pull 模式下,由 decode 实例发起 NIXL READ 的串行步骤,现改为由 prefill 侧后台线程发起 NIXL WRITE。AWS 表示,在 1P1D 的 Amazon EC2 P5en + EFA 部署上,Qwen3-32B 的 TTFT 最高提升 3 倍、TPOT 最高提升 30%。该功能先在 AWS Trainium 集群上构建验证,随后作为与加速器无关的特性贡献给 vLLM。目前尚无后续发展事实。
匹配字段标题
2026年10月17日,AWS销售运营团队介绍了一套基于Amazon Bedrock AgentCore Evaluations搭建的、覆盖全生命周期的AI智能体评估框架,用于其服务全球AWS现场销售的多智能体系统。据AWS Machine Learning发布的信息,该团队在上线前评估Customer Insights Agent时发现,该智能体把410.08美元三个月营收报成“4.1008亿美元”等错误,而传统监控始终显示正常;一次预生产测试中,数据、工具与提示词变更错位更让通过率从78%跌至38%。目前该框架已用于上述多智能体系统的评估。
匹配字段标题
AWS 介绍 基于Amazon Bedrock AgentCore的生产级智能体评估框架
English translation is being prepared.
匹配字段标题
2026年10月15日,AWS提出名为Trust in Depth的代理信任框架,目标是让AI智能体在可验证时自主行动,同时把人类判断留给真正需要决策的环节。该框架采用独立分层的信任机制,围绕Scope、Know、Bound、Observe四个生命周期问题构建。AWS同时引入自动推理技术来验证智能体规则,并称该技术已在IAM(每秒超21亿次请求)、AWS Nitro Hypervisor、Amazon S3 Block Public Access等系统运行十余年。目前尚无后续发展事实。
匹配字段标题
AWS 提出 Trust in Depth
English translation is being prepared.
匹配字段标题
2026年10月14日,Orca Security 与 AWS 合作,基于 Amazon Bedrock 构建了自然语言查询智能体 Discovery AI,可将自然语言问题转换为 Sonar 查询。据 AWS Machine Learning 发布的信息,该方案采用 RAG 与 schema 感知查询构建的九阶段流水线,并组合使用 Amazon Titan Text Embeddings 与 Cohere Rerank 3.5。相比初始基线,查询成本降低 90%、输入 token 减少 93%、延迟降低 75%;目前每天处理数千次查询,响应时间 15 秒。截至现有证据,尚无后续发展事实。
匹配字段标题
Orca Security 合作构建 Discovery AI
English translation is being prepared.
匹配字段标题
2026年10月12日,AWS 发布面向多节点部署的 Ray LLM Deep Learning Container(DLC)。据 AWS Machine Learning 介绍,该容器可在 Amazon EKS 上把单个大语言模型跨两个 GPU 节点部署,并将 prefill 与 decode 阶段分离在各自节点上,统一暴露一个 OpenAI 兼容端点。容器内置 vLLM、Ray Serve LLM、NIXL 与 EFA 通信栈,通过 build_pd_openai_app 用一段 YAML 完成服务配置,无需编写应用代码。目前该事实仅有这一条第一方证据,暂无后续发展。
匹配字段标题
2026年10月13日,Amazon Web Services团队提出priming方法,相关论文题为《Priming: Hybrid state space models from pre-trained Transformers》。该方法复用预训练Transformer权重初始化混合架构,据Amazon Science发布的信息,可将混合架构的预训练成本降低99%以上。在受控对比中,Gated KalmaNet(GKA)表现优于Gated DeltaNet(GDN)和Mamba-2;基于GKA的32B混合模型在推理基准上与源Transformer持平,128K上下文下解码速度最高提升至2倍。团队以Apache 2.0协议开源了8B和32B的混合模型、训练代码、优化内核及vLLM服务插件。目前尚无后续发展事实。
匹配字段标题
AWS 推出 Ray LLM DLC for multi-node deployments
English translation is being prepared.
匹配字段标题
2026年10月12日,AWS与HSBC发表论文,提出Double Ratchet,让评分器随智能体技能同步演化,不再需要人工编写评分标准。该方法用10个标注样本筛选评分器版本,且只以与标注样本一致为准,不以抬高智能体得分为目标。在代码、SQL和报告任务上,它保留了真实标注或评分细则所带来增益的88%到110%;移除防护机制后,评分器放行了97%到100%的输出,但训练技能的效果相当。目前该工作以论文形式公开,尚无后续进展。
匹配字段标题
AWS与HSBC 发表论文提出 Double Ratchet：评分器与智能体技能共同进化
English translation is being prepared.
匹配字段标题
Amazon Web Services团队 提出 priming方法
English translation is being prepared.
匹配字段标题