NVIDIA推出HSTU推理部署工作流
2026年10月1日,NVIDIA推出基于Dynamo-Triton、PyTorch AOTI和FlexKV的HSTU推理部署工作流。据NVIDIA Developer · Generative AI发布的官方信息,NVIDIA recsys-examples现已提供基于Dynamo-Triton的端到端HSTU生成式推荐推理工作流,结合PyTorch AOTI编译与FlexKV支持的KV缓存。在NVIDIA RTX PRO 6000 Blackwell Workstation Edition GPU上,八层HSTU模型在batch size 8、100% GPU KV-cache命中率下,延迟相比无缓存的同款AOTI配置最多降低5.93x,三层模型为4.47x。目前该工作流已随recsys-examples提供,暂无后续发展事实。
匹配字段标题