Google发布XR手势交互原型AgentHands
2026年8月25日,Google发布XR手势交互原型AgentHands。据Google Research介绍,该原型由LLM驱动,为XR空间中的对话智能体配上与语音同步的表达性手势,把抽象指令转化为贴合用户物理空间的动作演示,相关论文发表于CHI 2026。系统通过眼动与场景重建把兰花、笔记本等物体注册进3D边界框,LLM在回复中内联GestureEvents,头显本地解析器用词级时间戳让手势与TTS精确同步。在N=12的被试内研究中,AgentHands与纯语音基线对比,验证了XR与共语手势结合在兰花养护和3D打印机操作任务中的效果。目前尚无后续发展事实。
匹配字段标题