Meta 发布 Muse Realtime Voice 与 Muse Realtime Avatar 统一流式架构
Meta 发布 Muse Realtime Voice 与 Muse Realtime Avatar,二者通过共享语音 token 流组成统一流式架构,前者生成编码内容与韵律的语音 token,后者消费同一流并生成流式视频。系统以固定长度历史作为后续分块的动作上下文,在任意对话长度下保持有界计算,同时生成同步的语音、唇动与表情。团队将带 3-way CFG、每段视频需 120 次评估的 40 步扩散教师模型蒸馏为无引导的 2 步因果学生模型,配合固定长度 KV cache 与 self-forcing,以少 60 倍的评估次数接近教师质量;在自家实时通话产品中与两个商用化身系统对比,Muse Realtime Avatar 在整体偏好上领先。
匹配字段摘要


