华为小艺大模型应用实验室主任刘睿:AI助手要告别聊天框,从被动响应走向主动服务
华为小艺大模型应用实验室首任主任刘睿提出,AI助手要告别聊天框、从被动响应走向主动服务。他此前在商汤未能立项的对话式修图技术已在2025年华为Mate 80发布会上亮相,实验室还推出支持实时视频交互与主动服务的Aura流式视频理解模型,以及开源图像生成基础模型Boogu。刘睿认为当前最大瓶颈仍是模型能力不足。
住,提醒你“你把包放在了进门左手边第一张桌子上”。它还可以持续观察环境,主动提醒。我们已经在终端场景落地了一个导盲功能,视障用户过马路时,可以让模型持续观察红绿灯,在绿灯亮起时提醒。在做菜、家具组装等需要较长时间的场景里,Aura也可以持续观察用户操作,适时提供指导。比如做菜时,提醒你应该放什么佐料、加多少油和盐。 左林右狸频道:Aura是怎么同时处理视频、语音和文字,实现这种持续交互的?刘睿:底层还是以语言模型为基础,接入视觉和音频编码器,将视频、语音信息编码到隐空间,再跟语言模型的语义空间对齐。这样就可以利用语言模型原有的问答、推理和工具调用能力处理多模态信息。另一个关键是流式建模,我们把连续的视频流切成一个个时间片段,每段大约300毫秒或者500毫秒。信息实时进入模型,模型持续推理,同时参考此前输入的内容。这样一方面可以记住过去的视觉信息,另一方面可以根据用户意图,在未来的关键信号出现时及时作出反应。比如主动告诉你,“你看,今晚的晚霞非常好看。”只有实现连续的视频理解,交互才可能像人与人交流一样自然。 左林右狸频道:如果想让助手持续地看、听、说,现在最大的瓶颈是什么?刘睿:我认为
匹配字段正文



