搜索“端侧”

谷歌研究盲扫超声AI

2026年10月6日,Google Research 公布一项研究,验证端侧AI通过盲扫超声判断胎龄和胎位。该研究由 Google 与 Northwestern、Jacaranda Health 合作,在肯尼亚内罗毕和芝加哥各招募1000名孕妇,让未经超声训练的医护按预设路径进行盲扫超声,再由机器学习模型分析视频,判断孕周和胎位,准确率与专业超声技师相当。操作者只需8小时培训,模型处理全部在设备端完成,无需电力或Wi-Fi即可给出结果。目前尚无后续发展事实。

MiniCPM5-2B驱动浏览器编码Agent

MiniCPM5-2B 通过 WebGPU 在浏览器内运行完整编码 Agent。面壁智能 OpenBMB 于 2026 年 9 月 28 日发布相关消息,称一个 2B 模型在 WebGPU 上于浏览器内运行完整编码智能体,正是其想要的端侧故事,并称这是基于 MiniCPM5-2B 的出色构建。目前该事件仅有这一条代表性证据,暂无后续发展事实。

Liquid AI发布LFM2.5-DSpark推测解码模型

2026年8月21日,Liquid AI发布LFM2.5-DSpark推测解码草稿模型,面向LFM2.5-1.2B-Instruct、LFM2.5-2.6B和LFM2.5-8B-A1B三款模型。据Liquid AI模型与工程博客介绍,该草稿模型约300M参数,采用5层、block size 9的简化注意力结构,在GPU上吞吐最高提升3.18倍,端侧最高提升2.87倍,且不改变输出质量。权重已在Hugging Face提供Safetensors与GGUF格式,并开源集成到llama.cpp和SGLang。在BFCL多工具函数调用场景中,LFM2.5-2.6B延迟平均降低57%;LFM2.5-8B-A1B受llama.cpp Metal后端MoE实现影响,端侧仅提升18%。目前尚无后续发展事实。

NVIDIA推进Holoscan智能体开发

2026年8月19日,NVIDIA展示了结合HoloHub参考应用、Holoscan CLI、开发技能、文档和AI编码智能体的端侧AI应用开发流程。其通过三次迭代构建实时内窥镜工具分割应用,渲染吞吐量提升50.5%,应用路径平均延迟降低33.6%。消融研究显示,同时使用CLI、HoloHub开发技能与文档时,智能体处理时间最短,为40分钟,Token用量最低,为1100万。

谷歌发布手语转文本模型SL2T

2026年8月12日,Google DeepMind 发布多语言手语转文本模型 SL2T,并应用于 Pixel 11 的 Gboard 和 Live Transcribe,首批支持美国手语(ASL)转英文。据官方介绍,该模型基于超过 50 种手语、逾 10 万小时数据训练,其中约四分之一为 ASL 数据,在 FLEURS-ASL(sd-test)上取得 70 BLEURT 的零样本成绩。为保护隐私,模型只接收 MediaPipe Holistic 在端侧提取的姿态关键点坐标,原始视频随即丢弃,并跳过 gloss 标注直接翻译为文本。8月13日,Demis Hassabis 在社交平台称 SL2T 首次让用户可以直接对着手机打手语,并提到其与聋人社区密切合作打造。目前该模型已落地上述两项功能,暂无进一步开发进展。

Cohere开源多语种语音识别模型

2026年3月26日,Cohere发布开源权重的Conformer语音识别模型Cohere Transcribe,并开放下载。该模型可将14种语言的语音转为文本,在Hugging Face Open ASR Leaderboard上的平均词错误率为5.42%。模型支持本地或端侧运行,用户也可通过设有速率限制的免费API及Model Vault使用。

vLLM新增支持Nemotron模型家族

2025年10月23日,vLLM宣布支持部署NVIDIA Nemotron开放模型家族,使其可在数据中心及端侧硬件上运行智能体推理。其中,Nemotron Nano 2采用混合Transformer–Mamba架构,并提供可配置的thinking budget,开发者可据此调节精度、吞吐量和成本。相关模型权重及超过9万亿tokens的训练数据已在Hugging Face提供。

Liquid AI用ExecuTorch部署LFM2实践

Liquid AI 为开发 LFM2 系列开放权重模型,选择 PyTorch ExecuTorch 作为端侧部署方案,原因是其支持混合缓存机制,可将导出图一键打包为含权重、元数据与执行图的独立 bundle。据其介绍,LFM2 部分自定义算子约需 2-3 周图改写,2025 年 7 月成功在设备端运行并发布。在 AMD Ryzen AI 9 HX 370 与三星 S24 上,350M 至 4B 参数的 LFM2 均实现更低 prefill/decode 延迟、更小内存占用与更小模型文件。2025 年 10 月 22 日,Liquid AI 通过官方博客分享了这一工程实践与推理基准。

Liquid AI发布LFM2-VL视觉语言模型

2025年8月12日,Liquid AI 发布其首个视觉语言模型系列 LFM2-VL,包含 LFM2-VL-450M 和 LFM2-VL-1.6B 两个版本,面向低延迟与端侧部署,支持文本和可变分辨率图像输入。模型基于 LFM2 骨干,视觉塔采用 SigLIP2 NaFlex 编码器,原生分辨率最高 512×512,更大图像按 512×512 分块处理;官方称在 GPU 上推理速度最高可达同类模型的 2 倍。模型已兼容 Hugging Face transformers 和 TRL,训练使用约 1000 亿多模态 token。

Cartesia发布Sonic 2.0语音模型

2025年3月11日,Cartesia发布语音生成模型Sonic 2.0。据Cartesia产品与研究当日发布的信息,Sonic 2.0基于新的状态空间模型架构,规模是前代两倍,全模型延迟90ms、turbo模式40ms,在100个保留声音的盲测中偏好度是次优提供商的1.5倍;同时推出Voice changer和Infill两个新端点,API提供99.9%可用性并支持实时本地与端侧部署。同日,Vapi宣布集成该模型,称其turbo模式延迟低至40ms,集成支持99.9%可用性、SOC-2与HIPAA合规以及本地和端侧部署,用户可在Vapi控制台的语音提供商下拉菜单中选择Cartesia Sonic 2.0。目前该模型已发布并获得第三方平台集成。

谷歌研究盲扫超声AI

Google Research 研究验证 端侧AI通过盲扫超声判断胎龄和胎位

查看事件：谷歌研究盲扫超声AI

陈云霁提出人工智能正经历两个重大变化

2026年9月17日,中国科学院工业人工智能研究所副所长陈云霁在2026集成电路(无锡)创新发展大会上提出,人工智能正经历两个重大变化:一是从“计算的应用”走向“计算的定义者”,二是加速从信息空间走向汽车、机器人、工业装备、能源系统等真实物理世界。他同时表示,真正的端侧AI并非把云端模型缩小搬到设备上,而需芯片、算法、模型、体系结构、存储、编译和系统软件全栈协同,以产生更高的“有效智能”。会上,江苏省集成电路产业联盟端侧AI芯片组正式揭牌。目前该判断尚无后续发展事实。

Google 发布 ADK for Kotlin 1.0 正式版

2026年9月9日,Google 发布 Agent Development Kit(ADK)for Kotlin 1.0 正式版,面向 Kotlin 与 Android 的生产级 AI 智能体开发。据 Google Developers Blog 介绍,该版本功能与 ADK 1.0 Core 完全对齐,并面向 Android 提供端侧扩展。其支持层级多智能体、上下文压缩、Human-in-the-loop 确认流程与会话恢复,可通过 @Tool 和 @Param 注解自动生成工具 schema,并集成 Vertex AI 的会话、RAG 记忆与 Memory Bank 服务。Android 侧可用 LiteRT-LM 和 ML Kit(beta)运行端侧智能体,通过 Firebase AI Logic 编排混合云工作流,并用 Room 与 AppSearch 持久化智能体状态。目前尚无后续发展事实。

Black Forest Labs 将 FLUX.2 [klein] 4B 预装于 ASUS ProArt 笔记本

2026年6月4日,Black Forest Labs 宣布,FLUX.2 [klein] 4B 将预装在 ASUS 新一代 ProArt 笔记本的 MuseTree 应用中。该机型搭载 RTX GPU,并已在台北 Computex 2026 亮相。官方称,其目标是在 8GB 显存笔记本上、后台运行其他专业应用时实现 5 秒以内的图像生成,且无需 API 或联网。Black Forest Labs 还表示正扩展合作,为更多硬件和设备提供端侧优化的 FLUX 模型。目前该故事尚无后续发展事实。

印度政府选定Sarvam构建主权大语言模型

2025年4月26日,印度政府通过IndiaAI Mission选定Sarvam,从零构建印度主权大语言模型。据Sarvam AI Blog当日发布的信息,Sarvam将获得专用算力资源,该模型具备推理能力、面向语音设计并支持印度语言,可在印度本地基础设施上安全部署。Sarvam计划开发三个模型变体:Sarvam-Large面向高级推理与生成,Sarvam-Small面向实时交互应用,Sarvam-Edge面向端侧紧凑任务,并与IIT Madras的AI4Bharat合作。目前尚无后续发展事实。

IBM Granite 3.0 系列模型上线 Ollama

2024年10月21日,IBM Granite 3.0 系列模型上线 Ollama,可通过 Ollama 运行,全部采用 Apache 2.0 许可。据 Ollama Blog 当日发布的信息,该系列中 Granite 2B 和 8B 为文本密集型 LLM,基于超 12 万亿 token 训练,其中 8B Instruct 在 OpenLLM Leaderboard v1 和 v2 上媲美 Llama 3.1 8B Instruct;1B 和 3B 则是 IBM 首批 MoE 模型,基于超 10 万亿 token 训练,面向低延迟与端侧部署。目前尚无后续发展事实。

Ollama 上线 Meta Llama 3.2 运行支持

2024年9月25日,Ollama 上线对 Meta Llama 3.2 的运行支持。据 Ollama 官方博客,此次可运行的是 1B 和 3B 纯文本模型,针对手机或边缘设备本地运行做了优化,可用于构建高度个性化的端侧智能体,例如总结 WhatsApp 最近十条消息或下月日程。Ollama 表示处理在本地完成,数据不发送给第三方或云服务,提示与响应接近即时。官方同时称 11B 和 90B 视觉模型即将推出,支持图表等文档级理解和图像描述。目前尚无后续发展事实。

NVIDIA展示Holoscan智能体开发流程

NVIDIA 展示 基于HoloHub CLI与技能的端侧AI应用开发流程

查看事件：NVIDIA推进Holoscan智能体开发

英伟达发布Cosmos 3 Edge后训练教程

NVIDIA 发布 Cosmos 3 Edge机器人控制后训练与端侧部署教程

查看事件：英伟达推进Cosmos 3 Edge端侧机器人控制

Liquid AI介绍LFM2-350M与dotgrammar函数调用方案

Liquid AI 介绍 LFM2-350M与dotgrammar结合的端侧函数调用方案

查看事件：Liquid AI推出LFM2-350M端侧函数调用方案