搜索“端侧”

Sarvam AI 宣布 Sarvam Edge 端侧智能计划

Zyphra发布2.7B端侧小模型Zamba2-small

2024年7月28日,Zyphra发布面向端侧应用的2.7B小语言模型Zamba2-small,权重以Apache 2.0开源。据Zyphra Research介绍,该模型将Zamba-7B的Mamba1块替换为Mamba2块,并采用两个ABAB交错共享注意力块,对每个共享MLP块应用LoRA projector。相比Phi3-3.8B,其首token时间快2倍、内存开销降低27%、生成延迟低1.29倍,并保持3-4B稠密Transformer的质量而只需1-2B的推理算力与内存。目前该故事尚无后续发展事实。

Sarvam AI 宣布 Sarvam Edge 端侧智能计划

Sarvam AI 宣布 Sarvam Edge

查看事件：Sarvam AI 宣布 Sarvam Edge 端侧智能计划

Liquid AI发布端侧推理模型LFM2.5-1.2B-T

2026年1月20日,Liquid AI发布端侧推理模型LFM2.5-1.2B-Thinking,该模型完全在设备端运行,在手机上内存占用低于900 MB,并已在Hugging Face、LEAP和Playground上线。模型为1.2B参数,相比LFM2.5-1.2B-Instruct,在MATH-500上从63提升到88,Multi-IF从61提升到69,BFCLv3从49提升到57,并在多数推理基准上匹配或超过参数量多40%的Qwen3-1.7B。训练采用课程式RL与模型合并,通过偏好对齐和n-gram重复惩罚把doom loop比例从15.74%降到0.36%,并获Qualcomm、Ollama、FastFlowLM、Cactus Compute等新发布伙伴支持。

Liquid AI与AMD展示端侧会议摘要模型

2026年1月7日,Liquid AI与AMD在CES上展示端侧会议摘要模型LFM2-2.6B-Transcript,该模型完全在AMD Ryzen AI平台本地运行。据Liquid AI模型与工程博客介绍,模型可在2.7GB内存中处理10K token,约相当于60分钟会议记录,并在16秒内生成1K token摘要。基准测试中,该模型短文本表现超过gpt-oss-20b,接近Qwen3-30B和Claude Sonnet,长文本仍优于gpt-oss-20b。用户可通过Liquid AI Cookbook中的命令行工具直接体验,无需API key或云服务。

Liquid AI发布LFM2.5端侧模型家族

2026年1月5日,Liquid AI发布LFM2.5-1.2B模型家族,预训练规模从10T扩展至28T token,并扩大强化学习后训练流程。该家族包含Base、Instruct、日语、视觉语言和音频语言模型。其中LFM2.5-Audio-1.5B采用新的LFM音频解分词器,在移动CPU上比LFM2的Mimi解分词器快8倍,并以INT4量化感知训练。所有模型均为开放权重,已在Hugging Face和LEAP上线,并获llama.cpp、MLX、vLLM、ONNX首日支持,AMD与Nexa AI提供NPU优化版本。

Liquid AI发布端侧MoE模型LFM2-8B-A1B早

2025年10月7日,Liquid AI发布其首个端侧MoE模型LFM2-8B-A1B的早期检查点。该模型总参数8.3B,每token激活1.5B,质量接近3-4B稠密模型,速度超过Qwen3-1.7B。架构上共18个门控短卷积块和6个GQA块,除前两层外每层含MoE块,每块32个专家、每token激活top-4。基础版预训练约12T token,语料约55%英文、25%多语言、20%代码,MMLU-Pro比LFM2-2.6B提升11.46分。模型已上线Hugging Face,兼容llama.cpp、ExecuTorch和vLLM。

Liquid AI发布Liquid Nanos端侧模型系列

2025年9月25日,Liquid AI发布Liquid Nanos系列任务专用端侧基础模型,参数规模从350M到2.6B,占用内存100MB至2GB,可在手机、笔记本和嵌入式设备上本地运行。首批实验性模型包括LFM2-Extract、LFM2-350M-ENJP-MT、LFM2-1.2B-RAG、LFM2-1.2B-Tool、LFM2-350M-Math,以及社区开发的Luth-LFM2法语微调系列。官方称LFM2-1.2B-Extract在结构化抽取上优于参数量22.5倍的Gemma 3 27B,LFM2-350M-ENJP-MT的英日互译质量超过参数量10倍的通用模型。模型已在LEAP平台和Hugging Face上线,采用开放许可。

Liquid AI推出LFM2-350M端侧函数调用方案

2025年7月24日,Liquid AI 与 .txt 合作,介绍了一套面向边缘设备的函数调用方案:以 LFM2-350M 模型搭配 dotgrammar 语法约束库。据其介绍,LFM2-350M 无需量化即可占用不到 1 GB 内存,在常见边缘硬件上推理延迟低于 100ms;dotgrammar 通过上下文无关文法(CFG)保证输出语法始终合法,且不增加推理延迟。相比 JSON 格式,Pythonic 函数调用表示仅需 14 个 token,生成时间减少 2.6 倍。

Liquid AI发布端侧AI开发平台LEAP

2025年7月15日,Liquid AI发布面向端侧AI的开发者平台LEAP,以及用于在手机上体验小语言模型的iOS应用Liquid Apollo。据该发布介绍,LEAP提供Android和iOS跨平台Edge SDK,开发者用几行代码即可在移动应用中部署小语言模型,模型体积最小300MB,可在4GB及以上内存设备运行,并支持LFM2等模型。Liquid Apollo已原生支持全部LEAP模型,可在完全本地、保护隐私的界面中体验包括新一代LFM2在内的模型库。

Liquid AI发布LFM2端侧基础模型系列

2025年7月10日,Liquid AI发布LFM2系列端侧基础模型,开源0.35B、0.7B、1.2B三个稠密权重,可在Liquid Playground、Hugging Face和OpenRouter试用。官方称该系列采用乘法门控与短卷积的混合架构,共16个模块,CPU上decode与prefill速度最高为Qwen3的2倍,训练效率较上一代提升3倍。模型在10T token上预训练,以LFM1-7B做知识蒸馏,上下文长度扩展至32k,并支持CPU、GPU和NPU部署。

Cartesia发布端侧智能产品

2024年8月28日,Cartesia宣布端侧智能首个里程碑,发布开源库Edge、1.3B参数SSM语言模型Rene,以及支持低延迟实时流式生成的Sonic On-Device私有测试版。Rene采用Mamba-2混合架构,在多项基准上表现与同级SOTA小模型相当,Edge已支持Apple MLX和量化推理。

Liquid AI发布端侧推理模型LFM2.5-1.2B-Thinking

Liquid AI 发布 LFM2.5-1.2B-Thinking

查看事件：Liquid AI发布端侧推理模型LFM2.5-1.2B-T

Liquid AI与AMD展示端侧会议摘要模型

Liquid AI 展示 LFM2-2.6B-Transcript端侧会议摘要模型

查看事件：Liquid AI与AMD展示端侧会议摘要模型

Liquid AI发布LFM2.5端侧模型家族

Liquid AI 发布 LFM2.5-1.2B模型家族（Base、Instruct、Japanese、Vision-Language、Audio-Language）

查看事件：Liquid AI发布LFM2.5端侧模型家族

Liquid AI发布端侧MoE模型LFM2-8B-A1B早期检查点

Liquid AI 发布 LFM2-8B-A1B早期检查点

查看事件：Liquid AI发布端侧MoE模型LFM2-8B-A1B早

Liquid AI发布Liquid Nanos端侧模型系列

Liquid AI 发布 Liquid Nanos系列端侧任务专用模型

查看事件：Liquid AI发布Liquid Nanos端侧模型系列

Liquid AI发布LFM2端侧基础模型系列

Liquid AI 发布 LFM2系列端侧基础模型

查看事件：Liquid AI发布LFM2端侧基础模型系列

Zyphra发布2.7B端侧小模型Zamba2-small

Zyphra 发布 Zamba2-small

查看事件：Zyphra发布2.7B端侧小模型Zamba2-small

博通集成以边缘AI芯片BK7259竞逐IC风云榜奖项

博通集成凭高性能边缘AI芯片BK7259,候选第八届IC风云榜“年度人工智能市场突破奖”。据集微网2026年10月30日报道,BK7259采用M52+M55双核与ARM Ethos U65 NPU,提供0.25 TOPS端侧算力,率先将Ethos-U65 microNPU集成进Wi-Fi 6 MCU,深度睡眠电流低至2μA,端侧3D人脸识别约200ms完成。目前该奖项评选结果尚未披露。