Google发布LiteRT Tensor API
2026年10月19日,Google发布LiteRT Tensor API,允许开发者在C++中逐算子构建端侧模型计算图。据Google Developers Blog介绍,同一份代码可经LiteRT运行在CPU、GPU(ML Drift)和NPU上,也可不经模型文件直接通过XNNPACK在CPU运行。官方用该API手写SAM 2并部署到浏览器WebGPU,称在MacBook Pro上比Apple MLX快约1.5倍,输出掩码与Meta PyTorch参考逐像素一致。该API还支持从.safetensors直接加载权重,并让预处理、推理与后处理通过共享加速器缓冲区串联,避免数据回传CPU。目前尚无后续发展事实。
匹配字段标题