Google 与 Meta 联合推出 TorchTPU,让 PyTorch 原生运行在 TPU 上
Google 与 Meta 的 PyTorch 团队合作推出开源项目 TorchTPU,为 Google TPU 提供原生 PyTorch 后端,迁移只需把 model.to("cuda") 改为 model.to("tpu")。项目支持 eager 与 torch.compile 两种模式,新增 DeferAndFuse eager 模式,覆盖约 450 个 Aten 算子,并已在 4,917 个 Hugging Face 模型上验证开箱运行,其中 Tier 1 通过率 98%、Tier 2 相对 GPU 数值一致性 97%。官方称其已用于部分 Google Cloud 大客户的推理与训练生产负载,并集成 vLLM、SGLang、TorchTitan、Ray 和 TorchRec。

r 模式; 新增对约 450 个 Aten 算子的支持(跳过具有结构性或复合委托的算子),包括主要深度学习架构所需的全部 Core ATen 算子的前向和反向传播; 新增通过 JAX/Pallas 和 Helion DSL 编写自定义内核的能力; 在下载量最高的 5,000 个 Hugging Face 模型上验证了开箱即用的执行,包括: LLM:Qwen、DeepSeek、Gemma、LLama、Mistral、GPT、OPT、BLOOM、Falcon、StableML 音频/语音:Whisper、Wav2Vec2、HuBERT、MMS 视觉:DinoV2、SigLIP、CLIP、Swin Transformer、ConvNeXt、ViT、ResNet、DETR 文本编码器与搜索:BERT、ALBERT 与 Electra、RoBERTa、DeBERTa、T5、MT5、Flan-T5 验证了基于 DTensor 的分片; 验证了多主机推理(vLLM 和 SGLang)以及微调/训练工作负载(TorchTitan),并采用基于 Ray 的编排; 验证了与 vLLM、SGLang、Tor
匹配字段正文
