
01事件事实
Google TPU进入Meta生产环境,得益于SGLang推理引擎的PyTorch原生版本,由Google、Meta与RadixArk三方合作开发;vLLM的对应PyTorch支持版本同期开源发布。PySGLang-TorchTPU已在Meta开始生产部署。
02技术要点
此前SGLang和vLLM主要依赖Google的JAX框架在TPU上运行;TorchTPU使TPU成为PyTorch原生选项,大幅降低代码重写需求。其前身是旧的PyTorch/XLA桥梁,Meta研究团队曾在2020年至2023年间使用,后取消相关合同。
03性能数据
Inferact数据显示,针对2.8万亿参数Kimi K3模型,vLLM在16个支持投机解码的第七代Ironwood TPU上单用户每秒超过700个代币,16个GB200上为452个代币;Kimi K3与Qwen 3.8 27B内核小批量场景无需投机解码可达GB200基线吞吐量1.4到2倍。
04后续计划与相关动向
SGLang-TorchTPU将扩展模型支持,首批包括DeepSeek V4.1等,并计划为2027年第一季度发布的新开放型号提供0日TPU支持;三方将在2026年11月旧金山SGLang峰会分享更多细节。Amazon在同一场PyTorch会议上宣布开源TorchNeuron,为Trainium2和Trainium3提供PyTorch后端支持。
编辑分析 基于来源信息推断
从来源看,这次事件的核心不是TPU本身,而是软件栈层面的变化:TorchTPU把TPU变成PyTorch原生后端,降低了从CUDA/JAX迁移的工程成本,直接回应了Meta PyTorch负责人关于不被单一硬件架构限制的表述。对开发者意味着基于PyTorch生态的推理引擎可以更平滑地评估TPU作为Nvidia之外的选择。对Nvidia而言,行业分析认为Meta作为TPU客户且拥有大量TPU工程师,会削弱CUDA生态护城河。Amazon同期开源TorchNeuron表明云厂商ASIC普遍在补齐PyTorch后端这一短板。