AI 芯片与存储产业动态报道日期 10-22约 3 分钟读完

Meta生产环境启用Google TPU,PyTorch原生TorchTPU方案落地

Meta、Google与RadixArk合作推出TorchTPU,使SGLang、vLLM等PyTorch推理引擎无需重写代码即可在TPU上运行;Meta确认PySGLang-TorchTPU已进入生产部署,减少对Nvidia生态的依赖。文中还给出Ironwood TPU与GB200的Kimi K3推理对比数据,以及Amazon开源TorchNeuron等相关动向。

内容纠错
Meta生产环境启用TPU
图 1 Meta生产环境启用TPU

01事件事实

Google TPU进入Meta生产环境,得益于SGLang推理引擎的PyTorch原生版本,由Google、Meta与RadixArk三方合作开发;vLLM的对应PyTorch支持版本同期开源发布。PySGLang-TorchTPU已在Meta开始生产部署。

02技术要点

此前SGLang和vLLM主要依赖Google的JAX框架在TPU上运行;TorchTPU使TPU成为PyTorch原生选项,大幅降低代码重写需求。其前身是旧的PyTorch/XLA桥梁,Meta研究团队曾在2020年至2023年间使用,后取消相关合同。

03性能数据

Inferact数据显示,针对2.8万亿参数Kimi K3模型,vLLM在16个支持投机解码的第七代Ironwood TPU上单用户每秒超过700个代币,16个GB200上为452个代币;Kimi K3与Qwen 3.8 27B内核小批量场景无需投机解码可达GB200基线吞吐量1.4到2倍。

04后续计划与相关动向

SGLang-TorchTPU将扩展模型支持,首批包括DeepSeek V4.1等,并计划为2027年第一季度发布的新开放型号提供0日TPU支持;三方将在2026年11月旧金山SGLang峰会分享更多细节。Amazon在同一场PyTorch会议上宣布开源TorchNeuron,为Trainium2和Trainium3提供PyTorch后端支持。

编辑分析 基于来源信息推断

从来源看,这次事件的核心不是TPU本身,而是软件栈层面的变化:TorchTPU把TPU变成PyTorch原生后端,降低了从CUDA/JAX迁移的工程成本,直接回应了Meta PyTorch负责人关于不被单一硬件架构限制的表述。对开发者意味着基于PyTorch生态的推理引擎可以更平滑地评估TPU作为Nvidia之外的选择。对Nvidia而言,行业分析认为Meta作为TPU客户且拥有大量TPU工程师,会削弱CUDA生态护城河。Amazon同期开源TorchNeuron表明云厂商ASIC普遍在补齐PyTorch后端这一短板。

资料来源 飞翔科技频道(转载Toms Hardware);Toms Hardware

整理说明 内容由 AI 根据公开资料整理;事实与推断分开呈现。

内容纠错

延伸阅读

选型助手

让需求变成可修改的筛选条件

依据已录入参数生成条件,结果可查看和修改。帧率与性能需核对实测,不能仅凭算力数值保证。