谷歌TPU因AI推理需求而生，凭借专用架构、能效优势和全栈自研，已成为GCP未来十年最大护城河，但生态封闭仍是其普及瓶颈。
UncoverAlpha 是一位专注于科技硬件与AI基础设施深度研究的内容创作者，擅长用战略视角拆解芯片、云服务和大模型生态的底层逻辑。他的分析融合了技术细节、商业布局与财务模型，常被业内称为“芯片界的显微镜”。本次文章发布于2025年11月24日，正值谷歌发布第七代TPU（Ironwood）并支撑Gemini 3大模型的关键节点，信息密度极高，含金量爆表。
一、TPU为何诞生？不是为炫技，而是为了“活下去”
时间倒回2013年，谷歌内部发生了一场近乎恐慌的推演：如果全球每位安卓用户每天使用语音搜索三分钟，公司数据中心的算力需求将直接翻倍。这意味着天文数字的硬件采购、电力消耗和机房扩建——而这一切，仅仅是为了支撑一个已经上线的功能。
当时的谷歌主要依赖通用CPU和GPU处理深度学习任务，但这些芯片本质是“多面手”，在执行神经网络最核心的操作——大规模矩阵乘法时效率极低。
数据搬运频繁、能耗高、成本失控，成了压在谷歌头上的三座大山。
于是，一个大胆的决定诞生了：与其被通用芯片拖垮，不如自己造一颗专为AI而生的芯片。这就是TPU（Tensor Processing Unit）的起点。
它不是为了卖给客户，而是为了救自己。
从2013年立项到2015年悄然部署进全球数据中心，仅用15个月，这在硬件行业堪称闪电速度。
2016年谷歌I/O大会上，TPU才首次对外亮相，而此时它早已默默驱动着谷歌地图、相册、翻译等核心产品。这种“危机驱动创新”的模式，让TPU从第一天起就带着极强的实用主义基因——不求全能，只求在AI推理上做到极致。
二、TPU vs GPU：一个是“特种兵”，一个是“万金油”
要理解TPU的威力，必须看清它和GPU的本质差异。
GPU最初为图形渲染而生，擅长并行计算，但为了应对游戏、科学计算、视频处理等千变万化的任务，它内置了大量通用逻辑单元——比如复杂的缓存机制、分支预测、线程调度器。
这些设计在通用场景下是优势，但在执行AI推理这种高度重复的矩阵运算时，反而成了“累赘”。
而TPU则彻底抛弃了这些“包袱”，采用一种叫“脉动阵列”（Systolic Array）的独特架构。
想象一下：数据像血液一样在芯片内部流动——权重一次性加载进阵列，输入数据依次穿过成千上万个乘加单元，中间结果直接传递给下一个单元，无需反复读写高带宽内存（HBM）。
这极大缓解了传统“冯·诺依曼瓶颈”，即计算单元长时间等待数据从内存搬来搬去的低效状态。
最新一代TPUv7（代号Ironwood）更是全面升级：内存容量达192GB（与NVIDIA Blackwell B200持平），带宽飙升至7370 GB/s，互连带宽达1.2TB/s，并强化了SparseCore以高效处理大模型中的稀疏嵌入（如推荐系统和LLM）。
此外，谷歌还用“光电路交换”（OCS）构建3D环面网络连接数千颗TPU组成“TPU Pods集群”，虽然灵活性不如NVIDIA的InfiniBand，但在特定AI任务上能效比惊人。
简言之，GPU是能打能跑还能做饭的全能战士，TPU则是专精爆破的狙击手——任务越聚焦，优势越恐怖。
三、实测性能：TPU到底比GPU强多少？数据说话
尽管谷歌对TPU性能数据守口如瓶，但多方信源拼凑出的图景令人震撼。
TPUv7的BF16算力高达4614 TFLOPS，是前代v5p的整整10倍；内存带宽提升2.6倍。更关键的是能效比。
一位前谷歌云员工透露：“在合适的应用场景下，TPU性能每美元成本比GPU高1.4倍，能耗降低40%以上。”
另一位高管直言：“TPUv6比Hopper GPU效率高60%-65%，而早期版本也有40%-45%优势。”
更有客户现身说法：用8颗H100 GPU的训练成本，远高于1个TPUv5e Pod；而且谷歌会将旧代TPU大幅降价，比如v2在v4发布后几乎“白送”，让用户长期成本持续下降。
甚至有AMD芯片工程师坦言：“专用AI加速器通常能比GPU节省30%芯片面积和50%功耗。”
最震撼的是，有前谷歌芯片团队成员表示，TPU在某些任务上性能可达NVIDIA GPU的2倍。
而Jensen Huang本人也在播客中承认，谷歌TPU是ASIC领域的“特例”。
就连《华尔街日报》爆料称，OpenAI曾租用谷歌TPU运行ChatGPT，引发黄仁勋紧急致电Sam Altman确认，足见TPU已让NVIDIA如坐针毡。
更别提谷歌在Hot Chips 2025披露：TPUv7能效比v6e提升100%。这种代际跃进速度，甚至被认为超过NVIDIA。
四、为何TPU没全面爆发？生态壁垒是最大拦路虎
既然TPU这么强，为何市场还是NVIDIA的天下？
答案就两个字：生态。CUDA就像AI工程师的“母语”，大学教、社区用、框架支持完善。而TPU依赖TensorFlow和JAX，虽然现在也兼容PyTorch，但工具链、调试环境、第三方库远不如CUDA成熟。
更致命的是云战略问题。企业客户普遍采用多云架构，数据分散在AWS、Azure、GCP之间。而数据“出口费用”（egress cost）极高——把PB级数据从Azure搬到GCP训练，成本可能超过算力本身。
NVIDIA GPU三大云厂商都有，代码无缝迁移；TPU却只在GCP可用。一位客户直言：“一旦绑定TPU，谷歌若突然涨价10倍，我们就只能重写全部代码，风险太大。”
同样困境也困住亚马逊的Trainium和Inferentia。谷歌内部早已意识到此问题，去年专门组建销售团队推广TPU，但外部生态建设非一日之功。有前员工透露，公司内部长期争论是否该对外出售TPU芯片——留在内部可筑高GCP护城河，开放则可能激活更大市场。
目前策略是“先服务好内部Gemini，再逐步开放外部客户”，但这场博弈远未结束。
五、TPU=谷歌云未来十年最大王牌？利润保卫战已打响
AI浪潮正将云计算拖入“低毛利陷阱”。
过去云厂商毛利率50%-70%，如今因依赖NVIDIA GPU（其自身毛利率高达75%），AI算力服务毛利被压到20%-35%，越来越像水电煤一样的公用事业。破局关键在于自研ASIC——摆脱英伟达枷锁，重夺定价权与利润空间。
三大云厂商中，谷歌TPU最成熟，亚马逊Trainium次之，微软MAIA尚在追赶。
谷歌的优势在于：
1）多年迭代，TPU已支撑Gemini 3等顶尖模型训练与推理；
2）软硬全栈自研，从RTL设计到编译器、调度系统全掌控；
3）与Broadcom等外包方仅合作物理设计，核心IP牢牢握在自己手中。
据AMD人士透露，Broadcom在TPU项目中“能拿到50%毛利就算幸运”，远低于NVIDIA的暴利模式。
这意味着，谷歌可选择“同等价格更高利润”或“降价抢市场”两条路。
更惊人的是，谷歌内部几乎全面转向TPU——Gemini、Veo等AI服务全跑在TPU上，采购NVIDIA GPU仅为了满足外部客户需求。
SemiAnalysis甚至评价：“谷歌在超大规模自研芯片领域已无人能及，TPUv7性能直逼Blackwell，Gemini系列模型在‘每美元智能产出’上逼近帕累托前沿。”若此趋势延续，GCP有望在AI时代实现市场份额跃升，彻底改变云市场格局。
六、产能与未来：谷歌到底有多少TPU？
关于谷歌TPU的产量，官方从未公布具体数字，但可从其资本开支与数据中心扩张反推。
2024年起，谷歌明显加大了AI基础设施投入，尤其在俄克拉荷马、内华达、德克萨斯等地新建多个专用于TPU的AI数据中心。据供应链消息，TPUv6/v7由台积电代工，采用5nm甚至更先进工艺。
考虑到Gemini 3训练需数万颗TPU协同，加上对外GCP客户逐步放量，业内估算谷歌当前TPU部署量已超百万颗级别。而随着Ironwood（v7）量产，这一数字将在2026年前翻倍。
更值得关注的是，谷歌正探索“TPU即服务”新模式——不仅提供算力租赁，还可能开放芯片IP授权，甚至与非头部云厂商（如Coreweave、Oracle）合作部署TPU集群，以绕过与AWS/Azure的直接竞争。
若此举成真，TPU生态将迎来转折点。毕竟，在AI推理时代，任务标准化程度越来越高，对通用性的依赖正在下降——这正是TPU大展拳脚的最佳时机。
结语：专用芯片的时代，才刚刚开始
TPU的故事，本质上是一场关于“效率 vs 灵活性”的终极博弈。在AI从训练走向推理、从大模型走向落地应用的今天，能效比、成本控制、垂直整合能力，正变得比“什么都能做”更重要。
谷歌用十年时间，把一颗为自救而生的芯片，锻造成撬动云市场未来的支点。而NVIDIA虽仍强势，但护城河正被一点点侵蚀。未来五年，我们或将见证：不是所有自研芯片都能成功，但成功的，一定像TPU这样——始于痛点，精于垂直，成于生态。AI芯片的战国时代，真正的王炸，或许从来不在显卡里。