如何看待 Google 既可以作 Inference，又可以作 Training 的新一代 TPU？
2017/5/18 晚追加 据某专业人士介绍，那些看着像网线的还是 PCI-E。空着的那两个接口，是某种带宽更大的接口。。。 原答案: 不得不承认，TPU 的迭代速度超出了我的预期。 从现有的资料来看，单芯片可以做到 45 TFLOPS，四颗芯片可以达到 180 TFLOPS（每一块 TPU 卡有四颗 TPU 芯片）。作为比较，Nvidia V100 的 Tensor Core 可以达到 120 TFLOPS（单卡，单芯片）。 尚未公布但颇为关键的 Spec 包括： 1. 利用率。上一代 TPU 受限于 I/O，利用率并不理想。从这一次的封装来看，应该已经用上了 HBM。于是问题是这一代 TPU 是否能达到理想的利用率，180 TFLOPS 的理论计算能力可以利用多少？ 2. 浮点精度。这一代的 TPU 引入了浮点运算，因此即可用作 Inference 也可用来 Training。那么问题是其浮点精度是 16 bit 还是 32 bit。从公布的理论 TFLOPS 来看，FP16 的可能性最大。那么在做累加时，可否像 V100 一样提升到 FP32。 3. 板间通信。与上一代 TPU 不同，这一代 TPU 似乎并不需要安装在服务器上，而是直接通过 PCIE 或者 IB 进行互联。这对于提高整个系统的 Perf/Watt 和减少延时都会有很大的帮助。 下图为一块 TPU 卡，四片巨大的散热器下面分别是四颗 TPU 芯片。板子上没有内存颗粒，应该用的是 HBM，与芯片封装在一起。每颗 TPU 有两个以太网接口，板子上除了电源接口以外，没有其他类似 PCI-E 的接口。 下图为 TPU 的机架，同样看不到主机的身影。