谷歌硬件工程师揭秘，TPU为何会比CPU、GPU快30倍？

在耀月轻柔的抚摸下发出满足地呼噜声。

如上图所示，在小批量任务中（16），Haswell CPU的响应时间接近7毫秒，其每秒提供5482次推断（IPS），其可以实现的最大批量任务（64）每秒则可以完成13194次推断，但其响应时间为21.3毫秒。相比之下，TPU可以做到批量大小为200，而响应时间低于7毫秒，并提供225000个IPS运行推理基准，是其峰值性能的80％，当批量大小为250，响应时间为10毫秒。

不过需要注意的是，谷歌所测试的Haswell Xeon处理器似乎也不能完全说明问题，英特尔Broadwell Xeon E5 v4处理器和最新的“Skylake”Xeon E5，每核心时钟（IPC）的指令比这款处理器提升了约5％。在Skylake是28核，而Haswell为18核，所以Xeon的总体吞吐量可能会上升80％。当然，这样的提升与TPU相比仍有差距。

最后雷锋网(公众号：雷锋网)需要强调的是，TPU是一个推理芯片，它并非是要取代GPU，可以确定的是，TPU与CPU一起使用对训练分析更加有益。但对于CPU制造商而言，如何研发出像ASIC一样兼顾性能和能效的芯片是现在以及未来要做的。

可以确定的是，谷歌已经逐渐在自己的数据中心部署TPU，但是上述测试数据只是理论结果，实际应用表现如何？我们还不得而知。

Via nextplatform，雷锋网编译

雷锋网版权文章，未经授权禁止转载。详情见转载须知。