개요 TPU(Tensor Processing Unit)은 Google에서 만든 ASICs(Application-Specific Integrated Circuit)이다. machine learning workload를 가속화하기 위해 사용된다. 보통 수천 개의 TPU는 함께 묶여 TPU Pod이라는 특별한 network를 구성한다. 예컨대, TPU v4에서 single v4 pod는 4096개의 TPU chips를 포함하고 있다. HBM 메모리를 활용하여 memory bandwidth가 큰 덕분에 batch size와 model이 큰 경우에도 효율적인 학습을 가능하게 한다. TPU는 2016년 Google I/O에서 처음 소개되었으며, Tensorflow를 위해 디자인되었다. 버전 업그레이드도 계속 이루어..