[시각 지능] TPU (Tensor Processing Unit)

TPU (Tensor Processing Unit)

 

https://namu.wiki/w/TPU

 

구글에서 2016년 5월에 발표한 데이터 분석 및 딥러닝용 NPU를 모아놓은 하드웨어이다. 벡터/행렬연산의 병렬처리에 특화되어 있으며 넘사벽급의 전성비를 자랑한다. 비결은 8비트 정수 연산을 활용하는 것이다. 이는 NVIDIA등에서도 실현한적 있다. 차이점이라면, TPU는 모델의 실행뿐만 아니라 학습 과정에도 8비트 정수 연산을 활용할 것으로 추정된다는 것이다. (자세한 정보 공개가 없는 상황이라 정확하진 않지만) GPGPU에서 딥러닝에 필요한 것들만 남기고 나머질 다 빼버린 설계와 비슷하다는 추측도 있다. 성능 항목의 PCI-E 병목 문제를 생각하면 APU (정확히는 HSA)나 NVLINK에 가까운 구조를 포함하는 것일 수도 있다. NVIDIA의 경우에는 P100과 같은 칩셋으로 16비트 부동소숫점 연산을 사용해 모델을 훈련시키고, P4/P40과 같은 제품을 통해 8비트 정수 연산을 활용해 모델을 실행하는 것을 이상적으로 보았다. 구글 엔지니어 블로그에 의하면 알파고도 GPU가 아닌 TPU상으로 구현되어 있다고 한다.

 

NPU (Neural Processing Unit)

 

NPU는 인공지능 학습과 실행에 최적화된 프로세서를 말한다. 소프트웨어적으로 인공신경망을 만들어 학습을 하는 GPGPU이후 더 빠르고 효율적인 처리를 위해 하드웨어 칩 단위에서 인공신경망을 모방하고자 하는 시도가 나타났고, 이후 NPU가 등장했다.

NPU는 엔비디아의 Tensor Core, 애플실리콘의 Neural Engine등의 브랜드 이름으로도 알려져있으며, 이들 제품의 출시이후 일반 사용자들 사이에서도 NPU의 존재가 알려지기 시작했으며, 마이크로소프트에서도 NPU를 탑재한 미니 PC를 준비하고 있다.

 

https://namu.wiki/w/NPU

NPU - 나무위키