AI 전용 칩 아키텍처 현황과 주요 설계 전략

배경: 도메인‑특정 아키텍처의 필요성

2018년 ISCA에서 Hennessy와 Patterson이 "새로운 황금시대"를 선언했을 때, 1980년대 대비 CPU 성능 성장률이 52%에서 3%로 급감했습니다. Moore's Law와 Dennard Scaling이 한계에 다다르자, 구글 TPU v1 같은 도메인‑특정 아키텍처(DSA)가 29배 높은 추론 처리량과 80배 에너지 효율을 보여주며 새로운 패러다임을 제시했습니다.

주요 아키텍처와 설계 철학

• GPU (NVIDIA, AMD): 수천 개 스레드를 프로그래머블하게 운영하고 CUDA 생태계로 통합. Tensor Core와 최신 FP8/FP4 지원으로 매트멈 연산을 가속.
• TPU / Trainium: systolic‑array 구조로 매트멈 연산을 고정밀도로 빠르게 수행. 현재 Gemini 학습과 Anthropic 서비스에 활용 중.
• Wafer‑Scale Engine (Cerebras): 단일 칩에 수천 mm² 면적을 배치해 대규모 모델 추론을 저지연으로 제공.
• LPU (Groq): 고정형 파이프라인으로 연산 지연을 최소화했으며, 최근 NVIDIA에 200억 달러 규모로 인수되었습니다.

메모리 벽과 데이터 이동 전략

AI 워크로드는 대부분 매트멈 연산(GEMM, GEMV)으로 구성됩니다. 학습·프리필 단계는 대규모 GEMM을 요구해 연산 집약도가 높지만, 디코드 단계는 GEMV로 전환돼 메모리 대역폭이 병목이 됩니다. 각 아키텍처는
1) 데이터가 어디에 머무는가(온‑칩 SRAM, HBM, DRAM),
2) 데이터 이동 경로(NVLink, PCIe, 내부 버스),
3) 연산 유닛 형태(Tensor Core, systolic array, 재구성 가능한 데이터플로) 를 최적화해 메모리 벽을 넘으려 합니다. 예를 들어 Hopper H100은 HBM3와 Tensor Memory(TMEM)를 도입해 대용량 컨텍스트 처리에 강점을 보입니다.

원문: HackerNews AI