AI Chip Architectures

Source: jepeake.com/ai-chip-architectures | Published: 2026

한 줄 요약

Hennessy·Patterson이 2018년에 예언한 “컴퓨터 아키텍처의 캄브리아기 대폭발” 이 현실이 되었고, 실제로 배포에 성공한 여섯 아키텍처(NVIDIA/AMD GPU, TPU, Trainium, Cerebras WSE, Groq LPU)는 모두 같은 문제 — memory wall, 즉 matmul이 일어나는 곳으로 숫자를 충분히 빠르게 옮기는 것 — 에 대한 서로 다른 답이다.

핵심 주장/내용

배경 — 왜 domain-specific architecture인가: 1980년대 Hennessy·Patterson의 튜링상 연구 시절 단일 스레드 CPU 성능은 연 52% 성장했다. 2018년에는 Moore’s Law와 Dennard Scaling의 종언과 함께 그 비율이 3% 였다. 튜링 강연의 예시가 이미 프로덕션에 있던 Google TPU v1 — 신경망 추론에서 CPU의 29배 처리량, 80배 나은 에너지 효율. 마무리 예언: “다음 10년은 새로운 컴퓨터 아키텍처의 캄브리아기 대폭발을 볼 것이다”
- 예언은 실현됐다. GPU, TPU, LPU, NPU, DPU, ASIC, wafer-scale engine, reconfigurable dataflow, neuromorphic, photonic, analog — 그러나 실제 배포를 얻은 것은: GPU(NVIDIA, AMD), systolic-array 가속기(TPU, Trainium), Cerebras WSE, Groq LPU
문제 정의 — matmul의 shape이 워크로드를 결정한다: AI 컴퓨트는 행렬 곱셈이 지배한다. 트랜스포머는 matmul의 연속(Q/K/V projection, attention, output projection, FFN)에 element-wise 연산(정규화, 활성화, residual add)이 끼어든 것이고, frontier 모델 학습은 $1 0^{25}$ multiply-accumulate 연산을 수행한다
- Training과 Prefill — 같은 가중치 행렬에 대해 수천 토큰을 한꺼번에 쌓으므로 각 레이어의 연산이 큰 행렬-행렬 곱(GEMM), arithmetic intensity가 높다(compute-bound)
- Decode — autoregressive. 한 번에 한 토큰씩, 각각 앞의 모든 토큰에 조건화되고, 토큰 N이 나오기 전에 N+1을 시작할 수 없다. 스텝당 한 토큰만 projection되므로 모든 matmul이 행렬-벡터 곱(GEMV) 이 된다. 토큰 하나를 만드는 데 모델의 모든 가중치를 완전히 훑고 attention을 위해 KV Cache를 완전히 읽어야 하므로 arithmetic intensity가 prefill 대비 자릿수로 떨어진다
- 추론 시스템은 토큰을 배치해 GEMV를 GEMM으로 승격시켜 intensity를 일부 회복한다 — continuous batching(여러 사용자의 decode 스텝을 쌓음), speculative decoding(요청당 K개 draft 토큰을 쌓아 한 패스로 검증), multi-token prediction(같은 트릭을 모델 안으로). 다만 continuous batching에서는 각 사용자 요청이 자기 KV Cache를 읽으므로 긴 컨텍스트 decode는 weight-bandwidth-bound에서 KV-bandwidth-bound로 옮겨간다
- 아키텍처 문제는 숫자를 matmul이 일어나는 곳으로 충분히 빠르게 옮기는 것 — memory wall이다. 컴퓨트는 지수적으로 확장했지만 메모리 대역폭은 그러지 못했다
- 칩을 이해하는 것은 네 질문으로 환원된다: 데이터가 어디에 사는가, 컴퓨트 유닛으로 어떻게 이동하는가, 컴퓨트 유닛이 어떻게 생겼는가, 칩들이 스케일에서 어떻게 대화하는가
여섯 아키텍처의 철학:

아키텍처	핵심 철학
NVIDIA GPU	대규모 병렬 프로세서. 수천 스레드를 가진 프로그래머블 칩을 호스트 CPU가 조율하고 CUDA로 노출하는 것이 병렬화 가능한 워크로드를 돌릴 올바른 기계다. 각 세대가 프로그래밍 모델을 바꾸지 않은 채 SM 위에 가속 프리미티브를 더한다. 같은 칩이 트랜스포머를 학습하고, 추론을 서빙하고, 그래픽을 렌더한다
Google TPU	행렬 곱셈 기계. 아무 대규모 병렬 워크로드나 돌릴 수 있는 프로그래머블 칩 대신 단일 프리미티브(큰 systolic array 위의 dense matmul)에 집중하고 XLA 컴파일러가 모든 사이클과 모든 바이트를 사전에 계획하게 한다. 하드웨어 스케줄러 없음, 캐시 없음, 스레드/warp 없음. 각 세대가 pod을 키우고 수천 칩이 ICI 인터커넥트로 하나의 coherent 기계가 된다. 그래픽 렌더나 과학 시뮬레이션의 야심이 없다 — Google의 워크로드를 어떤 범용 대안보다 와트당 효율적으로 학습·서빙하기 위해 존재
AMD Instinct	NVIDIA와 다른 베팅. *NVIDIA가 매 세대 각 SM이 할 수 있는 것을 확장한다면, AMD는 GCN(2012) 이래 Compute Unit을 보수적으로 유지하고 패키지에 재투자했다 — 2021년 이래 매 세대 HBM 용량에서 동시대 NVIDIA 플래그십과 동등하거나 우위, 최초의 3D-stacked 데이터센터 GPU(CDNA 3), 최초의 coherent CPU+GPU APU(MI300A), 오픈 생태계*(ROCm, HIP, OCP MX, UALink)
Cerebras WSE	역대 최대 칩. 철학: memory wall은 웨이퍼를 자른 결과다. fab이 300mm 실리콘에 수십 개 die를 찍고 톱질해 나누면, 산업은 가장 exotic한 엔지니어링(HBM, NVLink, CoWoS, 랙당 5,184개 구리 케이블)을 on-die 대역폭의 극히 일부로 조각들을 다시 잇는 데 쓴다. Cerebras는 톱질을 건너뛴다. WSE는 실리콘 한 조각 — 84 reticle field, 46,225 mm², 900,000 dataflow core, 모든 on-chip 메모리 바이트가 컴퓨트 유닛에서 1 사이클 거리의 SRAM
AWS Trainium	fast-follower. Nitro 카드와 Graviton CPU를 만든 Annapurna Labs가 만들었다. 컴퓨트 코어는 TPU의 검증된 플레이북(128×128 weight-stationary systolic array, 소프트웨어 관리 scratchpad, 전체 프로그램 컴파일)을 가져오되 Google의 XLA 컴파일러를 통째로 공유하는 데까지 간다. scale-out fabric은 이미 AWS의 나머지를 나르는 Nitro-offload 네트워크. 진짜 Amazon의 것은 좁고 의도적이다 — 빌려온 코어에 볼트로 붙인 전용 collective-communication 실리콘, 그리고 NVIDIA를 AWS 안에서만 이기면 되는 칩을 가격 매길 수직 통합
Groq LPU	결정론적(deterministic) 기계. 다른 모든 칩은 불확실성을 견디는 데 실리콘을 쓴다 — 메모리 레이턴시를 숨길 캐시, stall을 채울 스케줄러, 예측할 수 없는 경합을 해결할 arbiter. LPU는 그것을 전부 삭제한다. 모든 reactive 컴포넌트(캐시, 분기 예측기, arbiter, reorder buffer, 심지어 on-chip crossbar까지)를 걷어내고 전체 스케줄링 문제를 컴파일러에 넘겨, 모든 명령과 모든 바이트를 정확한 사이클에 배치한다. 남는 것은 실행 전에 레이턴시를 아는 칩. TPU가 스케줄링을 컴파일러로 옮기되 HBM과 동적 네트워크를 유지했다면, Groq는 마지막 비결정성 원천까지 제거했다 — 메모리는 전부 SRAM, 네트워크도 스케줄되어 수백 칩이 하나의 clock-exact 프로그램으로 돈다

소프트웨어 축의 근본 차이 — kernel-driven vs compiler-driven: GPU에서는 개발자가 커널을 쓰고 프레임워크가 커널을 엮으며 컴파일러의 일은 대체로 국소적이다. TPU에서는 개발자가 JAX로 수치 프로그램을 쓰고 XLA가 그 아래 전부를 책임진다 — 어떤 연산을 fuse할지, 각 텐서가 어디 살지, 2D 벡터 레지스터에 어떻게 배치될지, HBM→VMEM DMA를 언제 발행할지, 322-bit VLIW 번들을 어떻게 스케줄할지, 프로그램을 수천 칩에 어떻게 샤딩할지
- 하드웨어 fallback이 없다 — warp 스케줄러도, 캐시도, 나쁜 스케줄을 덮어줄 out-of-order 엔진도 없다. 컴파일러가 곧 시스템이다
- 컴파일 경로: JAX → JAXpr → StableHLO → HLO → LLO → VLIW 번들. 주요 패스는 operation fusion(pointwise + reduction + matmul을 하나의 커널로 접어 중간 결과가 HBM에 닿지 않게), layout assignment(transpose 없이 MXU로 스트림되도록 모든 텐서의 2D 타일링 결정 — 1D SIMD 기계보다 상당히 어렵다)
- 다중 칩 실행은 SPMD — 하나의 프로그램, 샤딩된 데이터, 계층적 collective. 사용자는 Mesh + PartitionSpec 주석으로 샤딩을 선언적으로 표현하고 컴파일러가 나머지 그래프로 전파하며 all-reduce·all-gather·reduce-scatter를 삽입한다. 컴파일러가 틀린 collective를 고르면 shard_map이 manual SPMD로 떨어뜨린다
- Pallas가 탈출구 — JAX의 커널 작성 언어, 대략 GPU의 Triton에 해당. XLA가 새로운 attention 변형, fused MoE dispatch, 수동 VMEM 타일링과 DMA 스케줄링을 요구하는 것 — 이득이 대수학이 아니라 스케줄에 있는 FlashAttention급 최적화 — 에 대해 언제나 최적을 합성할 수는 없기 때문에 존재한다. Pallas:Mosaic-GPU가 같은 프론트엔드로 H100/Blackwell을 겨냥해 한 번 쓰고 어느 substrate로든 lowering 가능
- PyTorch 경로는 실재하지만 이류다 — torch_xla의 LazyTensor 메커니즘. JAX와의 격차는 실재한다
- CUDA 대비 TPU 생태계는 sprawling하지 않고 centralised다. 프레임워크 아래 거의 전부(XLA, JAX, Flax, Optax, Pallas, MaxText, Pathways, Shardy, Mosaic)를 Google 자신이 오픈소스로 내고 실리콘과 lockstep으로 진화시킨다. CUDA가 수십 년 축적한 서드파티 커널보다 훨씬 적다 — 워크로드가 이상하게 생긴 곳에서는 moat가 얇고, Gemini처럼 생긴 곳에서는 깊다

주요 수치 / 사실

⚠️ 비교표의 주의사항 — 모든 산술 수치는 명시된 정밀도의 peak 값이고, 벤더가 근거를 공개하지 않는 한 dense 기준이다. 메모리 대역폭은 GPU·TPU·Trainium은 HBM, Cerebras·Groq는 on-chip SRAM 집계로 직접 비교 불가. scale-up 대역폭은 벤더 관행을 따르므로 칩당 집계일 수도, 랙 집계일 수도, 진짜 bisection일 수도 있다.

칩당 FP8은 수렴했다 — B200(4.5 PF), Ironwood(4.6 PF), MI355X(10 PF)가 서로 약 2배 이내. 칩 단위 군비 경쟁은 박빙이고, 아키텍처가 갈라지는 곳은 랙과 pod이다
HBM 용량은 AMD의 지속적 승리 — 2023~2025에 걸쳐 192 → 256 → 288 GB로 매 세대 NVIDIA와 동등하거나 앞섰다. NVIDIA는 B300(2025 말)에서야 288GB로 따라잡았고, Rubin Ultra가 2026년에 패키지당 1TB로 선두 탈환
랙 스케일 scale-up은 2026년까지 NVIDIA의 승리 — GB200/GB300 NVL72가 2024~2025에 출하된 유일한 coherent 랙 스케일 도메인. AMD는 박스 단위로 scale-up했고 Helios까지 랙 스케일에 못 갔다. TPU는 질문 자체를 회피한다 — 그 torus가 랙이자 클러스터다
TPU pod은 칩 수에서 어떤 NVIDIA 랙도 압도 — Ironwood pod = 9,216칩 / 42.5 ExaFLOPS FP8 vs NVL576 = 576 GPU / 약 5 ExaFLOPS FP8. 칩당 정액 × 거대 pod 레시피가 시스템당 총 컴퓨트를 더 많이 내되 칩당 대역폭을 대가로 한다
칩당 전력이 빠르게 상승 — 700 W(Hopper) → 1,000 W(Blackwell, MI325X) → 1,400 W(B300, MI355X) → 약 1,800 W(Rubin Ultra, 애널리스트 추정). 약 1,000 W 위에서 액체 냉각이 필수가 되고, 공랭은 사실상 Hopper로 끝난다
scale-out NIC 대역폭이 NVIDIA 세대마다 두 배 — 400 Gbps(CX-7, Hopper) → 800 Gbps(CX-8, Blackwell) → 1.6 Tbps(CX-9, Rubin). AMD는 한 세대 뒤처짐(Pollara 400 → Vulcano 800)
Cerebras는 표의 축 자체를 깨뜨린다 — HBM이 전혀 없다. 44 GB on-wafer SRAM에 집계 21 PB/s, dense FLOP당 약 1.3 바이트 (GPU 행들은 0.002 근처). 대가도 같은 행에 보인다 — H200 한 장보다 적은 총 메모리, 동시대 모든 GPU에 뒤지는 와트당 dense FLOPs, coherent 도메인이 웨이퍼 자체이므로 빈 scale-up 칸
Trainium은 스펙 시트가 아니라 경제성으로 경쟁 — 칩당으로는 뒤진다(Trn2의 1.3 PF FP8은 MI355X의 약 1/4). 하지만 Trn2 UltraServer가 2024년 NVL72와 나란히 64칩 랙 스케일 scale-up에 도달했다, coherent crossbar가 아니라 message-passing torus로. Trn3는 switched NeuronSwitch fabric으로 전환. AWS가 Nitro 카드부터 API까지 모든 레이어를 소유하고 앵커 테넌트 하나(Anthropic, 100만 개 넘는 Trainium2 칩)가 frontier 규모에서 검증한다
Groq는 용량을 SRAM 대역폭과 교환하고 메모리 풀을 칩 수로 확장 — 첫 GroqRack은 64개 활성 칩에 걸쳐 14 GB만 노출. Groq 3 LPX는 256칩에 걸쳐 128 GB, 집계 40 PB/s SRAM 대역폭. 12 TB DDR5 tier와 Rubin과의 페어링은 LPU가 대용량 메모리 GPU 랙을 대체하는 게 아니라 보완함을 보여준다
시장 상황: NVIDIA가 명백한 선두, AMD가 뒤따르며 OpenAI와 Meta 양쪽에서 6 GW 약정. TPU가 Gemini를 학습하고 최대 100만 칩으로 Anthropic에 서빙 예정; Anthropic은 100만 개 넘는 Trainium에서도 Claude를 돌린다

Data Eng Wiki

탐색기

AI Chip Architectures

AI Chip Architectures

한 줄 요약

핵심 주장/내용

주요 수치 / 사실

관련 위키

그래프 뷰

목차

백링크