왜 지금 NVLink가 핵심인가
2022년 말 ChatGPT 공개 이후 AI 학습 클러스터의 규모는 수개월 단위로 배증해 왔다. GPT-4 수준의 모델 학습에는 수천 개의 GPU가 수주 이상 동시에 가동되어야 하며, 이 과정에서 GPU들은 수십 나노초 단위로 텐서 데이터를 교환한다. 트랜스포머 아키텍처의 핵심 병렬화 방식인 all-reduce — 각 GPU가 계산한 그래디언트를 수집해 평균을 내고 다시 배포하는 과정 — 은 본질적으로 통신 집약적이다. 연산 칩이 아무리 빠르더라도, 칩 사이를 오가는 데이터의 속도가 발목을 잡으면 시스템 전체 효율이 저하된다.
PCIe Gen5 x16은 GPU와 호스트 사이에 약 128 GB/s의 양방향 대역폭을 제공한다. 반면 NVIDIA NVLink 5.0은 단일 GPU당 1.8 TB/s를 지원한다. 단순 수치상 14배 이상의 격차다. 데이터센터 안에서 랙과 랙 사이의 scale-out 통신을 InfiniBand 또는 800G 이더넷이 담당한다면, NVLink는 같은 서버 또는 같은 랙 안에서 GPU들을 묶는 scale-up 패브릭으로 역할이 구분된다. 이 두 레이어의 명확한 역할 분리가 현재 AI 인프라 아키텍처의 기본 전제가 됐다.
NVLink의 물리적 구조와 세대별 진화
NVLink의 물리적 실체는 고속 SerDes(Serializer/Deserializer) 기반의 점대점 인터페이스다. 각 NVLink 링크는 복수의 레인으로 구성되며, NVLink 4.0부터 PAM-4(Pulse Amplitude Modulation 4-level) 신호 방식을 채택해 레인당 전송 효율을 높였다. PAM-4는 NRZ 대비 두 배의 신호 레벨을 사용하므로 같은 클럭 주파수에서 두 배의 데이터를 전송할 수 있지만, SNR 마진이 줄어들고 BER(Bit Error Rate) 관리와 FEC(Forward Error Correction) 설계 부담이 증가한다. NVIDIA가 공식 발표한 세대별 주요 스펙은 다음과 같다.
- NVLink 1.0 (Pascal P100, 2016): GPU당 4개 링크, 양방향 합산 160 GB/s
- NVLink 2.0 (Volta V100, 2017): GPU당 6개 링크, 300 GB/s
- NVLink 3.0 (Ampere A100, 2020): GPU당 12개 링크, 600 GB/s
- NVLink 4.0 (Hopper H100, 2022): GPU당 18개 링크, 900 GB/s
- NVLink 5.0 (Blackwell B100/B200, 2024): GPU당 1.8 TB/s (세부 링크 구성 미공개)
세대를 거칠수록 링크 수와 링크당 대역폭이 동시에 증가하는 구조다. NVLink 트랜시버는 GPU 패키지 내에 통합 설계되며, TSMC CoWoS 고급 패키지와 긴밀하게 결합된다. 이 때문에 NVLink 물리 레이어를 제3자가 독립적으로 구현하는 것은 구조적으로 불가능에 가깝고, 이것이 독점 생태계의 물리적 근거가 된다.
NVSwitch — all-to-all 토폴로지의 실체
NVLink가 점대점 링크라면, NVSwitch는 이 링크들을 집선해 GPU 그룹 내 full-mesh 통신을 가능하게 하는 NVIDIA 독자 설계 스위치 ASIC이다. NVSwitch 없이 8개 GPU를 NVLink로 직접 연결하면, GPU당 링크 수 제약으로 일부 GPU 쌍은 여러 hop을 거쳐야 한다. 2018년 NVSwitch 1세대 도입 이후 NVIDIA의 서버 아키텍처는 근본적으로 바뀌었다.
NVSwitch 3세대(Hopper 플랫폼, 2022년)는 64개의 NVLink 4.0 포트를 제공하며, 칩 하나의 aggregate bandwidth가 공식 기준 13.6 Tbps에 달한다. DGX H100 서버에는 H100 GPU 8개와 NVSwitch 4개가 탑재돼 단일 hop all-to-all 토폴로지를 구성한다. GPU 하나에서 나온 데이터가 스위치를 한 번만 거쳐 다른 임의의 GPU에 도달할 수 있다는 점이 all-reduce 지연 시간을 결정적으로 낮춘다.
NVIDIA의 GB200 NVL72는 이 구조를 랙 스케일로 확장한다. Grace CPU 36개와 B200 GPU 72개가 하나의 랙 유닛에 통합되며, 4세대 NVSwitch 18개가 72 GPU를 single-hop all-to-all로 연결한다. NVIDIA 공개 자료 기준 이 랙의 총 GPU간 양방향 대역폭은 약 130 TB/s 수준으로 발표됐다. 72개 GPU가 논리적으로 하나의 거대 가속기처럼 동작할 수 있는 물리적 기반이 마련된 것이다.
Blackwell에서 새로 도입된 NVLink Fusion은 Grace CPU와 B200 GPU를 NVLink로 직접 연결해 CPU-GPU 간 메모리 공간을 통합한다. 기존 PCIe 기반 연결과 달리 캐시 코히런시를 유지하는 단일 unified memory 모델로 동작하며, LLM 추론에서 KV cache를 CPU 메모리와 GPU HBM에 걸쳐 투명하게 배치할 수 있게 한다.
왜 어려운가 — scale-up의 물리적 상한과 독점 비용
NVLink/NVSwitch 아키텍처는 막강한 대역폭을 제공하지만 세 가지 구조적 어려움을 동반한다.
Scale-up의 물리적 상한: NVL72의 72 GPU는 인상적이지만, 최신 프론티어 모델 학습에는 수만 개 GPU가 필요하다. NVL72 랙을 수십~수백 개 연결하려면 InfiniBand 또는 800G 이더넷이 필요하며, 두 레이어가 교차하는 지점의 대역폭 불균형(bandwidth gap)은 AI 클러스터 최적화에서 가장 다루기 어려운 튜닝 포인트 중 하나다. scale-up 도메인 내부는 NVLink로 지연 없이 통신하지만, 도메인 경계를 넘는 순간 레이턴시와 대역폭 모두 급격히 나빠진다. 이 불연속성이 MoE(Mixture of Experts) 모델처럼 동적 라우팅이 많은 아키텍처에서 특히 두드러진다.
전력 밀도 문제: B200 GPU 한 개의 TDP는 약 1,000W 수준으로 보고된다. NVL72의 72 GPU만 합산해도 약 72 kW이며, CPU·NVSwitch·보조 전력을 포함하면 단일 랙 소비 전력이 100 kW를 초과한다. 데이터센터 전통의 공냉으로는 감당이 어렵기 때문에 직접 액체냉각(DLC) 또는 침지냉각으로의 전환이 불가피하다. NVLink 자체도 고속 SerDes 특성상 인터페이스 전력이 의미 있는 비중을 차지한다.
독점 생태계의 lock-in 비용: NVLink와 NVSwitch는 하드웨어·소프트웨어 모두 NVIDIA 독점이다. 집합통신 라이브러리인 NCCL(NVIDIA Collective Communications Library)은 NVLink 위에서 최적화돼 있으며, 타사 인터커넥트에서는 성능이 저하된다. GPU 공급 계약에서 NVLink 에코시스템 전체가 사실상 묶음 판매되는 구조이므로 클라우드 사업자나 AI 기업의 가격 협상력이 제한된다. 이 lock-in 문제가 UALink 오픈 컨소시엄 출범의 직접적 동기가 됐다.
누가 잘하고 있나 — AMD xGMI, UALink, Google ICI
NVLink에 대응하는 경쟁 인터커넥트는 크게 세 갈래로 나뉜다.
AMD xGMI / Infinity Fabric: AMD는 자사 가속기 간 연결에 Infinity Fabric 기반의 xGMI 프로토콜을 사용한다. MI300X에서는 8개 다이(컴퓨트 다이 6개, 메모리 IO 다이 2개)가 xGMI로 단일 패키지 안에서 연결된다. GPU-GPU 외부 연결에도 xGMI 링크가 제공되지만, NVSwitch 같은 전용 집선 스위치 레이어는 아직 구축되지 않았다. AMD MI350·MI400 로드맵에서 scale-up 인터커넥트 강화를 예고했으나, 2025년 중반 기준 구체적 외부 스위칭 구조는 공개되지 않았다.
UALink (Ultra Accelerator Link): AMD, Intel, Google, Meta, Microsoft, Qualcomm, Broadcom 등이 참여해 2024년 출범시킨 오픈 인터커넥트 표준이다. PCIe 6.0 물리 레이어를 기반으로 AI 가속기 간 scale-up 통신을 표준화하는 것이 목표다. 2024년 스펙 1.0이 공개됐으나, 이를 실제 구현한 상용 제품은 2025년 중반 기준 시장에 아직 없다. NVLink의 lock-in에 대응하는 중요한 시도지만, 소프트웨어 collective 라이브러리의 성숙도가 실질적 채택의 관건이다.
Google ICI (Inter-Chip Interconnect): Google은 TPU v4·v5 시스템에서 자체 설계한 ICI를 사용하며, 3D torus 토폴로지 기반으로 최근 세대에서는 광 인터커넥트를 일부 도입했다. 외부에 공개·판매되지 않는 수직 통합 솔루션이다.
세 경쟁자 모두 NVLink의 핵심 우위인 소프트웨어(CUDA/NCCL)와 하드웨어의 통합 최적화를 단기간에 따라잡기 어렵다는 평가가 지배적이다. UALink가 진정한 경쟁력을 갖추려면 하드웨어 표준화와 함께 NCCL 수준의 오픈소스 collective 라이브러리가 병행 성숙해야 한다.
Korea 시각 — 소재 공급자 역할의 명암
한국 반도체 산업은 NVLink 에코시스템과 복잡한 방식으로 연결돼 있다. 표면적으로 보면 SK하이닉스와 삼성전자는 이 생태계의 핵심 소재 공급자다.
HBM 공급 구조: H100의 HBM3, H200과 B200의 HBM3E는 SK하이닉스가 선도 공급한다. HBM 용량과 대역폭은 NVLink 인터커넥트가 전달하는 데이터를 최종적으로 '소화'하는 버퍼 역할을 결정한다. B200 기준 GPU당 최대 192 GB의 HBM3E가 탑재되며(공개 스펙 기준), NVL72 랙 전체로는 수십 TB에 달하는 HBM 용량이 집약된다. 삼성전자도 HBM3E 양산을 통해 NVIDIA 공급망 진입을 추진 중이며, HBM4 세대 공급 경쟁이 NVLink 차세대 성능 로드맵에도 직접 영향을 준다.
기판·소재 레이어: NVSwitch ASIC과 고성능 GPU를 탑재하는 기판에 사용되는 ABF(Ajinomoto Build-up Film) 재료, 그리고 삼성전기의 플립칩 BGA 기판이 AI 가속기 공급망 일부를 구성한다. TSMC CoWoS 패키지에 들어가는 소재 레이어에서도 국내 기업이 일부 역할을 한다.
구조적 공백: 그러나 시스템 아키텍처 레이어에서 한국 기업의 존재감은 낮다. UALink 컨소시엄 초기 멤버사 목록에 국내 기업은 포함되지 않았다. NVSwitch ASIC 설계, NVLink IP, NCCL 최적화는 NVIDIA가 독점 보유하며, 한국 기업이 이 레이어에서 가치를 창출할 단기 경로는 제한적이다. TSMC가 독점하는 CoWoS 패키지 공정 역시 한국 파운드리 기업에 기회가 닫혀 있다.
중장기적으로 HBM-PIM 기술이 NVLink 패브릭과 결합될 경우, 메모리 내 연산을 통해 인터커넥트 트래픽 자체를 줄이는 방향의 혁신이 가능하다. 이 경로에서 국내 메모리 기업의 기술 선점이 NVIDIA와의 협상력을 높이는 핵심 변수가 될 것이다.
Watch Points — 6~12개월 내 주목할 변곡점
- NVLink 6.0 / Rubin 아키텍처 (2026년 하반기 예상): NVIDIA는 2026년 출시 예정인 Rubin 플랫폼에서 NVLink 6.0을 도입할 것으로 업계에서 예상된다. 목표 대역폭은 2 TB/s 이상이며, 일부 보도에서는 광(optical) NVLink 가능성도 언급됐다. 실현될 경우 copper SerDes의 물리적 거리·대역폭 한계를 넘어서는 분기점이 된다.
- UALink 1.0 구현 제품 데뷔: AMD MI350 또는 Intel 차기 가속기에서 UALink 스펙을 실제 구현한 첫 상용 제품이 등장할 경우, 오픈 생태계의 실질적 경쟁력이 처음으로 검증된다. 소프트웨어 collective 라이브러리의 성숙도가 하드웨어 스펙 이상으로 중요한 평가 기준이 될 것이다.
- NVLink Fusion의 확장 범위: Grace-Blackwell에서 시작된 CPU-GPU NVLink 직접 연결이 ARM Neoverse N3 기반 서버 CPU나 외부 SoC 파트너로 확대될 경우, AI 추론 플랫폼 아키텍처 전반이 재편될 수 있다.
- 800G Ultra Ethernet의 scale-out 침투 속도: Ultra Ethernet Consortium(UEC) 표준 기반의 800G RDMA가 InfiniBand 시장 점유율을 빼앗는 속도가 빨라지면, scale-out 레이어의 비용 구조가 바뀌고 간접적으로 NVLink의 scale-up 경계 설정에도 영향을 준다.
- HBM4와 NVLink 대역폭 균형점: HBM4의 스택당 대역폭 목표가 공개 로드맵상 기존 대비 크게 높아질 경우, NVLink 외부 인터커넥트와 메모리 내부 대역폭 간 균형이 재설정된다. 이 균형점의 설계가 차세대 AI 가속기 아키텍처의 핵심 trade-off가 된다.
