핵심 주장: AI 서버의 메모리 병목은 더 빠른 DRAM 하나로 풀리지 않고, HBM4, DDR6, CXL이 각자 감당할 손실을 정하는 방식으로 풀린다.
제품과 현장 이미지
표준은 속도 경쟁이 아니라 자본 배치다
HBM4, DDR6, CXL을 같은 표에 놓고 속도만 비교하면 핵심을 놓친다. AI 서버에서 메모리 표준은 병목을 어느 자본 계층에 배치할지 정하는 계약에 가깝다.
HBM4는 GPU 또는 AI ASIC 옆의 패키지 자본을 쓴다. 실리콘 인터포저, TSV, 마이크로범프, 열 설계, 테스트 비용을 감수하는 대신 연산기 바로 옆 대역폭을 산다.
DDR 계열은 CPU 소켓과 메인보드 생태계의 표준성을 쓴다. 모듈 교체, 다수 공급사, 검증된 RAS를 얻지만 보드 SI, 채널 수, DIMM 로딩이 한계가 된다.
CXL은 PCIe 물리 계층 위에 메모리 의미론을 얹는다. 서버 한 대 안의 DRAM이 아니라 랙과 클러스터 관점에서 남는 용량을 더 잘 쓰려는 시도다.
MBA식으로 말하면 세 표준은 ROIC 공식의 서로 다른 항을 건드린다. HBM4는 높은 매출 단가와 가속기 성능으로 투자수익률을 방어하고, DDR은 규모의 경제로 원가를 낮추며, CXL은 유휴 자산을 줄여 자본 회전율을 높인다.
HBM4: 가장 비싼 위치에서 가장 짧은 길을 산다
JEDEC는 2025년 4월 JESD270-4 HBM4 표준을 발표했다. 공개 발표 기준 HBM4는 최대 8 Gb/s 전송 속도, 2048-bit 인터페이스, 스택당 최대 2 TB/s 대역폭을 제시한다.
HBM4의 의미는 단순히 HBM3E보다 빠른 메모리가 아니다. GPU 다이, 로직 베이스 다이, HBM 스택, 패키지 기판을 하나의 성능 제품으로 묶는 표준이다.
엔지니어 관점의 병목은 세 가지다. 첫째, 2048-bit I/O는 범프 피치와 전원망을 조인다. 둘째, TSV와 적층 수율은 용량 확대의 한계 비용을 만든다. 셋째, 열 저항은 클럭보다 먼저 성능을 제한할 수 있다.
Samsung은 2026년 보도자료에서 상용 HBM4가 스택당 최대 3.3 TB/s 대역폭, 12-layer 기준 24 GB에서 36 GB 용량을 제공한다고 밝혔다. 이는 JEDEC 최소 공통분모 위에서 공급사가 더 높은 제품 스펙을 붙이는 전형적 구조다.
SK hynix는 GTC 2025에서 12-high HBM4 양산 준비를 2025년 하반기 완료하고 주문 대응 공급을 시작할 계획이라고 밝혔다. 한국 메모리 업체의 경쟁력은 DRAM 셀만이 아니라 패키지, 열, 고객 공동 검증으로 이동했다.
DDR6: 아직 숫자가 아니라 소켓의 방향성이다
이 글의 핵심 caveat는 DDR6다. 2026년 7월 10일 기준, JEDEC DDR6 본 표준의 공개 완료 발표는 확인하지 못했다. 따라서 DDR6의 속도, 채널, 전압 수치를 단정하면 연구 글의 신뢰도를 해친다.
다만 DDR6가 풀어야 할 문제는 명확하다. CPU 소켓 메모리는 HBM처럼 패키지 안으로 들어갈 수 없고, CXL처럼 매번 먼 계층으로 밀 수도 없다.
소켓 DRAM은 OS, 하이퍼바이저, 데이터베이스, CPU 추론, 전처리 워크로드의 기본 용량을 맡는다. DDR6의 진짜 과제는 최고 대역폭보다 DIMM 생태계의 신뢰성과 보드 레벨 SI/PI를 유지하는 것이다.
VLSI 엔지니어에게는 이 부분이 가장 현실적이다. 데이터 레이트가 올라갈수록 DFE, 클럭킹, 온다이 ECC, RAS, 전원 무결성, DIMM 커넥터 손실, 메인보드 라우팅 여유가 동시에 빡빡해진다.
투자 관점에서는 DDR6 기대치를 HBM처럼 가격 프리미엄으로 읽으면 안 된다. DDR 계열의 장점은 폭발적 ASP보다 다수 플랫폼에 깔리는 규모, 호환성, 원가 학습곡선이다.
CXL: 느린 메모리가 아니라 소유권을 바꾸는 표준
CXL 3.2는 2024년 12월 공개됐고, CXL Consortium은 메모리 디바이스 모니터링, OS와 애플리케이션 기능, TSP 보안 확장을 강조했다. CXL 4.0은 2025년 11월 공개 발표에서 대역폭을 64 GT/s에서 128 GT/s로 높인다고 밝혔다.
CXL의 핵심은 DRAM보다 빠른 무언가가 아니다. CXL은 메모리 용량의 소유권을 서버 단위에서 풀 단위로 옮기는 표준이다.
AI 추론 서버는 GPU가 계산을 못해서 멈추는 경우도 있지만, KV cache, embedding table, 전처리 데이터, CPU-side service memory 때문에 용량 배치가 꼬이는 경우가 많다. CXL은 이때 모든 서버에 최악 상황 기준으로 DRAM을 꽂는 방식을 줄이려 한다.
엔지니어링 현실은 차갑다. CXL 메모리는 NUMA, page migration, hot-page monitoring, OS 정책, coherency traffic, switch latency, RAS 이벤트 처리가 맞물려야 한다. 스펙이 나와도 소프트웨어가 느리면 풀링의 경제성이 사라진다.
그래서 CXL은 메모리 업체만의 싸움이 아니다. CPU 벤더, 스위치와 리타이머 업체, 서버 OEM, 클라우드 운영팀, OS 커널, 하이퍼바이저가 같은 학습곡선을 타야 한다.
PCIe 7.0: CXL의 고속도로는 이미 다음 차선으로 간다
PCI-SIG는 PCIe 7.0 Specification Version 1.0을 2025년 6월 11일 회원사에 공개했고, 데이터 레이트를 128.0 GT/s로 밝혔다. 이는 PCIe 6.x의 64.0 GT/s를 두 배로 높인 것이다.
이 숫자는 CXL을 이해하는 데 중요하다. CXL은 독립된 물리 배선 마법이 아니라 PCIe 생태계 위에서 coherency와 memory semantics를 얹는다.
PCIe 7.0의 의미는 가속기 I/O와 CXL 메모리 풀의 물리적 상한을 동시에 밀어 올린다는 점이다. 다만 GT/s가 두 배가 되어도 실제 시스템 대역폭은 레인 수, 인코딩, FEC, retimer, connector, cable, switch topology에서 다시 깎인다.
VLSI 관점에서는 SerDes와 채널 손실이 투자 병목이다. 128 GT/s급 링크는 equalization, jitter budget, package escape, board material, retimer 전력, compliance margin이 모두 비용으로 돌아온다.
MBA 관점에서는 이것이 한계비용 곡선이다. 더 먼 메모리를 연결할수록 DRAM 칩 비용은 낮아질 수 있지만, 링크와 스위치, 전력, 소프트웨어 운영비가 새 비용으로 나타난다.
Memory Hierarchy Ownership Map 사용법
이 프레임워크는 네 가지 질문으로 쓴다. 첫째, 워크로드가 가장 아픈 것은 대역폭인가, 용량인가. 둘째, 지연시간을 어디까지 감수할 수 있는가. 셋째, 메모리 소유권이 GPU, CPU, 서버, 랙 중 어디에 있어야 하는가. 넷째, 그 선택이 누구의 capex를 늘리는가.
훈련용 GPU는 HBM4 쪽으로 답이 기운다. 토큰 생성 속도와 GPU 활용률이 HBM 대역폭에 민감하면 고가 패키지를 감수할 수 있다.
CPU 중심 데이터베이스와 범용 서버는 DDR 계열의 안정성과 모듈 생태계가 중요하다. 여기서는 최고 스펙보다 공급 안정성, DIMM 검증, 플랫폼 수명이 더 큰 경제적 가치가 될 수 있다.
대규모 추론과 멀티테넌트 클라우드는 CXL을 검토할 이유가 있다. 서버마다 DRAM을 과잉 장착하는 대신 풀링으로 평균 활용률을 올릴 수 있다면 자본 회전율이 개선된다.
단, CXL 도입은 표준 채택만으로 끝나지 않는다. hot page를 찾고, 옮기고, 장애를 격리하고, SLA를 유지하는 운영 체계가 없으면 표준의 경제성이 회계 장부에 나타나지 않는다.
Korean Lens - 한국 기업 입장
한국 관점에서 이 주제는 SK hynix와 Samsung의 HBM 점유 경쟁으로만 보면 좁다. HBM4 시대의 한국 경쟁력은 DRAM 셀, 패키지 수율, 열 솔루션, 고객 공동 검증을 함께 파는 능력이다.
SK hynix는 GTC 2025에서 HBM4 준비 일정을 공개했고, Samsung은 HBM4 제품 대역폭과 적층 용량을 보도자료로 제시했다. 두 회사 모두 메모리 공급사가 아니라 AI 플랫폼의 병목 해결 파트너로 포지셔닝하고 있다.
DB HiTek, Key Foundry, 한국 fabless, OSAT, EDA 인력에게도 의미가 있다. CXL 컨트롤러, PMIC, retimer, 테스트 보드, SI/PI 검증, 패키지 신뢰성은 대형 DRAM 업체 밖에서도 기회가 생기는 영역이다.
학교와 인력 시장에서는 DRAM 소자만이 아니라 시스템 레벨 메모리 과목이 중요해진다. RTL, PHY, package, firmware, Linux NUMA, workload profiling을 함께 읽는 엔지니어가 HBM4와 CXL 사이의 실제 병목을 설명할 수 있다.
실무 적용 한 줄
Sources
- JEDEC HBM4 JESD270-4 announcement (2025-04-16 - HBM4 standard specs, capacity, channels, voltage and RAS claims)
- CXL Consortium CXL 3.2 release (2024-12-03 - CXL 3.2 features, public release, CHMU, TSP, backward compatibility)
- CXL Consortium homepage CXL 4.0 note (2026-07-10 - CXL 4.0 128 GT/s public statement and bundled ports reference)
- PCI-SIG PCIe 7.0 Version 1.0 page (2025-06-11 - PCIe 7.0 128.0 GT/s and release timing)
- Samsung Global Newsroom HBM4 announcement (2026-03-10 - Samsung HBM4 bandwidth, capacity, I/O and thermal claims)
- SK hynix GTC 2025 announcement (2025-03-18 - SK hynix HBM4 preparation timing and AI memory positioning)
- Micron HBM4 customer shipment announcement (2025-06-09 - HBM4 customer ramp timing context and competitive positioning)
이미지와 원본 자료 후보
- Samsung HBM4 product newsroom image (company_press - Company newsroom usage terms apply - link only, do not embed without checking Samsung media usage terms)
- SK hynix HBM4 and SOCAMM GTC 2025 image (company_press - PR Newswire and SK hynix press image terms apply - link only, do not embed without checking rights)
- Micron HBM4 rendered product image (company_press - Micron investor relations media usage terms apply - link only, do not embed without checking rights)
- CXL Consortium logo and public pages (standard_public - CXL trademark and consortium usage restrictions apply - link only, do not embed)
