AI 서버의 메모리 수요가 폭증하면서, HBM(High Bandwidth Memory)만으로는 부족한 상황이 오고 있다. GPU 옆에 붙는 HBM이 연산 가속을 담당한다면, CPU 옆에서 대용량 데이터를 저전력으로 공급하는 역할은 누가 할 것인가? 그 답이 바로 SOCAMM2다.
SOCAMM2란 무엇인가?
SOCAMM은 Small Outline Compression Attached Memory Module 의 약자로, LPDDR5X 기반의 소형 메모리 모듈이다. 원래 NVIDIA가 자체 설계한 SOCAMM1에서 출발했다가 SOCAMM2는 JEDEC에서 JESD328 표준으로 규격화가 진행되었다.
핵심은 DDR5 RDIMM을 LPDDR5X로 대체한다는 점이다. 기존 DDR5 RDIMM 대비 대역폭 2배 이상, 전력 소비 55% 이상 절감을 달성하면서도, 컴팩트한 폼팩터로 고밀도 데이터센터 섀시에 최적화되었다. 데이터 전송 속도는 핀당 최대 9.6 Gb/s로, SOCAMM1의 8.5 Gb/s 대비 향상되었다.
왜 HBM만으로 부족한가: AI 서버 메모리 계층 구조
AI 서버의 메모리 계층은 다층 구조로 진화하고 있다:
- HBM (GPU 옆): 초고대역폭 (~8 TB/s), 연산 가속 전용. GPU 패키지 내부에 TSV로 적층.
- SOCAMM2 (CPU 옆): 고대역폭 (~500 GB/s), 자주 접근하는 hot 데이터 처리. LPDDR5X 기반으로 CPU 보드에 장착.
- DDR5 RDIMM: 표준 대역폭, 벌크 시스템 메모리.
- CXL 확장 메모리: 대용량 cold 데이터 저장.
SOCAMM2는 HBM과 DDR5 사이의 중간 계층으로, 자주 접근하는 데이터를 버퍼링하고 워크로드 병목을 줄이는 역할을 한다. HBM이 GPU 연산을 위한 근거리 메모리라면, SOCAMM2는 CPU의 근거리 메모리인 셈이다.
SOCAMM1에서 SOCAMM2로: 무엇이 바뀌었나
NVIDIA는 원래 SOCAMM1을 설계했으나, 기술적 문제가 발견되어 프로젝트를 두 차례 보류한 뒤 결국 폐기했다. SOCAMM2로 전환하면서 다음과 같은 개선이 이루어졌다:
samsung Kim
- I/O 단자 수: 694개 (SOCAMM1과 동일)
- 데이터 전송 속도: 8,533 MT/s → 9,600 MT/s
- JEDEC 표준화 (JESD328)를 통한 범용성 확보
- SPD(Serial Presence Detect) 디바이스 내장: 모듈 레벨 식별 및 텔레메트리 지원
- 향후 LPDDR6 채택도 고려 중
주요 업체 동향
SK hynix
2026년 4월 20일, 1c(6세대 10nm급) DRAM 기반 192GB SOCAMM2의 양산을 개시했다. NVIDIA Vera Rubin AI 플랫폼(2026년 하반기 출시 예정)에 최적화되어 있으며, SOCAMM2 양산의 선두 주자로 나섰다.
Samsung
SOCAMM2 LPDDR5X 메모리 모듈을 개발하여 2025년 말 NVIDIA에 샘플을 납품했다. 2026년 초부터 본격 양산에 돌입한 것으로 알려졌다.
Micron
192GB LP SOCAMM2를 샘플링 중이며, 모듈당 50% 용량 증가로 랙 스케일 LP DRAM 밀도 50TB 이상을 실현할 수 있다고 발표했다. 또한 세계 최초 모놀리식 32Gb LPDDR5X를 기반으로 256GB SOCAMM2를 소개, 동일 폼팩터에서 2배 용량을 달성했다.
SOCAMM2 vs DDR5 RDIMM: 핵심 비교
| 항목 | SOCAMM2 (LPDDR5X) | DDR5 RDIMM |
|---|---|---|
| 대역폭 | 2x 이상 | 1x (기준) |
| 전력 효율 | 55%+ 절감 | 기준 |
| 데이터 레이트 | 9,600 MT/s | ~6,400 MT/s |
| 폼팩터 | 컴팩트 (서버 최적화) | 표준 |
| 용량 | 128~256 GB/모듈 | 128 GB/모듈 |
| 표준 | JEDEC JESD328 | JEDEC |
시장 전망
SOCAMM은 2027년까지 AI 추론용 메모리의 25~30%를 차지할 것으로 전망된다. NVIDIA의 차세대 Vera Rubin 플랫폼이 SOCAMM2를 핵심 메모리 모듈로 채택하면서, HBM에 이은 제2의 메모리 전쟁이 본격화되고 있다.
DDR5 RDIMM에서 LPDDR5X SOCAMM2로의 전환은 단순한 폼팩터 변경이 아니다. AI 데이터센터의 전력 효율과 대역폭을 근본적으로 개선하는 아키텍처 레벨의 변화다. 반도체 엔지니어라면, 이 전환이 메모리 설계, 패키징, 보드 레이아웃 전반에 미칠 영향을 주시할 필요가 있다.
