핵심 주장: AI 패키지의 냉각 병목은 더 큰 콜드플레이트가 아니라, 반복 열사이클 뒤에도 얇고 균일하게 남는 TIM이다.
제품과 현장 이미지
왜 지금: 랙 냉각보다 먼저 패키지 접촉면이 흔들린다
NVIDIA GB200 NVL72는 36개 Grace CPU와 72개 Blackwell GPU를 하나의 액체 냉각 랙 스케일 설계로 묶는다. NVIDIA는 이 랙이 72-GPU NVLink 도메인을 제공한다고 공개했다.
이 숫자는 냉각 논의를 데이터센터 설비에서 끝내지 못하게 만든다. 액체가 랙까지 와도, 열은 먼저 다이, 패키지, TIM, 콜드플레이트 접촉면을 통과해야 한다.
HBM도 같은 압력을 받는다. SK hynix는 2024년 9월 12단 HBM3E 36GB 양산을 발표했고, 고적층 HBM은 용량과 대역폭을 올리는 대신 패키지 높이, 뒤틀림, 열 경로의 민감도를 키운다.
TIM pump-out은 이 접촉면에서 생기는 장기 열화다. 전원이 켜지고 꺼질 때 실리콘, 유기 기판, 인터포저, 히트스프레더, 콜드플레이트가 서로 다른 비율로 팽창하면서 TIM이 옆으로 밀린다.
처음 조립 직후의 열저항이 좋아도 충분하지 않다. AI 서버의 경제성은 출하 시점 성능보다 수개월 뒤 같은 열저항을 유지하는 능력에 걸린다.
여기서 주의할 점은 pump-out이 특정 회사나 특정 재료의 결함이라는 뜻이 아니라는 점이다. 높은 전력 밀도, 큰 패키지 면적, 반복 열사이클이 결합될 때 나타나는 시스템 신뢰성 현상이다.
그래서 구매자는 TIM의 열전도율 숫자만 보면 안 된다. 같은 W/mK라도 bond line thickness, 압착력, 표면 평탄도, 점탄성, 재작업 조건에 따라 실제 패키지 열저항은 달라진다.
VLSI 엔지니어에게 이 주제는 재료 과학의 주변부가 아니다. 열 설계, 패키지 설계, DFT, 수율, RMA 비용을 한 줄로 연결하는 인터페이스 문제다.
무엇인가: TIM은 열전도율 스펙이 아니라 얇은 기계 구조다
TIM은 thermal interface material의 약자다. 칩 패키지와 히트스프레더 또는 콜드플레이트 사이의 미세 공극을 채워 접촉 열저항을 낮춘다.
핵심 변수는 열전도율만이 아니다. 실제 열 경로에서는 Rth가 TIM 두께, 젖음성, 표면 거칠기, 압착력, void 비율의 함수가 된다.
pump-out은 TIM이 반복 열팽창과 전단 응력을 받으며 접촉 영역 밖으로 이동하는 현상이다. 결과는 bond line thickness 증가, 국부 dry-out, void 성장, 열저항 상승으로 나타난다.
실리콘은 열팽창계수가 낮고, 유기 기판과 금속 냉각 부품은 더 크게 움직인다. 큰 패키지일수록 중심과 가장자리 사이의 상대 변위가 커져 TIM 전단 변형이 커진다.
HBM 주변에서는 문제가 더 복잡하다. GPU 다이와 HBM 스택, 인터포저, underfill, 몰드 또는 스티프너가 하나의 평면을 만들지만, 열 발생과 기계 강성은 균일하지 않다.
재료 선택은 세 갈래로 나뉜다. 그리스와 젤은 초기 접촉성이 좋지만 이동성이 문제이고, phase change material은 조립 창이 중요하며, solder TIM이나 금속 기반 TIM은 성능은 좋지만 응력과 공정성이 부담이다.
따라서 최고의 TIM은 항상 가장 높은 벌크 열전도율을 가진 재료가 아니다. 실제 모듈에서는 조립 가능성, 압착 반복성, 장기 pump-out 저항, 재작업성까지 포함한 최적점이 필요하다.
JEDEC JESD51-14는 transient dual interface 방식으로 junction-to-case 열저항을 구하는 표준으로 알려져 있다. 이 접근은 접촉 계면 변화가 열저항 측정에 얼마나 큰 영향을 주는지 보여준다.
중요한 해석은 단순하다. TIM은 전기 회로의 저항처럼 고정값이 아니라, 사용 시간과 열사이클에 따라 값이 변하는 기계적 인터페이스다.
왜 어려운가: 열, 기계, 제조 공차가 같은 방향으로 나빠진다
pump-out이 까다로운 이유는 원인이 하나가 아니기 때문이다. 높은 전력은 온도 구배를 만들고, 큰 패키지는 전단 변위를 만들며, 조립 공차는 국부 압력을 흔든다.
AI 가속기 패키지는 면적이 크고 열원이 균일하지 않다. GPU 코어, SRAM, I/O, HBM 인접 영역의 발열 위치가 달라 TIM 내부에는 압축과 전단이 동시에 걸린다.
열사이클 시험은 이 현상을 가속해서 본다. JESD22-A104는 전자 부품의 온도 사이클 시험 방법으로 널리 쓰이며, 반복적인 고온과 저온 노출이 패키지 신뢰성을 평가하는 기본 틀을 제공한다.
하지만 표준 시험과 실제 AI 서버 사용 조건은 일대일로 같지 않다. 데이터센터 워크로드는 온도 범위보다 전력 변동 패턴, 냉각수 온도, 랙 운전 정책이 더 중요할 수 있다.
검사도 어렵다. TIM은 패키지 내부나 냉각 어셈블리 아래에 있어 출하 후 비파괴로 상태를 직접 보기 어렵고, 열저항 증가는 팬 속도, 수온, 전력 제한과 뒤섞여 관측된다.
제조 관점에서는 압착력 제어가 병목이다. 너무 낮으면 void와 접촉 불량이 남고, 너무 높으면 패키지 휨, solder joint 응력, HBM 스택 주변 응력 위험이 커진다.
재작업성도 비용을 바꾼다. 고가 GPU 모듈에서 TIM 재도포가 가능하더라도, 콜드플레이트 제거, 세정, 재압착, 누수 검사까지 포함하면 현장 운영 비용이 커진다.
따라서 pump-out은 열 설계팀 혼자 해결할 수 없다. 패키지 기구 설계, 재료 선정, 서버 조립 공정, 펌웨어 전력 관리가 같은 목표 함수를 공유해야 한다.
좋은 검증 플로우는 초기 Rth, 열사이클 후 Rth, 전력 사이클 후 hot spot 변화, 압착력 분포, X-ray 또는 acoustic inspection 결과를 함께 묶는다. 단일 pass 또는 fail보다 drift rate가 더 중요하다.
누가 유리한가: 재료 회사보다 통합 검증 능력이 승부를 가른다
표면적으로는 TIM 공급사가 주인공처럼 보인다. 실제로는 GPU 업체, 메모리 업체, 패키징 업체, 서버 OEM, 냉각 업체가 함께 pump-out 위험을 나눠 가진다.
NVIDIA는 GB200 NVL72 설계를 OCP에 기여했다고 발표하며 액체 냉각 랙과 compute tray, switch tray 설계 확산을 강조했다. 이는 냉각이 독점 부품 하나가 아니라 랙 표준과 공급망 문제로 이동하고 있음을 보여준다.
GPU 업체가 유리한 지점은 전력 관리와 패키지 사양을 동시에 쥐고 있다는 점이다. 워크로드별 전력 ramp, thermal throttling, 콜드플레이트 요구사항을 패키지 검증 조건에 반영할 수 있다.
메모리 업체는 HBM 스택 높이, warpage, underfill, 열 경로에서 영향력이 크다. SK hynix의 12단 HBM3E 36GB 양산 사례처럼 고적층 경쟁이 진행될수록 HBM 공급사는 단순 메모리 성능 이상의 패키지 신뢰성 데이터를 요구받는다.
OSAT와 foundry advanced packaging 라인은 조립 공정의 반복성을 쥔다. TIM 도포량, 스텐실 또는 디스펜싱 균일성, lid attach, 압착 fixture, burn-in 조건이 모두 결과를 바꾼다.
냉각 업체와 서버 OEM은 현장 조건을 알고 있다. 같은 패키지도 랙 수온, 유량, quick disconnect, 콜드플레이트 평탄도, 운송 진동에 따라 aging이 달라진다.
가장 유리한 회사는 최고 재료 하나를 고르는 회사가 아니라, 패키지에서 랙까지 같은 샘플 ID로 열저항 이력을 추적하는 회사다.
공개 자료만으로 특정 업체의 pump-out 성능을 순위화하는 것은 부정확하다. 대부분의 조건은 고객 승인 데이터, 신뢰성 리포트, NDA 아래에 있기 때문이다.
따라서 외부 투자자나 엔지니어가 볼 수 있는 신호는 간접적이다. 액체 냉각 reference design 공개, HBM 고적층 양산, OCP 기여, 서버 OEM 검증 기간, RMA 언급, 냉각 부품 장기 공급 계약이 관찰 포인트다.
한국 렌즈: HBM 강국이면 TIM 데이터도 가져야 한다
한국에는 두 축이 있다. 하나는 SK hynix와 Samsung Electronics의 HBM 및 고성능 메모리이고, 다른 하나는 삼성 파운드리와 국내 패키징, 소재, 장비 생태계다.
HBM은 고객 GPU 패키지 안에서 동작한다. 메모리 공급사가 좋은 Known Good Stack을 제공해도, 최종 모듈의 열저항 문제가 생기면 성능 제한은 HBM 대역폭이 아니라 패키지 온도에서 걸릴 수 있다.
한국 메모리 업체가 필요한 데이터는 세 가지다. HBM stack warpage, 열사이클 후 계면 변화, 고객 콜드플레이트 조건에서의 온도 맵이다.
삼성 파운드리와 국내 OSAT에는 기회가 있다. 2.5D와 3D 패키징에서 수율 논의가 TSV, micro-bump, hybrid bonding에 집중되지만, 양산 고객은 열계면 장기 안정성도 qualification 항목으로 본다.
한국의 차별화 포인트는 HBM 대역폭 숫자 옆에 열저항 aging 데이터를 붙이는 것이다. 같은 HBM이라도 고객 패키지에서 더 낮은 thermal drift를 보이면 채택 협상력이 생긴다.
소재 기업에는 더 현실적인 과제가 있다. 고열전도 filler를 많이 넣으면 점도와 도포성이 나빠질 수 있고, 낮은 점도는 초기 조립은 좋지만 pump-out에는 불리할 수 있다.
장비와 검사 기업도 포함된다. TIM 도포량 계측, 압착력 맵핑, warpage metrology, acoustic inspection, 열 transient tester는 고성능 패키지 양산에서 더 중요해진다.
한국 생태계가 피해야 할 함정은 HBM을 메모리 단품 성능으로만 말하는 것이다. AI 고객은 스택 용량, pin speed, 전력, 열저항, 공급 안정성을 하나의 모듈 리스크로 본다.
학교와 인력 관점에서는 패키지 열-기계 공동 해석이 커진다. VLSI 교육이 RTL, P&R, 공정 소자에 치우쳐 있으면 advanced packaging qualification을 이해하는 엔지니어가 부족해진다.
취업 준비생에게도 신호가 분명하다. Ansys, Abaqus, Flotherm류의 열-구조 해석, JEDEC 신뢰성 시험 이해, 패키지 단면과 failure analysis 경험은 HBM 시대의 실무 언어가 된다.
6-12개월 관전 포인트: 숫자보다 drift를 찾아라
첫째, Blackwell 계열 액체 냉각 랙의 실제 배치 속도다. NVIDIA와 서버 OEM이 액체 냉각 설계를 확산할수록 현장 운전 데이터가 늘고, TIM aging 이슈도 더 빨리 드러난다.
둘째, HBM 고적층 로드맵의 qualification 문구다. 12단 이후 세대에서 capacity와 speed만 발표되는지, 아니면 열 특성, 전력 효율, 패키지 두께, 고객 샘플링 조건이 함께 언급되는지 봐야 한다.
셋째, OCP 또는 서버 OEM reference design에서 콜드플레이트, quick disconnect, serviceability 요구사항이 얼마나 구체화되는지다. 랙 표준은 패키지 TIM 조건을 간접적으로 고정한다.
넷째, 소재 업체의 데이터시트 변화다. 단순 bulk thermal conductivity보다 pump-out resistance, thermal cycling after aging, bond line stability, low bleed 같은 항목이 전면에 나오면 시장 요구가 바뀐 신호다.
다섯째, RMA나 현장 서비스 비용 언급이다. TIM pump-out은 양산 초기에는 성능 편차로 보이다가, 시간이 지나면 유지보수와 보증 비용으로 재분류될 수 있다.
공개 뉴스만으로 failure rate를 추정하면 위험하다. 신뢰성 이슈는 대개 NDA, 고객 승인, 내부 품질 데이터에 묶여 늦게 공개되기 때문이다.
엔지니어가 당장 할 일은 명확하다. 새 패키지 검토 때 초기 junction temperature만 묻지 말고, 열사이클 후 Rth drift, 압착력 허용 범위, 재작업 후 성능 회복률을 요구해야 한다.
관리자는 공급망 질문을 바꿔야 한다. TIM은 싸고 작은 부자재가 아니라, 수천만원대 AI 모듈의 성능 보증을 좌우하는 고위험 인터페이스다.
결론은 좁지만 강하다. AI 패키지 냉각에서 가장 비싼 실패는 열을 빼지 못하는 실패가 아니라, 처음에는 빠졌던 열이 6개월 뒤 같은 경로로 빠지지 않는 실패다.
원문 링크
- NVIDIA GB200 NVL72 product page (2024-03-18 - GB200 NVL72 rack scale, 36 Grace CPUs, 72 Blackwell GPUs, liquid-cooled design, 72-GPU NVLink domain)
- NVIDIA Developer Blog on OCP contribution (2024-10-15 - OCP contribution, liquid cooled rack, compute tray, switch tray design context)
- SK hynix Newsroom 12-layer HBM3E (2024-09-26 - 12-layer HBM3E 36GB volume production timing and Korea HBM context)
- JEDEC JESD51-14 standard page (2010-11-01 - Transient dual interface measurement and junction-to-case thermal resistance measurement concept)
- JEDEC JESD22-A104 standard page (2020-01-01 - Temperature cycling reliability test framework)
이미지와 원본 자료 후보
- NVIDIA GB200 NVL72 rack image (company_press - Company product page, usage rights not automatically granted - link only, do not embed)
- NVIDIA OCP GB200 NVL72 liquid cooled design visual (company_press - Company developer blog, reuse requires checking NVIDIA media terms - link only, do not embed)
- SK hynix 12-layer HBM3E newsroom image (company_press - Company newsroom image, reuse rights not guaranteed - link only, do not embed)
