한 줄 주장: AI 반도체의 성능을 가장 자주 깎는 곳은 MAC array 안이 아니라 팀과 팀 사이의 경계다. 칩·HBM·패키지·보드·전원·냉각을 한 시스템으로 설계하지 않으면, 각 팀이 사양을 지켜도 제품은 목표 성능을 내지 못한다.
AI 가속기 발표 자료에는 보통 좋은 숫자가 앞에 선다. 연산량, 메모리 대역폭, 인터커넥트 속도, 전력 효율이다. 그런데 실제 시스템에서 이 숫자들은 서로 독립적이지 않다. HBM 대역폭을 높이면 패키지 배선과 전력 무결성의 부담이 커지고, 패키지를 더 조밀하게 만들면 열유속과 뒤틀림 문제가 올라온다. 전압을 낮추면 같은 전력에서 전류가 늘고, 전류가 늘면 보드와 패키지의 작은 저항·인덕턴스도 성능 변수로 바뀐다.
그래서 이제 “좋은 칩”과 “좋은 시스템”을 분리해 말하기 어렵다. 더 정확히는, AI 반도체는 하나의 제품인데 조직도에서는 여러 제품처럼 나뉘어 있다. RTL, physical design, package, memory, board, power, thermal, firmware가 각자 자기 sign-off를 통과한 뒤 마지막에 합치는 방식은 점점 비싸고 느린 방식이 되고 있다.
로컬 최적화의 역설: 모두가 성공했는데 제품은 실패한다
기능 조직은 필요하다. 아날로그 설계자는 잡음과 안정성을, 패키지 엔지니어는 신뢰성과 조립성을, 보드 엔지니어는 전원·신호 무결성을 깊게 파야 한다. 문제는 전문화가 아니라 공동 최적화가 필요한 경계에 최종 의사결정자가 없는 것이다.
가령 아키텍처 팀은 목표 대역폭을 달성했고, PHY 팀은 eye margin을 확보했으며, 패키지 팀은 배선 규칙을 만족했고, thermal 팀은 정상상태 온도를 맞췄다고 하자. 그래도 실제 AI workload의 순간 부하에서 전압 droop가 커져 클록이 낮아지면 시스템 throughput은 목표에 못 미친다. 각 팀의 보고서는 초록색인데 제품 그래프만 빨간색인 상황이다.
이것이 로컬 최적화의 역설이다. 팀별 KPI는 자기 블록이 계약을 지켰는가를 묻지만, 제품은 경계를 지난 뒤에도 그 계약이 유효한가를 묻는다. 후자의 질문에는 대개 한 사람의 이름이 붙어 있지 않다.
첫 번째 경계: 로직과 HBM 사이에는 ‘대역폭’만 흐르지 않는다
GPU와 HBM을 가까이 붙이면 데이터 이동 에너지를 줄이고 대역폭 밀도를 높일 수 있다. 하지만 가까움은 공짜가 아니다. logic die의 hotspot, HBM의 온도 한계, interposer·RDL의 배선, 범프 피치, 전력 공급, 패키지 warpage가 동시에 얽힌다.
imec가 2025년 IEDM에서 공개한 3D HBM-on-GPU 시뮬레이션은 이 문제를 극적으로 보여준다. 연구팀이 가정한 초기 구조는 현실적인 AI training workload에서 peak GPU 온도가 141.7°C까지 올라갔다. 기술 구조와 double-sided cooling, 주파수 같은 시스템 레버를 함께 조정한 뒤에는 70.8°C까지 낮아졌다. 이 수치는 상용 제품의 측정값이 아니라 특정 가정에 기반한 연구 결과다. 그래도 메시지는 분명하다. 패키징 아이디어의 타당성은 패키징 팀 안에서만 판정할 수 없다.
이 경계의 오너는 단순히 “HBM interface owner”여서는 부족하다. workload별 power map, memory traffic, thermal resistance, package floorplan, cooling 조건을 하나의 trade-off table로 묶을 수 있어야 한다. VLSI Korea의 HBM4 해설에서 다룬 2,048-bit interface와 custom base die도 결국 이 공동 예산 안에서 의미를 가진다.
두 번째 경계: 패키지와 보드 사이에서 전력은 아날로그 문제가 된다
디지털 칩의 전력 문제는 칩 바깥으로 나오는 순간 더 아날로그적이 된다. 수백 암페어의 전류, package inductance, VRM 응답, decoupling network, plane resistance, connector가 하나의 동적 회로를 만든다. 평균 전력이 같아도 workload가 얼마나 빠르게 바뀌는지에 따라 전압 droop와 overshoot가 달라진다.
여기서 자주 생기는 실수는 chip power number를 board team에 넘기는 것으로 interface 계약이 끝났다고 보는 것이다. 실제로 필요한 것은 최소한 다음 네 가지다.
- 정상상태 전력과 rail별 전류
- 부하 step의 크기와 slew rate
- 허용 가능한 droop·overshoot와 recovery time
- clock throttling·firmware control이 개입하는 시간축
이 네 항목 중 하나라도 “나중에 측정해서 보자”가 되면, 보드에는 과도하게 많은 capacitor가 붙거나 반대로 실리콘이 예상보다 자주 throttle될 수 있다. 전자의 비용은 BOM과 면적이고, 후자의 비용은 판매한 TOPS를 실제 workload에서 회수하지 못하는 것이다.
세 번째 경계: 서버 보드와 랙 사이에서 전력·냉각은 같은 계약이 된다
OCP Open Rack V3가 48V DC busbar를 채택한 이유는 간단하다. 같은 전력을 더 높은 전압으로 보내면 전류를 줄일 수 있고, 전류가 줄면 I²R conduction loss를 크게 낮출 수 있다. 그러나 rack 전압을 올리는 것으로 문제가 끝나지는 않는다. 48V에서 accelerator rail까지 내려가는 변환 단계, 배터리 백업, busbar와 connector, liquid cooling manifold, 제어 telemetry가 하나의 시스템을 이룬다.
OCP에 공개된 Catalina compute tray 사양은 연속 동작 4.74kW와 10ms 미만의 7.74kW transient를 구분하고, CPU·GPU·switch package에 액체 냉각을 사용한다. 이 숫자의 핵심은 크기보다 시간축이다. workload의 순간 변화가 tray 전력, 냉각, firmware 정책까지 건너간다는 뜻이다.
따라서 accelerator 설계자는 더 이상 TDP 한 줄만 넘기고 끝낼 수 없다. rack team도 평균 kW만으로 용량을 잡을 수 없다. 전력과 냉각은 별도 조직이어도 같은 workload trace를 봐야 한다. 이 공동 입력이 없으면 한쪽은 worst case를 과대 설계하고, 다른 쪽은 보이지 않는 thermal·power debt를 제품에 남긴다.
네 번째 경계: 칩렛 표준은 연결을 표준화하지만 제품 책임까지 표준화하지 않는다
UCIe의 발전은 오히려 인터페이스 오너십이 왜 중요한지 보여준다. UCIe는 die-to-die PHY와 protocol stack을 넘어 software model과 compliance test를 포괄한다. 2.0에서는 multi-chiplet SiP의 test, telemetry, debug, field management를 위한 구조가 강화됐고, 3.0에는 fast throttle과 emergency shutdown 같은 시스템 신호까지 들어갔다.
표준이 다루는 범위가 넓어졌다는 것은 “PHY만 붙으면 칩렛 생태계가 열린다”는 초기 기대가 충분하지 않았다는 뜻이기도 하다. 부팅 순서, 오류 격리, health monitoring, 보안, field debug, 열 비상 상황까지 제품 수명주기의 경계 문제가 남는다.
그러므로 open chiplet 시대의 핵심 직무는 standard expert만이 아니다. 여러 공급사의 die가 한 제품처럼 실패하고, 복구되고, 업데이트되게 만드는 integration owner가 필요하다. VLSI Korea가 다룬 BoW와 UCIe 비교도 PHY 선택의 끝이 아니라 이 운영 계약의 시작으로 읽어야 한다.
더 많은 회의가 아니라, 한 장의 공동 예산표가 필요하다
“협업을 강화하자”는 말은 대개 실행 규칙이 없다. 회의를 늘리면 정보는 공유되지만 책임은 더 흐려질 수도 있다. 필요한 것은 친목이 아니라 경계마다 한 명의 오너와 한 장의 공동 budget이다.
| 경계 | 공동으로 잠가야 할 예산 | 늦게 발견할 때의 비용 |
|---|---|---|
| 로직 ↔ HBM·패키지 | 대역폭, W/GB/s, hotspot, warpage, yield | floorplan 재작업, throttle, package 재설계 |
| 패키지 ↔ 보드 | mV droop, ps jitter, transient, decap, return path | BOM 증가, SI/PI margin 붕괴, bring-up 지연 |
| 보드 ↔ 랙 | 연속·peak kW, busbar, CDU, flow, telemetry | 전력 밀도 제한, 냉각 재배치, 가동률 저하 |
| chiplet ↔ firmware·field | boot, test, repair, security, shutdown latency | 수율 손실, 장애 격리 실패, RMA 증가 |
공동 예산표에는 단위가 있어야 한다. “thermal issue 없음”이 아니라 °C와 K/W, “power margin 충분”이 아니라 mV와 μs, “link 안정”이 아니라 BER와 ps로 적어야 한다. 그리고 한 열이 좋아질 때 다른 열이 어떻게 나빠지는지 기록해야 한다. 이 표가 architecture review부터 qualification까지 살아 있어야 interface owner에게 실제 권한이 생긴다.
반대 의견: 그렇게 하면 조직이 너무 느려지지 않는가
가장 강한 반론은 명확하다. 모든 결정을 cross-functional하게 만들면 회의가 폭증하고 전문가의 속도가 떨어진다. 맞는 지적이다. Co-design을 “모두가 모든 결정을 함께 한다”로 운영하면 실패한다.
해법은 결정 범위를 줄이는 것이다. 블록 내부의 선택은 해당 팀이 빠르게 한다. 다만 제품 목표를 바꿀 수 있는 경계 변수만 공동 관리한다. 예를 들어 standard cell 선택은 physical design 팀의 일이다. 그러나 그 선택이 rail transient, hotspot, package current density를 바꿀 정도라면 interface budget의 변경으로 승격한다.
두 번째 반론은 표준과 EDA가 이 문제를 해결할 것이라는 주장이다. UCIe, package design kit, multi-physics tool은 분명 비용을 줄인다. 하지만 tool은 trade-off를 계산할 뿐 우선순위를 정하지 않는다. 성능, 원가, 수율, 일정 중 무엇을 양보할지는 여전히 조직의 결정이다. 오너십 없는 자동화는 더 빠른 로컬 최적화가 될 수 있다.
한국 반도체에 필요한 것은 ‘T자형 인재’보다 ‘경계의 권한’이다
산업은 흔히 T자형 인재를 요구한다. 자기 분야는 깊고 주변 분야는 넓게 이해하는 사람이다. 필요하지만 충분하지 않다. 열심히 공부한 개인이 조직 경계를 알아서 메우는 방식은 확장되지 않는다. 그 사람이 퇴사하거나 프로젝트가 바뀌면 연결 지식도 사라진다.
한국 반도체 생태계는 메모리, 파운드리, 팹리스, OSAT, 기판, 전력 부품, 냉각·서버 기업이 각자의 강점을 가진다. 다음 경쟁력은 이들을 한 회사로 합치는 데 있지 않다. 실제 고객 workload를 기준으로 모델과 예산을 공유하고, 회사 경계를 건너도 decision log가 남는 co-design 운영체계를 만드는 데 있다.
특히 세 가지 변화가 필요하다.
- Pathfinding 단계에 package·power·thermal을 넣는다. RTL freeze 뒤의 검증 부서가 아니라 architecture option을 줄이는 초기 설계자로 참여시킨다.
- interface owner에게 변경 권한을 준다. 단순 coordinator가 아니라 공동 budget을 근거로 spec과 일정을 되돌릴 수 있어야 한다.
- 실제 workload trace를 공동 진실로 삼는다. 팀마다 다른 synthetic worst case를 쓰지 말고, 대표 workload와 반증용 corner workload를 함께 관리한다.
이 구조는 EDA 직무도 바꾼다. 앞으로 가치가 커지는 엔지니어는 한 tool의 command를 많이 아는 사람만이 아니다. power map을 package와 cooling decision으로 번역하고, SI/PI 결과를 architecture throughput으로 되돌리는 사람이다. VLSI Korea의 Low-Power / Power Architecture 팀 가이드가 다룬 역할도 이제 칩 내부 전력에서 시스템 경계로 확장된다.
측정 기준도 바꿔야 한다: TOPS보다 ‘경계 손실’을 보자
좋은 조직 개편은 새 직함이 아니라 새 측정치에서 드러난다. 다음 tape-out review에서는 peak TOPS 옆에 네 숫자를 함께 놓아볼 만하다.
- 대표 workload에서 thermal·power throttling으로 잃은 성능 비율
- interface 변경 때문에 발생한 late ECO와 일정 손실
- chip·package·board·firmware 모델 사이의 correlation 오차
- field failure 중 한 팀의 sign-off만으로 재현할 수 없었던 비율
이 수치들이 줄어들면 co-design은 실제로 작동하는 것이다. 줄지 않는다면 조직도에 system architect를 추가했어도 본질은 달라지지 않은 것이다.
결론: 다음 세대의 해자는 더 좋은 블록이 아니라 더 짧은 피드백 루프다
AI 반도체의 물리는 조직도를 존중하지 않는다. 열은 package boundary에서 멈추지 않고, 전압 droop는 담당 팀의 R&R을 읽지 않으며, workload transient는 chip TDP 표를 따르지 않는다.
그래서 다음 세대의 경쟁력은 모든 블록을 세계 최고로 만드는 데서만 나오지 않는다. 문제가 생겼을 때 workload에서 silicon, package, board, rack으로 원인을 추적하고 다시 architecture decision으로 돌아오는 피드백 루프를 얼마나 짧게 만드느냐에서 나온다.
칩은 이미 시스템이 됐다. 이제 조직도 그렇게 설계할 차례다.
참고 자료
- UCIe Consortium, UCIe Specifications 1.0–3.0
- imec, 3D HBM-on-GPU thermal system-technology co-optimization, IEDM 2025
- Open Compute Project, Catalina Compute Tray Specification
- Open Compute Project, Open Rack specifications and designs
- TSMC, CoWoS wafer-level system integration platform
- Semiconductor Industry Association, Semiconductor R&D Programs, 2025
VLSI Korea 관점 — 이 글은 공개 표준·논문·기술자료를 바탕으로 작성한 독립적인 기술 칼럼입니다. 특정 회사의 내부 설계, 고객 정보, 미공개 roadmap은 사용하지 않았습니다. 수치와 결론에 대한 정정·반론은 [email protected]로 보내주시면 검토 후 변경 기록을 남깁니다.
