AI Factory는 왜 FLOPS보다 tokens per watt를 보게 됐나: NVIDIA Vera Rubin DSX의 병목

Engineering · 2026년 9월 18일 · 12분

AI 서버의 병목은 GPU 개수에서 전력 배분, 냉각, 네트워크, 스케줄러가 함께 만드는 tokens per watt로 이동하고 있다. NVIDIA가 AI Infra Summit에서 공개한 DSX와 Vera Rubin NVL72 자료를 보면, 더 많은 칩을 꽂는 것보다 같은 megawatt 안에서 실제 output token을 얼마나 안정적으로 뽑는지가 더 어려운 문제가 됐다.

AI 가속기의 공개 사양은 오랫동안 FLOPS, HBM 용량, memory bandwidth로 읽혔다. 그런데 2026년 9월 NVIDIA가 Vera Rubin과 DSX를 설명하면서 앞세운 단위는 조금 달랐다. tokens per watt, tokens per megawatt, 그리고 같은 전력 예산 안에서 몇 개의 node를 더 살릴 수 있는가다.[1][2]

이 변화는 마케팅 문구만의 문제가 아니다. 대형 AI cluster가 실제로 부딪히는 제약이 달라졌기 때문이다. GPU를 살 수 있어도 site power가 고정돼 있으면 rack을 더 켤 수 없다. 전력은 충분해 보여도 cooling, conversion loss, network latency, KV cache traffic, scheduler policy가 맞지 않으면 expensive silicon은 token으로 바뀌지 않는다.

VLSI Korea view: AI factory의 병목은 "가장 빠른 GPU"가 아니라 "고정된 전력과 열 한도 안에서 얼마만큼의 유용한 token을 안정적으로 생산하느냐"로 이동하고 있다.

16개를 세게 돌릴 것인가, 19개를 낮춰 돌릴 것인가

가장 구체적인 숫자는 Lambda의 DSX MaxLPS 검증이다. NVIDIA의 Lambda case study에 따르면 Lambda는 HGX B200 기반 5-rack, 19-node cluster에서 DSX MaxLPS를 사용했다. 기준선은 full-power node 16개였다. 같은 fixed power budget 안에서 19개 node를 운전하자 cluster-wide inference throughput은 약 4.04 million tokens/s에서 5.00 million tokens/s로 늘었고, performance per watt는 23% 개선됐다고 NVIDIA는 밝혔다.[3]

계산 자체는 어렵지 않다. 5.00 / 4.04 = 1.238, 즉 약 24%다. node 수는 19 / 16 = 1.1875, 즉 18.75% 증가다. throughput 증가율이 node 증가율보다 조금 큰 이유는 workload mix와 전력 정책이 같이 작동했기 때문이다. 다만 이 결과는 특정 cluster, 특정 workload, 특정 policy에서 얻은 검증이지 모든 data center에 그대로 보장되는 법칙은 아니다.

왜 full power로 16개를 돌리는 것보다 약간 낮춘 19개가 더 나을 수 있을까. 많은 GPU workload는 항상 같은 power를 쓰지 않는다. prefill, decode, communication, memory access, kernel launch, synchronization이 번갈아 나타난다. 어떤 node는 순간적으로 power headroom을 남기고, 다른 node는 그 순간 더 필요한 일을 갖고 있다.

정적 provisioning은 최악의 순간을 보고 전력을 배정한다. 모든 node가 동시에 peak를 찍어도 안전해야 하기 때문이다. 이 방식은 안정적이지만 headroom을 남긴다. DSX MaxLPS가 주장하는 핵심은 이 남은 여유를 rack 수준에서 실시간으로 보고, node별 power target을 조정해 더 많은 node를 같은 facility envelope 안에 넣는 것이다.[1][3]

중요한 점은 이것이 GPU frequency를 무작정 낮추는 이야기가 아니라는 것이다. 전력을 줄이면 chip 하나의 peak performance는 내려갈 수 있다. 하지만 전체 cluster 관점에서는 더 많은 node가 동시에 useful work를 하면 총 token output이 늘 수 있다. chip-level optimum과 factory-level optimum이 다를 수 있는 지점이다.

Token factory는 단일 칩이 아니라 data path다

LLM serving을 아주 단순화하면 두 단계가 있다. 입력 prompt를 한꺼번에 읽는 prefill, 그리고 답을 한 token씩 내는 decode다. prefill은 큰 matrix 연산을 몰아서 실행하기 쉬워 compute를 잘 채운다. decode는 이전 token의 상태를 계속 읽으며 다음 token을 만들기 때문에 latency, KV cache, memory bandwidth, scheduling의 영향을 크게 받는다.

Agentic workload는 이 차이를 더 키운다. 사용자가 한 번 묻고 끝나는 chat보다, agent는 계획하고, tool을 부르고, 결과를 읽고, 다시 추론한다. context가 길어지고 step 수가 늘어나면 KV cache traffic과 orchestration overhead가 커진다. 그래서 "초당 FLOPS"만으로는 사용자가 느끼는 output token, 특히 multi-step agent의 생산성을 설명하기 어렵다.

NVIDIA의 MLPerf Inference v6.1 블로그도 이 관점과 맞닿아 있다. Vera Rubin NVL72 preview submission은 GB300 NVL72 대비 Qwen3-VL에서 최대 3.7배, DeepSeek-R1에서 최대 2.5배 throughput을 냈다고 NVIDIA는 밝혔다. 이 수치는 MLPerf closed division의 특정 entries와 scenario에 묶인 결과이며, NVIDIA는 vLLM, Dynamo, TensorRT-LLM, disaggregated serving, expert parallelism, lower-precision KV cache 같은 software path를 함께 언급했다.[4]

여기서 bottleneck은 다시 움직인다. Tensor Core가 빨라지면 prefill이 줄고, decode와 KV cache가 더 두드러질 수 있다. KV precision을 낮추면 memory footprint는 줄지만 quality와 numerical behavior 검증이 필요하다. expert parallelism은 MoE layer의 compute를 나눌 수 있지만, routing과 all-to-all communication을 요구한다. disaggregated serving은 prefill과 decode 자원을 다르게 배치할 수 있게 해 주지만, scheduler와 network가 제대로 맞아야 한다.

결국 Vera Rubin의 성능 주장은 chip 하나의 숫자가 아니라 rack-scale interconnect와 software stack을 포함한다. NVIDIA는 sixth-generation NVLink와 NVLink Switch가 rack-scale domain에서 packet rate를 높이고 latency를 낮춰 이런 serving technique을 가능하게 한다고 설명한다.[4]

Scaling efficiency는 왜 전력 경제성의 일부인가

GB300 NVL72의 MLPerf v6.1 결과에서 NVIDIA가 강조한 또 다른 숫자는 99% scaling efficiency다. DeepSeek-R1 offline scenario에서 72-GPU single rack baseline을 288-GPU, 즉 4 rack으로 확장했을 때 throughput이 거의 선형으로 늘었다는 설명이다.[4]

왜 이것이 power story와 연결될까. 전력은 node를 켜는 비용이다. 하지만 node를 추가했는데 synchronization, network congestion, load imbalance 때문에 throughput이 조금만 늘면, 전력과 capex는 늘고 token output은 따라오지 않는다. 이때 tokens per watt는 악화된다. 반대로 4배 가까운 hardware가 4배 가까운 work로 바뀌면, 같은 전력 단위에서 경제성이 유지된다.

이런 이유로 scale-up network는 단순한 연결 장치가 아니다. 거대한 model을 여러 GPU에 나누거나 MoE expert를 나눠 실행하면 token 하나의 뒤에는 여러 device 사이의 exchange가 들어간다. network가 느리면 GPU는 연산하지 않고 기다린다. 전력은 쓰는데 token이 나오지 않는 시간이다.

따라서 AI factory에서 "network is the computer"라는 표현은 꽤 문자 그대로다. GPU, HBM, NVLink, Ethernet, DPU, storage, scheduler가 하나의 production line처럼 맞아야 tokens per megawatt가 올라간다. chip 성능이 높아질수록 그 chip을 굶기지 않는 나머지 path가 더 중요해진다.

전력 전달과 냉각은 시설 문제가 아니라 architecture 문제가 됐다

전력 경로도 병목이다. NVIDIA는 DSX reference design에 800 VDC architecture를 포함한다고 설명한다. 높은 전압으로 전력을 보내면 같은 power에서 current가 낮아지고, 전류가 낮아지면 저항 손실과 conductor 부담을 줄일 수 있다. 다만 실제 이득은 conversion stage, rack design, safety, serviceability, facility retrofit에 좌우된다.[1][5]

냉각도 같은 문제다. NVIDIA의 DSX 글은 direct liquid cooling을 쓰는 GB200 NVL72 rack이 약 120 kW의 heat를 처리해야 한다고 적었다.[1] 이 열이 충분히 빠르게 빠지지 않으면 power budget이 남아도 GPU를 계속 높은 utilization으로 운전할 수 없다. 전기 설계, 냉각 설계, workload scheduling은 서로 독립적인 team의 업무처럼 보이지만 AI factory에서는 같은 control loop에 들어간다.

Grid response는 한 단계 더 밖의 문제다. NVIDIA는 Santa Clara의 Eos AI factory가 Emerald AI Conductor와 Silicon Valley Power의 Flexible Load Interconnect Program에 참여해 200회 넘는 demand signal에 자동 대응했고, 한 사례에서 4 MW에서 3 MW로 줄이면서 high-priority inference를 중단하지 않았다고 설명했다.[1] 이것은 finished DSX Flex deployment라기보다, AI load가 dispatchable resource처럼 행동할 수 있다는 운영 증거에 가깝다.

Failure condition: utility program이 없거나, workload priority를 명확히 나눌 수 없거나, pause 가능한 job 비중이 낮으면 grid-flexible AI factory의 경제성은 약해진다.

반도체 산업에서 희소해지는 것은 무엇인가

이 흐름은 value chain의 희소 자원을 바꾼다. 첫 번째 희소 자원은 여전히 advanced GPU와 HBM이다. 하지만 그것만으로 끝나지 않는다. 높은 rack density를 견디는 power conversion, busbar, connector, cold plate, coolant distribution, DPU, switch, optical/electrical interconnect, 그리고 이들을 제어하는 software가 같이 희소해진다.

반도체 관점에서 중요한 변화는 "chip package를 팔았다"와 "token 생산 라인을 완성했다" 사이의 간격이 커진다는 점이다. 고성능 silicon을 공급하는 회사는 이제 rack-level reference design, network fabric, power architecture, management software까지 묶어야 한다. memory vendor와 foundry, OSAT, substrate, power semiconductor, cooling supplier의 협력도 더 촘촘해진다.

투자 관점에서도 headline FLOPS만 보면 놓치는 지점이 생긴다. 같은 GPU 세대라도 utility interconnect, cooling capacity, power control software, workload mix가 다르면 realized token output이 달라진다. 반대로 전력망 증설이 늦어져도 dynamic power allocation과 demand response가 충분하면 일부 capacity를 먼저 사용할 수 있다.

하지만 vendor claim을 그대로 sizing rule로 쓰면 안 된다. Lambda의 24%는 특정 검증 결과다. Vera Rubin에서 같은 megawatt 안에 최대 40% 더 많은 GPU capacity를 넣을 수 있다는 NVIDIA의 설명은 suitable deployment environments라는 조건을 단 projection이다.[1][2] MLPerf 결과도 benchmark scenario와 submission stack에 묶여 있다.[4][6] 독자가 가져가야 할 결론은 특정 multiplier가 아니라, 병목을 찾는 방식이다.

AI factory의 질문은 이제 "GPU가 몇 PFLOPS인가"에서 멈추지 않는다. 같은 megawatt가 몇 개의 useful token으로 바뀌는지, 그 token을 만드는 동안 어떤 byte와 packet과 watt가 기다리는지 봐야 한다. bottleneck은 chip 안에서 package로, rack network로, cooling loop로, 전력망 계약으로 이동한다. DSX와 Vera Rubin 발표가 보여준 핵심은 바로 그 이동이다.

Sources

[1] NVIDIA Blog, From Megawatts to Tokens: How NVIDIA Maximizes AI Factory Production, 2026-09-15. DSX MaxLPS, DSX Flex, Eos demand response, 800 VDC, and 120 kW rack-heat context.

[2] NVIDIA Blog, AI Infra Summit: NVIDIA Vera Rubin and DSX Platform Advancements Showcase Energy Efficiencies of Optimizing Tokens Per Watt for AI Factories, 2026-09-15. Summit summary, tokens per megawatt framing, Lambda result, and Vera Rubin/DSX projections.

[3] NVIDIA Case Study, Lambda Maximizes Performance per Watt With NVIDIA DSX MaxLPS, retrieved 2026-09-18 KST. 19-node vs 16-node fixed-power result, 4.04M to 5.00M tokens/s, 23% performance-per-watt improvement, and test conditions.

[4] NVIDIA Blog, NVIDIA Vera Rubin NVL72 Delivers Leading Performance in MLPerf Inference v6.1 Debut, 2026-09-16. Vera Rubin preview throughput, GB300 NVL72 scaling efficiency, software optimizations, and benchmark context.

[5] NVIDIA, 800 VDC Architecture for AI Data Centers, retrieved 2026-09-18 KST. High-voltage AI data center power architecture context.

[6] MLCommons, MLPerf Inference v6.1 results announcement, 2026-09-16. Benchmark scope, new tests, participating organizations, and reproducibility context.

Editorial Note

자료 확인일은 2026년 9월 18일 KST다. NVIDIA와 Lambda 관련 수치는 NVIDIA 공식 블로그와 case study의 공개 수치이며, 독립적으로 모든 workload에서 재현됐다고 해석하지 않았다. VLSI Korea original schematic은 본문 계산과 병목 구조를 설명하기 위한 도식이며 실제 data center 배선도나 NVIDIA 내부 architecture diagram이 아니다. 이 글은 subscriber email, push, social post 없이 웹사이트에만 발행된다.

Disclosure

본 글은 정보 제공만을 목적으로 하며, 특정 증권의 매수 또는 매도를 권유하는 것이 아닙니다. 본 글에 포함된 수치와 사실은 기업 공시, 언론 보도, 시장 조사 등 공개적으로 이용 가능한 자료를 바탕으로 작성되었으며, 해당 자료 또는 작성 과정에서 오류가 발생할 수 있습니다. 필자는 언급된 기업의 주식을 보유하고 있을 수 있습니다. 모든 투자 결정 및 그에 따른 결과는 독자의 책임입니다.