256-core server CPU의 병목은 core 수가 아니다: Diamond Rapids의 memory-I/O envelope

🆓 무료 글 · 누구나 무료로 읽을 수 있는 글입니다

답부터 말하면, 256-core server CPU의 성능은 core 수가 아니라 core가 실제로 먹을 수 있는 memory bandwidth, package 내부 이동, coherent expansion, board I/O가 동시에 닫히는 지점에서 결정된다. Intel은 2026년 8월 24일 Hot Chips 2026 자료에서 Diamond Rapids에 최대 256개 core, 1.28 GB LLC, 12,800 MT/s의 16개 memory channel, 128개 PCIe 6.0 lane과 CXL 3.0을 제시했다. 이는 대형 CPU의 병목을 넓히려는 설계 방향을 보여주지만, peak specification만으로 sustained workload throughput, latency, utilization 또는 rack economics를 증명하지는 않는다.

이 글의 두 reader job은 명확하다. Server architect와 performance engineer는 core-count headline을 memory, I/O, coherency, package라는 네 개의 envelope로 분해해 workload fit을 판단할 수 있다. 구매, product, infrastructure owner는 socket 가격이나 peak core 수가 아니라 useful work per watt, per rack, per license가 늘어나는 조건을 요구할 수 있다. 개선하려는 결정도 두 가지다. 첫째, 어떤 workload를 256-core socket에 배치할지 정한다. 둘째, CXL memory, accelerator, storage, network 또는 software tuning 중 어디에 다음 비용을 투입할지 정한다.

1. 무엇이 발표됐고, 무엇은 아직 발표되지 않았나

Intel의 8월 24일 발표는 Diamond Rapids를 enterprise-scale agentic AI용 compute foundation으로 설명한다. 공개된 수치는 최대 256 core, 1.28 GB LLC, 16 memory channel at 12,800 MT/s, 128 PCIe Gen6 lane과 CXL 3.0이다. Intel은 18A-P, Foveros Direct 3D, UCIe-S, unified memory fabric, APX와 강화된 AMX도 함께 언급했다. Hot Chips 공식 프로그램은 해당 발표가 2026년 8월 24일 CPU 세션에 배치됐음을 독립적으로 확인한다.

반대로 공개되지 않은 것이 더 중요하다. Intel 자료는 SKU별 core count, memory population, TDP, sustained bandwidth, NUMA topology, UCIe lane allocation, cache slice 접근 비용, CXL device 구성별 latency, workload benchmark를 완전한 product table로 제공하지 않는다. 최대 수치는 한 SKU에서 동시에 가능한 guaranteed operating point가 아닐 수 있다. “up to”라는 표현을 모든 항목의 동시 달성으로 읽으면 안 된다.

또한 1.28 GB LLC를 256으로 나누면 산술 평균은 core당 5 MB지만, 이는 각 core에 고정 할당된 private cache를 뜻하지 않는다. Shared cache는 address mapping, slice, fabric, contention과 workload locality에 따라 효용이 달라진다. 같은 방식으로 128개 PCIe lane도 모든 lane이 full-rate useful payload를 지속한다는 뜻이 아니다. Link width, topology, protocol overhead, traffic direction, device behavior가 실제 throughput을 바꾼다.

그래서 이 글의 consensus는 “Intel이 core, memory, package, I/O를 함께 키웠다”이다. VLSI Korea view는 한 단계 더 좁다. 256-core라는 숫자는 성능 결과가 아니라 balance sheet다. 16 channel, UCIe-S, PCIe 6.0, CXL 3.0 중 하나라도 workload와 맞지 않으면 추가 core는 queue를 늘리거나 idle fraction을 키울 수 있다. 정확한 disagreement는 “core count가 높으니 throughput도 비례한다”는 해석과 “네 envelope가 겹치는 workload에서만 비례에 가까워진다”는 해석 사이에 있다.

2. 첫 번째 envelope: 16개 memory channel의 1.638 TB/s를 어떻게 읽나

64-bit payload channel을 가정하면 이론 peak는 16 × 12.8 billion transfers/s × 8 bytes = 1.6384 TB/s다. 이를 256 core로 균등 분할하면 core당 6.4 GB/s다. 이 숫자는 Diamond Rapids의 실측이 아니라 Intel이 공개한 transfer rate와 일반적인 64-bit payload 폭을 결합한 계산이다. ECC 전송, command, refresh, bank conflict, controller efficiency, read/write mix, NUMA locality, software access pattern은 모두 sustained payload를 낮출 수 있다.

6.4 GB/s per core가 충분한지는 workload가 결정한다. Cache hit가 높고 arithmetic intensity가 큰 code는 memory interface를 덜 사용한다. Pointer chasing, graph analytics, in-memory database scan, memory-bound scientific kernel은 latency와 bandwidth를 빠르게 소모한다. Virtualization과 container density가 높은 환경에서는 서로 독립적인 workload가 channel과 LLC를 공유하면서 tail latency를 키울 수 있다. 따라서 procurement benchmark는 aggregate score 하나보다 socket bandwidth, per-core bandwidth, local/remote latency, 95th percentile latency를 함께 보여야 한다.

여기서 가장 흔한 오류는 peak bandwidth를 application bandwidth로 쓰는 것이다. 12,800 MT/s는 transfer rate이고, 1.638 TB/s는 모든 channel이 충분히 채워진 이상적 payload 계산이다. 실제 server에는 DIMM population rule, rank, timing, controller scheduling, page locality가 있다. Memory capacity를 늘리는 구성과 bandwidth를 극대화하는 구성이 다를 수도 있다. “16 channel을 지원한다”와 “운영 SKU가 16 channel을 최고 속도로 지속한다”는 별도 claim이다.

실무 decision rule은 core utilization과 memory controller utilization을 동시에 보는 것이다. Core idle이 높고 memory controller가 포화되면 core를 더 사는 대신 data placement, compression, cache blocking, partitioning 또는 더 적은 core per socket을 검토해야 한다. 반대로 memory headroom이 있는데 core가 포화되면 compute, vectorization, accelerator offload가 다음 제약일 수 있다. 병목은 부품 이름이 아니라 queue가 쌓이는 위치다.

3. 두 번째와 세 번째 envelope: UCIe, PCIe, CXL은 같은 bandwidth가 아니다

UCIe Consortium은 UCIe를 package level의 die-to-die physical layer, protocol stack, software model, compliance testing을 포괄하는 표준으로 정의한다. UCIe 2.0은 manageability, testability, debug와 3D packaging을 확장했고, UCIe 3.0은 48 GT/s와 64 GT/s, longer sideband, fast throttle, emergency shutdown, runtime recalibration 등을 추가했다. Intel의 UCIe-S 언급은 modular die를 연결하는 방향을 보여주지만, public announcement만으로 link 수, topology, retry, repair, thermal guardband를 알 수는 없다.

PCI-SIG는 PCIe 6.0이 64 GT/s raw rate와 x16에서 최대 256 GB/s의 양방향 aggregate bandwidth를 제공한다고 설명한다. PAM4, FLIT mode, lightweight FEC와 CRC가 이 세대의 핵심이다. Diamond Rapids의 128 lane은 이론적으로 여러 accelerator, NIC, storage device를 넓게 연결할 수 있다. 그러나 lane count는 device가 useful work를 생성하는 비율, switch oversubscription, DMA pattern, host memory traffic과 결합해야 의미가 있다.

CXL Consortium의 3.0 공개 자료는 64 GT/s, memory sharing and pooling, enhanced coherency, peer-to-peer communication, multi-level switching을 강조한다. CXL은 memory capacity와 composability를 늘릴 수 있지만, remote capacity가 local memory와 동일한 latency와 bandwidth를 보장하지 않는다. Page placement, hot/cold tiering, operating-system policy, device controller가 좋지 않으면 capacity는 늘고 workload time은 거의 줄지 않을 수 있다.

세 interface의 숫자를 합산해 하나의 “system bandwidth”로 만드는 것은 잘못이다. UCIe는 package 내부 ownership과 repair를, PCIe는 board-level transport를, CXL은 coherent protocol과 memory semantics를 다룬다. 한 byte가 workload에서 이동할 때 이들 중 하나만 거칠 수도 있고 여러 boundary를 연속해 건널 수도 있다. 성능 model은 path별 latency, concurrency, retry, coherency traffic, data reuse를 따로 계산해야 한다.

4. 네 번째 envelope: package가 core를 붙이는 방식이 latency와 yield를 바꾼다

Open-access UCIe-3D 논문은 bump pitch가 줄어들수록 short-distance link가 lower frequency에서도 높은 bandwidth density와 낮은 power를 달성할 수 있다는 architecture를 제안한다. Figure 2는 NoC, PHY, repair subcluster, stacked compute와 memory/I/O 구조를 보여주고, Figure 6은 idealized monolithic과 3D network의 hop, latency, bisection bandwidth, power를 모델링한다. 저자들은 256-core scenario도 다루지만, 이 결과를 Diamond Rapids 성능으로 옮기면 안 된다. 기술적 relevance는 “core 수가 커질수록 topology와 hop distribution이 workload를 가른다”는 mechanism에 있다.

Package는 단순한 배선판이 아니다. Core tile, memory/I/O tile, cache, power delivery, thermal path, test access, known-good-die strategy가 함께 묶인다. Die를 쪼개면 reticle과 yield flexibility를 얻을 수 있지만, die-to-die latency, PHY area, protocol overhead, assembly yield, thermal coupling, failure isolation이 새 비용으로 생긴다. 18A-P와 Foveros Direct 3D라는 이름만으로 이 tradeoff의 순이익을 계산할 수는 없다.

Intel의 18A public page는 RibbonFET, PowerVia와 performance, power, density improvement를 회사 claim으로 제시한다. 이 숫자는 Intel 3 대비 특정 조건의 platform claim이며 Diamond Rapids full-system benchmark가 아니다. CPU buyer가 필요한 것은 process KPI를 socket TDP, frequency distribution, memory throughput, package loss, yield, availability와 연결한 evidence다.

Failure mode도 package boundary에서 달라진다. 한 tile의 defect를 binning 또는 repair로 흡수할 수 있으면 economics가 좋아질 수 있다. 반대로 stack 또는 bonding 문제로 package 전체를 잃으면 known-good-die 이점이 줄어든다. Field에서 link degradation을 감지하고 bandwidth를 낮춰 계속 운용할 수 있는지, 아니면 socket failure로 이어지는지도 TCO를 바꾼다. UCIe의 manageability와 test feature가 중요한 이유다.

5. Four-Envelope Throughput Test: headline을 workload decision으로 바꾸는 법

이 글은 네 envelope의 최소값을 system throughput의 우선 근사치로 보는 Four-Envelope Throughput Test를 제안한다. 정확한 제품 모델이 아니라 decision framework다. Memory envelope는 sustained bandwidth, locality, queueing을 본다. I/O envelope는 lane, device, traffic direction과 switch를 본다. Coherency envelope는 CXL topology, NUMA, page placement와 software policy를 본다. Package envelope는 UCIe topology, thermal, power, yield, repair를 본다.

첫 단계는 workload를 bytes, operations, working-set size, tail-latency target으로 표현하는 것이다. “AI workload”나 “database” 같은 이름은 너무 넓다. Token serving에서도 CPU orchestration, preprocessing, networking, KV-cache movement의 비율이 다르다. EDA에서는 compile, graph traversal, simulation, place-and-route가 서로 다른 memory pattern을 가진다. 동일한 256 core라도 workload stage에 따라 best configuration이 달라진다.

둘째, local memory에서 roofline을 만든다. 공개 peak를 그대로 쓰지 말고 measured STREAM-like bandwidth 또는 application counter를 넣는다. 셋째, accelerator, NIC, storage가 소비하는 host traffic을 별도 budget으로 뺀다. 넷째, CXL memory가 있다면 local과 remote tier를 분리해 hit ratio와 migration cost를 측정한다. 다섯째, thermal 또는 power limit 때문에 sustained frequency가 내려가는지 확인한다.

Decision threshold는 “256 core가 몇 점 빠른가”가 아니라 “current rack constraint 안에서 accepted work가 얼마나 늘었는가”다. Software license가 core 수에 비례하면 hardware throughput improvement가 license cost를 이기지 못할 수 있다. Network 또는 storage가 이미 포화면 CPU upgrade가 queue만 이동시킨다. 반대로 socket consolidation으로 server 수, memory footprint, network port, 운영 복잡도를 줄이면 core당 성능이 완벽히 비례하지 않아도 TCO가 좋아질 수 있다.

6. Roofline 계산: arithmetic intensity가 core count의 가치를 정한다

Memory-bound ceiling은 간단히 bandwidth × arithmetic intensity로 표현할 수 있다. 1.638 TB/s를 가정하면 0.5 operation/byte에서 0.819 TOPS, 1에서 1.638 TOPS, 2에서 3.277 TOPS, 4에서 6.554 TOPS, 8에서 13.107 TOPS다. 이는 instruction mix, vector width, cache reuse, latency를 무시한 explanatory ceiling이다. 실제 compute peak와의 최소값이 roofline이 되고, 어느 쪽이 낮은지가 우선 병목이다.

이 계산이 주는 핵심은 숫자의 정확성이 아니라 방향이다. Arithmetic intensity가 낮은 workload는 core를 추가해도 memory line을 넘지 못한다. Cache blocking, data layout, compression, prefetch, locality가 core count보다 먼저다. Arithmetic intensity가 높고 cache reuse가 좋은 workload는 memory ceiling에서 멀어져 vector unit, frequency, instruction dependency, scheduler가 중요해진다.

강한 반론은 대부분의 production workload가 한 줄짜리 roofline으로 설명되지 않는다는 것이다. 맞다. Phase가 바뀌고, synchronization과 network wait가 있으며, memory access도 uniform하지 않다. 그래서 이 그림은 product forecast가 아니라 test design이다. Workload phase별 bytes/op와 counter를 측정해 어느 단계가 memory-bound인지 찾고, 그 단계에서만 bandwidth intervention을 적용해야 한다.

이 thesis가 틀리는 조건도 분명하다. Public benchmark에서 256 core가 넓은 workload에서 높은 occupancy를 유지하고, memory controller와 UCIe/CXL path가 낮은 tail latency로 scale하며, socket 또는 rack당 energy와 license cost까지 개선된다면 core-count headline은 실제 utility를 잘 대표한다. 반대로 peak channel rate만 공개되고 sustained data, NUMA behavior, CXL placement, field repair가 보이지 않으면 아직 specification이 evidence보다 앞선 상태다.

7. Korea Lens: memory, package, system team이 지금 요구할 데이터

한국 memory supplier에게 16-channel server는 단순히 DIMM 수 증가가 아니다. MRDIMM speed bin, signal integrity, thermal margin, controller training, capacity mix, RAS, workload qualification이 함께 움직인다. Peak 12,800 MT/s를 지속하려면 module과 platform이 같은 operating point에서 검증돼야 한다. SK hynix와 Samsung Electronics가 볼 KPI는 announcement의 channel 수보다 qualified configuration 수, sustained bandwidth, error correction, throttling, customer workload coverage다.

Packaging과 substrate team은 UCIe-S를 protocol 이름으로만 보면 안 된다. Bump pitch, routing, power integrity, thermal gradient, test access, repair policy, assembly yield가 system economics를 결정한다. EDA와 verification team은 die-level closure뿐 아니라 multi-die latency, traffic hotspot, fault injection, firmware bring-up, telemetry를 sign-off flow에 넣어야 한다. 최근 VLSI Korea의 In-Network Compute reference와 digital-twin release analysis가 공통으로 보여준 것도 interface가 늘어날수록 ownership과 validation contract가 중요해진다는 점이다.

Server buyer와 cloud operator는 evaluation matrix를 바꿔야 한다. Core count, list price, SPEC score만 비교하지 말고 memory bandwidth per core, local/remote latency, CXL tier hit ratio, PCIe device saturation, power capping 이후 throughput, software license per accepted job을 넣는다. 가능하면 one-socket consolidation과 two-socket NUMA를 같은 workload cost로 비교한다. Hardware 가격보다 migration, tuning, qualification 시간이 더 클 수 있다.

학계와 교육기관은 256-core system을 병렬 programming 교재로만 쓰기보다 memory traffic, topology, coherency, power를 함께 측정하는 lab으로 만들어야 한다. Average throughput보다 tail latency와 imbalance를 보여주고, counter가 claim을 지지하지 않을 때 가설을 수정하는 훈련이 필요하다. 많은 core를 “사용”하는 것과 useful work로 채우는 것은 다르다.

8. 6~12개월 관측표와 practitioner checklist

2026-09-30까지: Hot Chips presentation deck 또는 추가 technical disclosure에서 tile topology, memory fabric, cache, UCIe-S 구성과 실제 benchmark가 나오는지 본다. 발표가 peak table에 머물면 uncertainty는 유지한다.

2026-12-31까지: Platform, memory, firmware, CXL device compatibility 자료가 공개되는지 확인한다. 16-channel 12,800 MT/s가 어떤 DIMM population과 조건에서 지원되는지, power와 thermal guardband가 무엇인지가 중요하다.

2027-03-31까지: Independent lab 또는 customer가 sustained memory bandwidth, local/remote latency, workload utilization을 공개하는지 본다. Synthetic peak와 application result를 분리한다.

2027-06-30까지: Socket consolidation, CXL memory tiering, accelerator attachment가 work per watt와 work per rack을 개선했는지 확인한다. Shipment volume이나 launch date만으로 architecture thesis를 검증하지 않는다.

Practitioner checklist는 여섯 문장으로 줄일 수 있다. Workload의 bytes/op를 측정했는가. Local과 remote memory를 분리했는가. PCIe traffic direction과 switch oversubscription을 확인했는가. CXL capacity와 latency를 같은 숫자로 취급하지 않았는가. UCIe와 package의 repair/telemetry를 검토했는가. 마지막으로 core 수가 아니라 accepted work per cost를 비교했는가.

두 thesis breaker도 기록한다. 첫째, independent production benchmark가 memory와 I/O headroom을 유지한 채 256 core에서 near-linear scale을 넓게 재현하면 이 글은 bottleneck risk를 과대평가했다. 둘째, CXL와 UCIe의 manageability, repair, software placement가 거의 자동화돼 운영 overhead가 미미하다면 four-envelope review의 비용이 줄어든다.

최종 결론은 단순하다. 256 core는 목적이 아니라 stress test다. Memory, I/O, coherency, package 중 가장 좁은 envelope를 드러내는 도구로 봐야 한다. 네 envelope가 동시에 닫힌 workload에서 Diamond Rapids의 공개 구조는 높은 system value를 만들 수 있다. 하나라도 열려 있다면 추가 core는 성능 자산보다 queueing liability가 될 수 있다.

Sources and method

• Intel, Hot Chips 2026 architecture announcement, 2026-08-24. Product numbers are company-reported maxima.
• Intel 18A technology page. Process comparisons are Intel claims and are not treated as Diamond Rapids system benchmarks.
• Hot Chips 2026 official program, event and presentation identity cross-check.
• UCIe Consortium specification index, current as opened 2026-08-25.
• PCI-SIG, PCI Express 6.0 specification resources.
• CXL Consortium, CXL 3.0 public release.
• Das Sharma et al., UCIe-3D system-in-package research, Nature Electronics 7, 244–254 (2024), CC BY 4.0.
• Tom's Hardware and StorageReview, independent disclosure cross-checks, 2026-08-24.

AI assistance note: AI tools supported public-source discovery, arithmetic verification, bilingual consistency checks, visual drafting and copy editing. VLSI Korea editorial review remains responsible for the thesis, source interpretation, uncertainty labels and publication decision. The bandwidth and roofline charts are transparent theoretical calculations, not measured Diamond Rapids performance.

본 글은 정보 제공만을 목적으로 하며, 특정 증권의 매수 또는 매도를 권유하는 것이 아닙니다. 본 글에 포함된 수치와 사실은 기업 공시, 언론 보도, 시장 조사 등 공개적으로 이용 가능한 자료를 바탕으로 작성되었으며, 해당 자료 또는 작성 과정에서 오류가 발생할 수 있습니다. 필자는 언급된 기업의 주식을 보유하고 있을 수 있습니다. 모든 투자 결정 및 그에 따른 결과는 독자의 책임입니다.