CUDA on RISC-V의 비용은 ISA port가 아니다: coherency·IOMMU·P2P qualification

답부터 말하면, CUDA workload를 RISC-V server에서 실행하는 데 가장 비싼 부분은 instruction set port가 아니라 ACPI, IOMMU, PCIe coherency, peer-to-peer, RAS를 하나의 반복 가능한 platform contract로 닫는 qualification이다. NVIDIA가 Hot Chips 2026에서 “RISC-V Profile and Platform for Interoperability With NVIDIA GPUs” tutorial을 배치한 것은 이 문제가 compiler만의 일이 아니라는 신호다. 그러나 tutorial 제목은 특정 server의 CUDA certification, 성능 동등성, 상용 지원을 뜻하지 않는다.

이 글의 두 reader job은 분명하다. Platform architect와 silicon team은 GPU-ready라는 말을 다섯 개의 검증 가능한 contract로 분해할 수 있다. Data-center buyer와 product owner는 demo 성공과 fleet-ready qualification을 구분해 투자 순서를 정할 수 있다. 개선하려는 결정도 두 가지다. 첫째, RISC-V GPU server enablement에 지금 engineer와 validation budget을 배정할지 판단한다. 둘째, 구매 전 어떤 evidence pack을 공급자에게 요구할지 정한다.

1. 무엇이 확인됐고 무엇이 아직 주장인가

NVIDIA의 Hot Chips 2026 공식 페이지와 Hot Chips 프로그램은 2026년 8월 23일 tutorial 목록에 RISC-V profile과 platform의 GPU interoperability를 명시한다. 이것은 vendor가 ISA 외부의 platform 조건을 공개적으로 다룬다는 점에서 중요하다. 하지만 공개 일정만으로 CUDA toolkit의 전체 package availability, 모든 GPU generation의 driver support, production SLA, benchmark parity를 증명할 수는 없다.

RISC-V 쪽 기반은 이전보다 구체적이다. RISC-V Server SoC Specification 1.0은 PCIe root complex, IOMMU, coherency, peer traffic, error reporting과 platform management 요구를 normative language로 묶는다. Server Platform requirements 공개 문서는 RVA23S64와 Server SoC 요구를 server-level software contract로 연결한다. UEFI의 ACPI 6.6 release도 RISC-V의 multiple APIC와 memory attribute 지원을 추가했다.

Hardware evidence로는 SiFive의 BigSky SF-2U870 발표가 있다. 공식 자료는 P870-D core 32개, 2.0 GHz, DDR5-5600 256 GB, PCIe Gen5 x16 slot 네 개, U.2 NVMe 3.84 TB, OCP 3.0 10/25 GbE를 제시하고 double-wide GPU 장착 가능성을 설명한다. 이것은 실제 server form factor가 등장했다는 evidence다. 다만 limited quantity이고 demand가 supply를 넘는다는 회사 설명이며, fleet volume이나 independent GPU qualification result는 아니다.

따라서 consensus는 “RISC-V가 server와 accelerator 연결을 위한 공개 contract를 빠르게 채우고 있다”이다. VLSI Korea view는 더 좁다. CUDA on RISC-V의 가치가 열리는 순간은 binary가 실행될 때가 아니라, 오류와 재부팅과 multi-tenant DMA까지 같은 방식으로 재현될 때다. disagreement는 port 완료를 market readiness로 보는 관점과, platform qualification을 별도의 더 큰 product로 보는 관점 사이에 있다.

2. Five-Contract Qualification Stack

이 글은 Five-Contract Qualification Stack을 제안한다. 첫째는 ISA와 ABI contract다. Compiler가 instruction을 만들고 runtime, libraries, exception, atomics, memory ordering이 architecture 규칙을 지켜야 한다. 둘째는 firmware discovery contract다. ACPI table과 boot services가 CPU, interrupt, PCIe hierarchy, NUMA, power state를 operating system에 일관되게 설명해야 한다.

셋째는 DMA isolation contract다. GPU, NIC, storage와 모든 DMA-capable device의 request가 IOMMU policy 아래 있어야 한다. 넷째는 coherency와 P2P contract다. Accelerator가 host memory 또는 peer device memory를 읽고 쓸 때 ordering, cacheability, routing, access control이 일치해야 한다. 다섯째는 RAS와 fleet contract다. AER error, reset, firmware update, telemetry, degraded link, device replacement이 service workflow에 들어가야 한다.

이 다섯 층을 순서가 아니라 동시 constraint로 봐야 한다. ISA test가 통과해도 ACPI가 잘못된 NUMA distance를 제공하면 scheduler와 memory placement가 무너진다. GPU kernel이 계산을 맞게 해도 DMA isolation이 빠지면 multi-tenant deployment는 불가능하다. P2P bandwidth가 좋아도 error recovery 후 link state가 일관되지 않으면 긴 training run이나 inference service의 availability가 낮아진다.

Why now도 이 구조에서 나온다. Server SoC 1.0, ACPI 6.6, Hot Chips tutorial, 실제 2U platform이 같은 시기에 모였다. 즉 단일 demo를 넘어 공통 test matrix를 만들 수 있는 input이 생겼다. 동시에 NVIDIA의 구체적인 commercial support boundary와 independent benchmark는 아직 공개적으로 닫히지 않았다. 지금은 “가능한가”보다 “어떤 contract가 완료됐는가”를 물을 시점이다.

3. IOMMU는 performance option이 아니라 security boundary다

Server SoC 1.0은 DMA-capable peripheral과 PCIe root port가 IOMMU의 지배를 받도록 요구한다. GPU driver 관점에서 이는 단순한 address translation이 아니다. Requester ID, process address space, page pinning, invalidation, fault reporting, ATS capability가 device와 host 사이에서 일치해야 한다. 잘못된 mapping은 crash로 끝날 수도 있지만, 더 나쁜 경우 다른 tenant의 memory를 노출할 수 있다.

ATS는 device가 translation을 cache해 latency를 줄이는 데 도움이 될 수 있다. 대신 invalidation ordering과 stale entry 처리라는 새 qualification burden이 생긴다. PASID와 process-level sharing을 쓰면 concurrency와 address-space 분리는 좋아지지만, firmware, kernel, IOMMU driver, GPU driver가 같은 identity model을 구현해야 한다. 한 component의 fallback이 silent bypass가 되지 않는지도 확인해야 한다.

검증은 happy path로 끝나지 않는다. Invalid mapping, permission change, device reset, hot removal, surprise link failure, firmware update 후에 fault가 올바른 owner로 전달되는지 봐야 한다. Multi-function device와 switch 아래 endpoint도 같은 policy를 유지해야 한다. Performance test에서는 IOTLB miss, invalidation storm, small-transfer DMA가 throughput과 tail latency를 얼마나 바꾸는지 측정해야 한다.

실무 evidence pack에는 IOMMU enablement screenshot이 아니라 test matrix가 들어가야 한다. Endpoint별 requester identity, supported page size, ATS/PASID mode, fault injection result, isolation test, reset 후 재할당, kernel version과 firmware version을 기록한다. Security owner와 performance owner가 같은 table에 서명해야 qualification이 닫힌다.

4. PCIe coherency와 peer-to-peer는 route의 문제다

Server SoC specification이 root complex를 길게 다루는 이유는 device가 slot에 꽂혔다고 traffic path가 자동으로 안전해지지 않기 때문이다. Root port, switch, integrated endpoint, ACS control, IOMMU binding은 packet의 허용 route를 결정한다. GPU와 NIC가 같은 server에 있어도 direct P2P가 가능할 수도 있고, host memory bounce를 거칠 수도 있으며, isolation policy 때문에 차단될 수도 있다.

Coherency도 binary label이 아니다. CPU cache와 device가 같은 memory location을 볼 때 누가 snoop을 만들고, 어떤 access가 coherent이며, 어떤 region이 non-coherent인지 정의해야 한다. Driver가 explicit flush를 가정하는데 firmware table이나 platform이 다른 attribute를 주면 intermittent corruption이 생길 수 있다. 이런 bug는 unit test보다 long-duration mixed traffic에서 나타나기 쉽다.

BigSky의 네 개 PCIe Gen5 x16 slot은 accelerator 실험에 충분한 topology option을 제공하는 공식 사양이다. 하지만 slot 수는 P2P bandwidth, switch oversubscription, root-complex partition, NUMA locality, ACS policy를 설명하지 않는다. Double-wide GPU가 들어간다는 사실과 CUDA workload가 production-grade path로 검증됐다는 주장은 분리해야 한다.

Qualification은 세 경로를 따로 측정해야 한다. GPU-to-host memory, GPU-to-GPU, GPU-to-NIC 또는 storage다. 각 경로에서 read/write 방향, transfer size, concurrency, NUMA placement, IOMMU on/off, error injection, reset recovery를 바꾼다. Peak GB/s만 발표하지 말고 tail latency, CPU overhead, retry, topology map을 같이 제공해야 한다.

5. P2P demo와 fleet-ready service의 차이

Demo의 목표는 대개 한 번의 성공이다. Fleet의 목표는 다양한 device revision, firmware, kernel, topology에서 예측 가능한 성공과 실패다. GPU-to-NIC direct path가 lab에서 동작해도 NIC firmware update, GPU reset, PCIe link retrain 뒤에 route가 달라질 수 있다. Host-bounce fallback이 자동으로 일어나면 service는 살아 있지만 CPU utilization과 latency가 크게 바뀔 수 있다.

여기서 RAS가 performance와 만난다. AER가 correctable error를 얼마나 자주 기록하는지, uncorrectable error에서 process만 죽는지 node가 재부팅되는지, degraded link width가 telemetry에 보이는지에 따라 operating cost가 달라진다. Driver update가 firmware와 lockstep이어야 한다면 maintenance window와 rollback cost도 커진다.

가장 강한 반론은 hyperscaler가 이 integration을 자체 software와 fleet control로 해결할 수 있다는 것이다. 맞다. 큰 buyer는 표준이 덜 닫혀도 qualification lab, patched kernel, device allowlist로 서비스를 만들 수 있다. 그러나 그 비용은 사라지는 것이 아니라 buyer에게 이동한다. Open server ecosystem의 경제적 가치는 같은 test와 fix를 여러 고객이 반복하지 않도록 contract와 conformance를 공유하는 데 있다.

따라서 vendor evaluation은 “CUDA runs” 대신 네 단계로 써야 한다. Compile-and-run, deterministic correctness, isolated multi-device operation, fleet recovery다. 네 번째 단계까지 통과하지 못하면 research platform으로는 가치가 있어도 general procurement SKU로 분류하면 안 된다.

6. Economics: port cost보다 qualification 반복 비용이 크다

공개된 vendor cost data가 없으므로 이 글은 100 engineering unit의 illustrative scenario를 쓴다. ISA/ABI 12, kernel와 driver 19, ACPI와 IOMMU 22, PCIe와 P2P 21, RAS와 fleet 26으로 둔다. 비율은 측정치가 아니라 질문을 바꾸기 위한 model이다. 초기 port가 전체 비용의 대부분이라는 가정을 깨고, release마다 반복되는 firmware와 fleet validation을 budget에 넣는다.

Cost driver는 configuration 수의 곱이다. CPU stepping, board revision, GPU generation, NIC, firmware, kernel, driver가 각각 두 종류만 있어도 가능한 조합은 빠르게 늘어난다. 모든 조합을 완전 탐색할 수 없으므로 supported matrix, equivalence class, risk-based sampling, automated regression을 설계해야 한다. Qualification asset은 source code만이 아니라 test case, topology manifest, known-good version, telemetry schema다.

Buyer economics는 hardware 가격보다 time-to-stable-service로 봐야 한다. Server가 저렴해도 platform engineer가 몇 달 동안 kernel patch와 reset bug를 추적하면 TCO가 커진다. 반대로 open specification과 reproducible test suite가 supplier switching cost를 낮추면 초기 platform premium을 상쇄할 수 있다. 가격 비교에는 node cost, engineer-month, downtime risk, supported accelerator breadth, release cadence를 넣어야 한다.

Decision threshold는 명확하다. Research lab은 open architecture와 low-level visibility가 learning value를 만들면 작은 supported matrix도 받아들일 수 있다. Enterprise buyer는 vendor-backed driver, security response, firmware lifecycle, replacement part, repeatable benchmark가 없으면 기다리는 편이 합리적이다. Cloud operator는 workload volume이 자체 qualification team을 정당화할 때만 조기 adoption의 옵션 가치가 생긴다.

7. Korea Lens: memory보다 먼저 platform validation supply chain을 본다

한국 system과 semiconductor team에게 이 변화는 새 CPU ISA 하나가 아니다. Samsung Electronics와 SK hynix memory는 GPU traffic, IOMMU translation, NUMA placement, DMA burst 아래에서 capacity와 bandwidth를 제공해야 한다. Module qualification은 DDR5 speed만이 아니라 GPU-driven traffic의 thermal, error, reset behavior와 연결된다. CXL 또는 coherent accelerator가 더해지면 memory tier policy와 telemetry도 procurement 항목이 된다.

Board, substrate, signal-integrity team은 네 개 x16 slot 같은 headline을 lane map, retimer, power delivery, cooling, service clearance로 풀어야 한다. EDA와 verification team은 CPU core verification 외에 PCIe hierarchy, IOMMU fault, coherency attribute, firmware table, hot reset을 system scenario로 묶어야 한다. Validation IP와 automated conformance가 국내 fabless와 server supplier의 반복 비용을 줄일 수 있다.

Software team은 upstream과 private patch의 경계를 관리해야 한다. RISC-V Server SoC 1.0과 ACPI 6.6을 기준선으로 두고 board-specific exception을 machine-readable manifest로 남기는 것이 좋다. University lab은 CUDA kernel 성능만 측정하지 말고 IOMMU on/off, P2P route, reset recovery, AER log까지 포함한 공개 reproducibility lab을 만들 수 있다.

Procurement owner가 지금 요구할 문서는 다섯 가지다. Supported hardware/software matrix, ACPI와 IOMMU conformance result, P2P topology와 benchmark, error injection과 recovery report, security update와 firmware lifecycle이다. “GPU compatible”이라는 한 줄보다 이 문서의 version과 owner가 중요하다.

8. 6~12개월 관측표와 practitioner checklist

2026년 9월 30일까지: Hot Chips tutorial deck 또는 follow-up에서 supported RISC-V profile, ACPI table, IOMMU mode, GPU generation, driver boundary가 공개되는지 본다. Session title만 남고 test matrix가 없으면 uncertainty는 유지된다.

2026년 12월 31일까지: BigSky 또는 다른 RISC-V server에서 GPU, NIC, storage의 independent topology와 P2P data가 나오는지 본다. Official 2.0 GHz와 일부 secondary report의 2.2 GHz 차이도 SKU, firmware 또는 보도 오류인지 정리돼야 한다.

2027년 3월 31일까지: IOMMU, ATS, isolation, reset, AER/RAS를 포함한 conformance 또는 open test suite가 여러 platform에서 재현되는지 본다. 단일 vendor patch가 계속 필요하면 common platform contract가 아직 약하다.

2027년 6월 30일까지: 실제 workload의 work per rack, CPU overhead, tail latency, uptime과 engineer-month가 공개되는지 본다. 단순 boot와 kernel launch는 economics thesis를 검증하지 않는다.

Practitioner checklist는 일곱 질문이다. Supported profile과 ABI가 명시됐는가? ACPI table을 자동 검증했는가? 모든 DMA endpoint가 IOMMU policy 아래 있는가? ATS/PASID invalidation을 fault injection으로 시험했는가? GPU-to-peer route와 fallback을 관측했는가? Reset과 AER recovery가 service objective를 만족하는가? 마지막으로 결과가 exact firmware, kernel, driver manifest와 함께 재현되는가?

Thesis breaker도 기록한다. 첫째, vendor-neutral conformance suite가 여러 RISC-V server에서 GPU, NIC, storage를 거의 수정 없이 통과하고 commercial support가 뒤따르면 qualification cost는 이 글의 예상보다 빠르게 낮아진다. 둘째, production workload가 P2P나 fine-grained coherency를 거의 쓰지 않고 host-bounce overhead도 작다면 platform contract의 일부는 경제적 병목이 아닐 수 있다. 반대로 보안 격리나 reset recovery 실패가 반복되면 ISA port 성공은 시장 준비도와 더 멀어진다.

결론은 간단하다. CUDA on RISC-V는 compiler milestone이 아니라 server contract milestone이다. Open specification, actual server hardware, vendor tutorial이 같은 방향을 가리키기 시작했다. 다음 증거는 kernel launch가 아니라 isolation, peer path, failure recovery, fleet economics를 같은 manifest에서 재현하는 것이다.

Sources and method

• NVIDIA Hot Chips 2026 official page와 Hot Chips official program, 2026-08-23 tutorial identity 확인.
• RISC-V Server SoC Specification 1.0, normative PCIe, IOMMU, coherency, P2P, RAS requirements.
• RISC-V Server Platform requirements, current public requirements opened 2026-08-26.
• UEFI ACPI 6.6 release, RISC-V multiple APIC와 memory attribute support.
• SiFive BigSky SF-2U870 official release, 2026-08-24. Product와 availability 수치는 company claim으로 취급.
• SiFive ecosystem update, CUDA와 Linux port 및 P870-D customer silicon context.
• RISC-V ratified specifications library, ratified/current document 경계 확인.

AI assistance note: AI 도구는 공개 source discovery, bilingual consistency check, visual drafting, 계산과 copy editing을 지원했다. VLSI Korea editorial review가 thesis, source interpretation, uncertainty label, publication decision에 책임을 진다. 100-unit cost waterfall은 공개 vendor budget이 아닌 illustrative scenario다.

본 글은 정보 제공만을 목적으로 하며, 특정 증권의 매수 또는 매도를 권유하는 것이 아닙니다. 본 글에 포함된 수치와 사실은 기업 공시, 언론 보도, 시장 조사 등 공개적으로 이용 가능한 자료를 바탕으로 작성되었으며, 해당 자료 또는 작성 과정에서 오류가 발생할 수 있습니다. 필자는 언급된 기업의 주식을 보유하고 있을 수 있습니다. 모든 투자 결정 및 그에 따른 결과는 독자의 책임입니다.