DGX Spark를 연구실과 현직이 사는 진짜 이유: 128GB 통합메모리가 바꾸는 계산

핵심 결론 3줄 - DGX Spark의 구매 이유는 속도가 아니라 용량이다. 128GB unified memory 하나로 70B~200B급 모델을 양자화 타협 없이 로컬에 올릴 수 있다. - 보안과 반복 실험이 필요한 연구실·현직에게는 클라우드 시간당 과금보다 예측 가능한 고정비가 더 싸게 먹힌다. - 반대로 동시 사용자, 대량 throughput, 24시간 SLA가 필요하면 클라우드가 맞다. Spark는 서버 대체재가 아니라 개발용 책상이다.

DGX Spark는 무엇인가: 스펙부터 정확히 본다

NVIDIA DGX Spark는 CES 2025에서 Project DIGITS로 공개된 뒤 2025년 10월 15일 $3,999에 출시된 데스크톱 AI 컴퓨터다. 출시 이후 판매 채널에 따라 $4,399~$4,699 수준으로 조정된 사례가 확인되며, ASUS, Dell, HP, Lenovo 등 OEM 버전도 같은 GB10 칩을 쓴다.

핵심은 GB10 Grace Blackwell Superchip이다. 20코어 Arm CPU(10x Cortex-X925 + 10x Cortex-A725)와 Blackwell GPU가 하나의 칩에 들어가고, CPU와 GPU가 128GB LPDDR5X unified memory를 공유한다. 일반적인 PC처럼 시스템 RAM과 VRAM이 분리된 구조가 아니다. GPU가 전체 128GB 풀에 직접 접근한다.

이 표에서 가장 중요한 숫자는 1 PFLOP이 아니라 128GB와 273GB/s다. 128GB는 들어가는 모델의 크기를 결정하고, 273GB/s는 토큰 생성 속도의 상한을 결정한다. H100의 메모리 대역폭이 2~3TB/s 수준인 것과 비교하면 Spark는 넓지만 느린 메모리 구조다. 그래서 Spark의 가치는 빠른 기계가 아니라, 원래는 못 올리던 모델을 올릴 수 있는 기계라는 데 있다.

이유 1: 용량의 벽을 돈으로 부순다

LLM을 로컬에서 돌릴 때 첫 번째 장벽은 연산이 아니라 메모리다. 파라미터 수를 바이트로 바꾸면 바로 보인다. 70B 모델을 FP16으로 올리면 가중치만 약 140GB가 필요해 단일 H100 80GB에도, RTX 4090 24GB에도 들어가지 않는다. 실무에서는 양자화를 해서 크기를 줄이거나, GPU를 여러 장 묶는 방식으로 우회한다.

Spark는 이 우회를 줄여준다. NVIDIA 공식 포지셔닝 기준으로 단일 기기에서 최대 200B급 모델까지, 2대를 ConnectX-7으로 연결하면 최대 405B급까지 다룰 수 있다. 70B급 모델을 비교적 여유 있게 올리고, KV cache와 컨텍스트를 위한 공간까지 남길 수 있다는 뜻이다.

연구실에서 이 차이가 큰 이유는 실험의 재현성 때문이다. 양자화 방식을 바꿀 때마다 결과가 달라지면 논문 실험의 변수가 늘어난다. Full precision에 가깝게 돌려 기준선을 잡고, 그 다음에 양자화 영향을 따로 측정하는 순서가 가능해진다. 현직 개발자에게도 마찬가지다. 고객사에 보내기 전에 큰 모델을 로컬에서 그대로 재현해 보는 것과, 줄인 모델로 추정하는 것은 디버깅 품질이 다르다.

물론 한계는 명확하다. 대역폭 273GB/s 때문에 큰 dense 모델의 decode 속도는 데이터센터 GPU에 크게 못 미친다. Spark로 70B를 돌리는 것은 가능하다와 빠르다는 다른 말이다. 배치 inference나 실시간 서비스를 Spark 한 대로 감당하려는 계획은 처음부터 틀렸다.

이유 2: 로컬 파인튜닝과 데이터 보안

두 번째 이유는 보안과 통제다. 클라우드에 올리는 순간 데이터는 외부 인프라를 탄다. 사내 소스코드, 미공개 칩 설계 관련 문서, 환자·고객 데이터, 논문 투고 전 원고와 실험 로그는 애초에 외부 반출 승인부터 받아야 하는 자료들이다. 승인 절차가 한 번으로 끝나지 않고 프로젝트마다 반복되면, 시간 비용이 GPU 시간당 요금보다 커진다.

로컬 장비는 이 절차를 구조적으로 없앤다. 데이터가 책상 위 장비 밖으로 나가지 않으니, 보안 검토는 장비 반입과 네트워크 분리 수준으로 단순해진다. 특히 외부망과 분리된 연구망, 사내망에서 모델을 돌려야 하는 조직에서는 클라우드 자체가 선택지가 아닌 경우도 많다.

파인튜닝 관점에서도 로컬의 장점은 반복이다. LoRA 같은 parameter-efficient fine-tuning은 128GB 메모리 안에서 충분히 반복 실험이 가능하다. 하이퍼파라미터를 바꿔 밤새 돌리고, 아침에 결과를 보고, 다시 돌리는 루프에서 클라우드는 켜고 끄는 관리와 과금을 계속 신경 써야 한다. 로컬 장비는 전기요금 외에 한계비용이 거의 없어 실패한 실험의 심리적 비용이 낮아진다. 연구에서는 이 차이가 실험 횟수 차이로 직결된다.

단, Spark가 대규모 학습용 장비는 아니다. Pretraining이나 full fine-tuning을 전제로 사면 실망한다. 용도는 명확하다. Inference, fine-tuning 실험, 에이전트 개발, RAG 파이프라인 검증, 그리고 클라우드로 올리기 전 프로토타입이다.

이유 3: 클라우드 대비 계산, 손익분기점을 직접 구하는 법

가격 비교는 감으로 하면 틀린다. 아래 틀에 본인 사용 패턴을 넣어야 한다.

가정 (계산 예시, 변동 가능): Spark 구입가 $4,000, 환율 $1 = 1,380원 가정 시 약 552만원. 전기요금은 240W 연속 가동 기준 월 약 173kWh, 요금 단가는 각자 고지서 단가로 대입한다. 클라우드 비교 대상은 단일 GPU 인스턴스 시간당 $2.0~$2.7 수준을 예시로 쓴다. 실제 클라우드 단가는 업체, 리전, 예약 여부에 따라 크게 달라지므로 계약 단가로 교체해야 한다.

손익분기 사용 시간은 단순하다.

손익분기 시간 = 구입가 / (클라우드 시간당 단가 - 로컬 시간당 전기·유지비)

로컬 시간당 비용이 전기 기준 수십 원 수준으로 낮다고 가정하면 분모는 대략 클라우드 단가와 비슷해진다. $4,000 / $2.5 = 약 1,600시간이 손익분기점이다. 하루 8시간 개발용으로 쓰면 약 200일, 하루 4시간이면 약 400일, 3명이 나눠 쓰면 1인당 체감 손익분기는 그만큼 짧아진다.

표가 말하는 것은 하나다. Spark는 사용률이 낮으면 비싸고, 사용률이 높으면 싸다. 주말에만 만지는 취미 용도라면 클라우드 API나 시간제 GPU가 합리적이다. 매일 돌리고, 밤에도 실험을 걸어두고, 여러 명이 붙는 환경이면 고정비 장비가 이긴다. 여기에 데이터 보안 검토 시간, 클라우드 인스턴스 관리 시간까지 비용으로 넣으면 손익분기는 더 앞당겨진다. 반대로 팀이 이미 클라우드 크레딧이나 약정 할인을 크게 받고 있다면 분모가 작아져 로컬이 불리해지니, 반드시 실제 단가로 다시 계산해야 한다.

또 하나의 비교 축은 워크스테이션이다. RTX 계열 GPU 여러 장으로 128GB급 메모리를 맞추려면 GPU 가격만으로 Spark 가격을 넘기기 쉽고, 조립·발열·소음·전력 관리가 따라붙는다. Spark는 240W, 1.2kg, 책상 위에 놓고 쓰는 형태라는 점에서 연구실 책상과 사무실 환경에 들어간다. 서버실이 없는 팀에게 이 형태 자체가 구매 이유가 된다.

사면 안 되는 경우도 분명하다

첫째, 프로덕션 서빙이 목적이면 사지 마라. 동시 접속, 장애 대응, SLA, 오토스케일링은 클라우드와 데이터센터의 영역이다. 둘째, 속도가 연구의 핵심 변수면 부족하다. Throughput 벤치마크가 목적이면 H100·H200급 장비를 빌리는 쪽이 맞다. 셋째, Arm 환경이 걸림돌인 팀도 있다. DGX OS는 Ubuntu 기반이지만 CPU가 Arm이라 x86 전용 바이너리나 특정 라이브러리에 의존하는 파이프라인은 사전 검증이 필요하다. 구매 전에 본인 스택을 목록으로 적고 호환성을 확인해야 한다.

결국 Spark를 사는 진짜 이유는 스펙표의 최고 숫자가 아니다. 큰 모델을 내 책상에서, 내 데이터로, 과금 걱정 없이 반복해서 돌릴 수 있다는 작업 방식의 변화다. 그 작업 방식이 본인 연구와 업무에 없으면 Spark는 비싼 장식품이고, 있으면 가장 먼저 회수되는 장비가 된다.

FAQ

Q1. DGX Spark로 70B 모델을 실제로 쓸 만하게 돌릴 수 있나? 올리는 것은 가능하다. 128GB unified memory 덕에 양자화를 강하게 걸지 않고도 70B급을 다룰 수 있다. 다만 decode 속도는 대역폭 273GB/s의 제약을 받으므로, 단일 사용자 개발·검증 용도로 보고 다중 사용자 서빙을 기대하면 안 된다.

Q2. RTX 4090이나 5090 워크스테이션과 무엇이 다른가? GPU 단품 성능과 게임·그래픽 용도에서는 일반 워크스테이션이 유리한 영역이 많다. 차이는 메모리 구조다. Spark는 CPU와 GPU가 공유하는 128GB 단일 풀을 제공해 큰 모델 적재에서 유리하고, 일반 GPU는 VRAM 용량이 먼저 한계가 된다.

Q3. 2대를 연결하면 무엇이 달라지나? ConnectX-7 200Gbps 링크로 2대를 묶으면 메모리 풀이 합쳐져 더 큰 모델, NVIDIA 기준 최대 405B급까지 다룰 수 있다. 속도보다 적재 가능한 모델 크기와 컨텍스트 여유가 늘어나는 것으로 이해하는 것이 정확하다.

Q4. 클라우드를 아예 끊어도 되나? 아니다. 개발과 검증은 로컬, 대량 학습과 프로덕션 서빙은 클라우드라는 하이브리드 구성이 일반적이다. Spark는 클라우드 청구서를 줄이고 보안 경계를 넓히는 장비지, 클라우드 전체를 대체하는 장비가 아니다.

Q5. OEM 버전과 NVIDIA 버전 중 무엇을 봐야 하나? 같은 GB10 기반인지, 메모리 128GB 구성인지, 스토리지와 보증·지원 조건이 무엇인지를 비교해야 한다. 가격 차이가 지원 범위와 구성 차이에서 오는 경우가 많으므로 칩 이름만 보고 고르면 안 된다.

행동 체크리스트

• ☐ 내가 주로 돌릴 모델의 파라미터 수와 precision을 적고, 필요한 메모리(파라미터 x 바이트 + KV cache 여유)를 계산했다
• ☐ 최근 1개월 클라우드 GPU 사용 시간과 실제 청구 단가를 확인해 손익분기 시간을 직접 계산했다
• ☐ 데이터 보안상 외부 반출이 어려운 자료가 있는지, 로컬 처리가 필요한지 확인했다
• ☐ 내 파이프라인이 Arm + DGX OS 환경에서 도는지 핵심 라이브러리부터 검증했다
• ☐ 용도를 inference·fine-tuning 실험·프로토타입으로 한정했는지, 프로덕션 서빙 기대를 분리했는지 점검했다
• ☐ 2대 연결이 필요한 모델 크기인지, 1대로 충분한지 먼저 판단했다

📩 VLSI Korea 뉴스레터 구독하기

매일 발행되는 반도체 심층 분석을 이메일로 가장 먼저 받아보세요. 구독은 무료입니다.

무료로 구독하기