研究室與現職人員購買DGX Spark的真正理由：128GB統合記憶體改變的計算

🆓 免費文章 · 任何人都可以免費閱讀

核心結論3行 - DGX Spark的購買理由不是速度，而是容量。以128GB unified memory一個，就能將70B~200B級模型無量化妥協地載入本機。 - 對需要安全與反覆實驗的實驗室·現職人員來說，比起雲端每小時計費，可預測的固定成本更便宜。 - 反之，若需要同時使用者、大量throughput、24小時SLA，雲端才正確。Spark不是伺服器替代品，而是開發用書桌。

DGX Spark是什麼：先準確看規格

NVIDIA DGX Spark是在CES 2025以Project DIGITS公開後，於2025年10月15日以$3,999上市的桌上型AI電腦。上市後依銷售通路，確認有調整至$4,399~$4,699水準的案例，ASUS、Dell、HP、Lenovo等OEM版本也使用相同的GB10晶片。

核心是GB10 Grace Blackwell Superchip。20核心Arm CPU（10x Cortex-X925 + 10x Cortex-A725）與Blackwell GPU進入一顆晶片，CPU與GPU共享128GB LPDDR5X unified memory。不是一般PC般系統RAM與VRAM分離的結構。GPU直接存取整個128GB池。

這張表中最重要的數字不是1 PFLOP，而是128GB與273GB/s。128GB決定能放入的模型大小，273GB/s決定token生成速度的上限。與H100的記憶體頻寬為2~3TB/s水準相比，Spark是寬但慢的記憶體結構。因此Spark的價值不在於快速的機器，而在於能載入原本無法載入的模型的機器。

理由1：以金錢打破容量的牆

在本機運行LLM時，第一個障礙不是運算，而是記憶體。將參數數量換算為位元組就立刻可見。70B模型以FP16載入，光權重就需要約140GB，單一H100 80GB也好，RTX 4090 24GB也好，都放不進去。實務上以量化減少大小，或以多張GPU綁定的方式繞行。

Spark減少了這個繞行。以NVIDIA官方定位為基準，單一裝置可處理最高200B級模型，2台以ConnectX-7連接可處理最高405B級。意味著能相對寬裕地載入70B級模型，並為KV cache與context留出空間。

在實驗室中這個差異大的原因是實驗的再現性。每次改變量化方式結果就不同，論文實驗的變數就會增加。能以接近Full precision運行建立基準線，再另外測量量化影響的順序變得可能。對現職開發者也是如此。在送往客戶公司前，在本機原樣重現大模型，與以縮小模型推定，除錯品質不同。

當然限制明確。因頻寬273GB/s，大型dense模型的decode速度遠不及資料中心GPU。以Spark運行70B，可能與快速是不同的話。若計畫以一台Spark承擔批次inference或即時服務，從一開始就錯了。

理由2：本機微調與資料安全

第二個理由是安全與控制。登上雲端的瞬間，資料就走外部基礎設施。公司內部原始碼、未公開晶片設計相關文件、病患·客戶資料、論文投稿前原稿與實驗log，都是從一開始就需要外部攜出批准的資料。若批准程序不只一次結束，而是每個專案反覆，時間成本會比GPU每小時費用更大。

本機設備在結構上消除了這個程序。資料不走出書桌上設備之外，安全審查簡化為設備攜入與網路分離水準。尤其在必須在與外部網路分離的研究網路、公司內部網路運行模型的組織中，雲端本身常不是選項。

在微調觀點上，本機的優勢也是反覆。像LoRA這樣的parameter-efficient fine-tuning，在128GB記憶體內能充分反覆實驗。改變hyperparameter整夜運行、早上看結果、再運行，在這個迴圈中雲端必須持續在意開關管理與計費。本機設備除了電費外邊際成本幾乎為零，失敗實驗的心理成本降低。在研究中，這個差異直接連到實驗次數差異。

但Spark不是大規模學習用設備。若以Pretraining或full fine-tuning為前提購買，會失望。用途明確。是Inference、微調實驗、agent開發、RAG pipeline驗證，以及登上雲端前的原型。

📩 在持續關注這個主題嗎？

財報·報告·HBM供需的後續分析，每天10:30（KST）寄到您的信箱。 免費訂閱 →

理由3：與雲端相比的計算，直接求損益平衡點的方法

價格比較若靠感覺就會錯。必須將自己的使用模式放入下述框架。

假設（計算範例，可變動）： Spark購入價$4,000，假設匯率$1 = 1,380韓元時約552萬韓元。電費以240W連續運行為基準每月約173kWh，電費單價以各自帳單單價代入。雲端比較對象以單一GPU instance每小時$2.0~$2.7水準為範例。實際雲端單價依業者、region、預約與否差異很大，必須以合約單價替換。

損益平衡使用時間很簡單。

損益平衡時間 = 購入價 / (雲端每小時單價 - 本機每小時電費·維護費)

若假設本機每小時成本以電費基準低至數十韓元水準，分母大致與雲端單價相似。$4,000 / $2.5 = 約1,600小時是損益平衡點。若每天以開發用使用8小時，約200天，每天4小時約400天，3人分攤使用，每人感受的損益平衡就相應縮短。

表格所說的只有一個。Spark使用率低時貴，使用率高時便宜。若只是週末摸一摸的興趣用途，雲端API或每小時GPU合理。若每天運行、夜間也掛實驗、多人接入的環境，固定成本設備獲勝。若再將資料安全審查時間、雲端instance管理時間計入成本，損益平衡會更提前。反之，若團隊已大量獲得雲端credit或約定折扣，分母變小，本機就不利，務必以實際單價重新計算。

另一個比較軸是工作站。若以多張RTX系列GPU湊出128GB級記憶體，光GPU價格就容易超過Spark價格，且組裝·散熱·噪音·電力管理隨之而來。Spark以240W、1.2kg、放在書桌上使用的形態，能進入實驗室書桌與辦公室環境。對沒有伺服器室的團隊，這個形態本身就成為購買理由。

不應購買的情況也很明確

第一，若目的是production serving，不要買。同時連接、故障應對、SLA、autoscaling是雲端與資料中心的領域。第二，若速度是研究的核心變數，會不足。若目的是Throughput基準測試，租用H100·H200級設備才正確。第三，也有Arm環境成為絆腳石的團隊。DGX OS以Ubuntu為基礎，但CPU是Arm，依賴x86專用binary或特定library的pipeline需要事前驗證。購買前將自己的stack列成清單並確認相容性。

最終，購買Spark的真正理由不是規格表的最高數字。而是能在自己的書桌上、以自己的資料、無需擔心計費反覆運行大模型的工作方式變化。若該工作方式不在自己的研究與業務中，Spark是昂貴的裝飾品，若在，就會成為最先回收的設備。

FAQ

Q1. 以DGX Spark能實際可用地運行70B模型嗎？ 載入是可能的。因128GB unified memory，不強加量化也能處理70B級。但decode速度受頻寬273GB/s的約束，因此應視為單一使用者開發·驗證用途，不應期待多使用者serving。

Q2. 與RTX 4090或5090工作站有何不同？ 在GPU單品效能與遊戲·圖形用途上，一般工作站有利的領域多。差異在記憶體結構。Spark提供CPU與GPU共享的128GB單一池，在大模型載入上有利，一般GPU則VRAM容量先成為限制。

Q3. 連接2台會有什麼不同？ 以ConnectX-7 200Gbps連結綁定2台，記憶體池合併，能處理更大的模型，依NVIDIA基準最高405B級。應理解為可載入的模型大小與context餘裕增加，而非速度，這樣更準確。

Q4. 可以完全切斷雲端嗎？ 不行。開發與驗證在本機，大量學習與production serving在雲端的混合構成是一般的。Spark是減少雲端帳單並擴大安全邊界的設備，不是取代整個雲端的設備。

Q5. OEM版本與NVIDIA版本應看什麼？ 必須比較是否同為GB10基礎、是否為記憶體128GB構成、儲存與保固·支援條件是什麼。價格差異多來自支援範圍與構成差異，因此不能只看晶片名稱選擇。

行動檢查清單

• ☐ 已寫下自己主要運行的模型參數數量與precision，並計算所需記憶體（參數 x 位元組 + KV cache餘裕）
• ☐ 已確認最近1個月雲端GPU使用時間與實際帳單單價，直接計算損益平衡時間
• ☐ 已確認是否有資料安全上難以外部攜出的資料，是否需要本機處理
• ☐ 已從核心library開始驗證自己的pipeline是否在Arm + DGX OS環境運行
• ☐ 已檢查用途是否限定為inference·微調實驗·原型，是否分離production serving期待
• ☐ 已先判斷是需要2台連接的模型大小，還是1台就足夠

📩 今天錯過的分析，明天早上寄到您的信箱

每天10:30（KST）Daily Silicon與財報·機構報告核心解讀搶先送達。訂閱後可選擇韓語/英語/日語新聞通訊，中文深度分析每日在網站更新。

免費訂閱 →

免費 · 無垃圾郵件 · 隨時退訂