팀 가이드: AI Accelerator Architecture — NPU의 큰 그림을 그리는 사람들

VLSI Korea 팀 가이드: 반도체 회사의 각 팀이 실제로 무슨 일을 하는지, 현직자 시점으로 정리합니다. 취준생과 5년차 이내 주니어를 위한 시리즈.

핵심 답변: NPU/TPU 같은 AI 가속기의 마이크로아키텍처를 결정하는 팀입니다. systolic array dimension부터 dataflow 방식, on-chip SRAM 용량, 컴파일러 인터페이스까지 — RTL이 떨어지기 전 모든 trade-off를 짊어집니다. 한국 시장 현황, 연봉 범위, 진입 경로를 현직자 시점에서 정리했습니다.

1. 한 줄로 말하면

AI Accelerator Architecture 팀은 NPU, TPU, 데이터센터용 AI 칩의 마이크로아키텍처를 결정하는 팀입니다. 어떤 ML workload를 얼마나 빠르게 돌릴 것인지부터 systolic array의 dimension, on-chip SRAM 용량, dataflow 방식, 컴파일러와의 ISA 인터페이스까지 — RTL로 떨어지기 전 모든 trade-off 결정을 짊어집니다. 칩이 만들어지는 흐름에서 Spec → Architecture → RTL → DV → Backend → Tapeout 중 두 번째 단계에 위치합니다.

2. 회사 안에서의 자리

한국 회사 기준으로 SoC 본부 또는 AI 솔루션 사업부 산하에 있습니다. 삼성 System LSI의 NPU 아키텍처팀, SK하이닉스 솔루션개발 SoC설계팀, 리벨리온 Architecture 그룹, 퓨리오사AI Hardware Architecture 팀 등 회사마다 이름은 다르지만 역할은 비슷합니다. 옆자리 팀은 RTL 설계팀, ML Compiler 팀, Performance Verification 팀, ML Workload/Modeling 팀이고, 칩 단위로는 Pre-Si 검증팀, FPGA emulation 팀과도 매일 sync합니다.

보고 라인은 보통 architecture VP 또는 Chief Architect — 그 위는 사업부장 또는 CTO. 프로젝트 단위로는 PM과 매주 sync하지만 architect의 직접 매니저는 architecture 라인입니다.

한국 회사 (삼성, 하이닉스) vs 외국 회사 (Nvidia, Google, Tesla, Meta) 차이는 분명합니다. 한국 IDM은 SoC 통합도가 높고 메모리 회사 영향력이 강해서 HBM bandwidth, PIM과의 co-design을 깊게 봅니다. 미국 회사는 ML 프레임워크 팀과 더 가깝게 일하고 PyTorch 코어 팀과 직접 미팅이 잡히는 경우도 많습니다. 팹리스 스타트업 (리벨리온, 퓨리오사, Tenstorrent, Groq)은 칩 한 종류에 모든 인력이 달려 있어서 architect 한 명의 영향력이 매우 큽니다 — 좋은 의미로도, 무거운 의미로도.

3. 진짜 하루/일주일

프로젝트 phase에 따라 일상이 완전히 달라집니다. Pre-RTL phase, 즉 architecture exploration 시기에는 workload profiling이 메인입니다. PyTorch에서 ResNet-50, BERT-large, LLaMA-7B/70B 같은 모델을 띄워서 layer별 MAC 수, memory access pattern, weight reuse 거리 (reuse distance), activation의 정밀도별 sparsity ratio를 뽑습니다. 이 데이터를 cycle-accurate simulator에 넣어서 "PE array를 64×64로 갈까 128×128로 갈까", "L2 SRAM을 4MB로 할까 8MB로 할까", "weight stationary로 갈까 output stationary로 갈까" 같은 design space exploration을 돌립니다.

시뮬레이션 한 번에 30분에서 몇 시간씩 걸리니, 클러스터에 1000개씩 jobs을 띄워두고 다른 일 하다가 결과 보러 오는 패턴이 익숙해집니다. 결과는 대부분 Python pandas로 받아서 matplotlib 또는 seaborn으로 plot — 이 plot 한 장이 다음 회의의 결정 근거가 됩니다.

회의가 굉장히 많습니다. 월요일 오전엔 RTL 팀과 spec walkthrough 회의, 화요일은 ML compiler 팀과 ISA/instruction encoding sync, 수요일은 performance review로 number들을 PM에게 보고. 목요일은 보통 기술 리뷰 — 다른 architect가 쓴 spec을 review하거나 review 받는 자리입니다. 금요일은 mostly heads-down 작업 시간으로 비워두려 노력하지만 그렇지 못한 주가 더 많습니다.

Deliverable은 micro-architecture spec 문서 (보통 50~200페이지, Confluence 또는 Word), performance model (Python/C++로 작성된 simulator), workload mapping 가이드 (compiler 팀에 넘기는 INT8/INT4 quantization 정책, layer fusion rule), design trade-off 분석 보고서. RTL 팀이 implementation을 시작하면 매일 들어오는 질문 — "이 corner case는 architecture 의도가 맞나요?", "이 instruction의 latency는 정확히 몇 사이클이면 되죠?" — 에 답하는 일이 일과의 30%를 잡아먹습니다.

Tapeout 직전 6개월은 압박이 다릅니다. RTL freeze 후엔 새 feature를 못 넣으니 그 전까지 모든 trade-off 결정이 끝나야 합니다. FPGA emulation에서 실제 모델을 돌려서 spec이 맞았는지 검증하는데, 여기서 architecture 버그가 발견되면 야근의 시작입니다. RTL freeze 이후엔 한 달 정도 숨통이 트이고, 다음 chip generation의 architecture exploration이 시작되어 사이클이 다시 반복됩니다. 야근 강도는 phase에 따라 9-6 정시 퇴근 가능 ↔ 주말 출근 + 11시 퇴근 사이를 왕복합니다. Lab보다는 책상에서 simulator output을 보는 시간이 압도적으로 많지만, FPGA emulation phase에선 emulator 룸에서 디버깅하는 일이 늘어납니다.

4. 핵심 기술 스택

• 언어/포맷: C++ (시뮬레이터 작성), Python (workload 분석, sweep automation, plot), SystemVerilog (RTL 팀과 spec 인터페이스 검증), Tcl (EDA 툴 자동화), Chisel/SpinalHDL (일부 팹리스).
• 시뮬레이터/모델링 도구: gem5 / gem5-Aladdin, Timeloop + Accelergy (MIT), SCALE-Sim (Georgia Tech/ARM), in-house cycle-accurate simulator, ramulator2 / DRAMSim3 (메모리), Booksim (NoC).
• ML 프레임워크: PyTorch (workload extraction, op-by-op profiling), TensorFlow / TFLite, ONNX, MLIR, TVM, IREE.
• 방법론: dataflow taxonomy (weight stationary, output stationary, row stationary), roofline model, Amdahl 분석, design space exploration (DSE), quantization (INT8/INT4/FP8/MX format), sparsity exploitation.
• 인접 도메인 지식: HBM/LPDDR/GDDR bandwidth-latency 특성, NoC topology (mesh, torus, ring), dynamic/static power estimation, STA timing의 budget 감각, low-power UPF 기초.

이 중에서 면접/실무 모두에서 가장 weight 받는 건 dataflow 분석 능력과 cycle-accurate simulator 작성/이해입니다. "왜 이 layer에서 weight stationary가 output stationary보다 30% 빠른가요?"라는 질문에 reuse distance와 메모리 hierarchy 관점에서 즉답할 수 있어야 합니다. PyTorch는 도구일 뿐 깊은 이해가 필수는 아니지만, MLIR은 컴파일러 팀과 같은 언어로 대화하는 데 큰 도움이 됩니다.

5. 1년차 → 3년차 → 5년차 성장 곡선

1년차: 회사 in-house simulator에 익숙해지는 데만 보통 6개월. 기존 architect가 만든 sweep script를 돌려서 데이터 정리하고 plot 그리는 일이 많습니다. 단독으로 design 결정은 못 합니다. 단, 이때 simulator 코드를 직접 fork해서 새 feature를 추가해본 사람과, run-only로만 쓴 사람은 3년차에 가는 길이 갈립니다. 솔직히 말하면 1년차 때 본인 도메인에서 "이 회사 칩은 왜 이 구조로 결정되었는지"를 제대로 이해 못 하는 게 정상입니다.

3년차: 한 sub-block을 owning. 예: tensor unit, on-chip memory hierarchy, DMA engine, NoC, scheduler. 이걸 자기 spec으로 쓰고 RTL 팀과 1:1로 review합니다. 첫 진짜 owned deliverable이 나오는 시점이고, 보통 이 단계에서 외부 학회 논문 (HPCA / MICRO 인더스트리 트랙) 1편 나오면 이력서 가치가 점프합니다.

5년차: 다음 세대 칩의 큰 그림 (compute throughput 목표, memory hierarchy 구조, ISA 변경)에 voice를 가집니다. PM, Chief Architect와 직접 trade-off 협상이 가능하고, 신입/3년차 멘토 역할이 자연스럽게 따라옵니다. 이 시점이 시장 가치도 정점에 가까워지는 때.

함정은 5년차 이후 시니어 자리가 좁다는 점입니다. 한국 IDM에서는 부장급으로 가려면 spec 쓰는 일에서 멀어져 PM 또는 관리 직무로 빠지는 경우가 많아서, technical track으로 남고 싶으면 팹리스 스타트업으로 점프하거나 외국계 (Nvidia, Google, Meta) 옵션을 진지하게 고려해야 합니다. 박사 학위 없이 5년차에 도달한 사람은 박사 보유 신입과의 senior 자리 경쟁에서 직무 경험을 어필해야 하는 부담도 있습니다.

6. 한국 시장에서의 평가 (이직 시장 가치)

한국에서 AI Accelerator Architecture 인력을 가장 많이 운영하는 곳은 다음과 같습니다.

• 삼성 System LSI: 모바일 NPU (Exynos NPU), 데이터센터 NPU (Mach-1) 등. 인력 규모 가장 큼. 신입 채용이 정기적으로 열리고 박사 채용도 활발.
• SK하이닉스: HBM-centric AiM (Accelerator-in-Memory), GDDR-AiM. 메모리 회사라 PIM/Near-Memory 색깔이 강함.
• Rebellions (리벨리온): Atom (서버용 NPU), Rebel (LLM 가속기). KT, Naver 등 데이터센터 고객. 2024-2025년 사이 인력을 빠르게 늘림.
• FuriosaAI (퓨리오사AI): Warboy (1세대), RNGD (2세대 LLM 가속기). LLM inference 특화.
• Sapeon: SK텔레콤 계열. 서버 추론 가속기.
• DeepX, 모빌린트: edge/embedded NPU 중심.
• Telechips, Nextchip: 자동차용 NPU 통합 SoC. ADAS와 결합.
• 외국계 코리아 office: ARM Korea, MediaTek Korea, Synopsys Korea. 다만 architecture 직무가 적고 IP 통합/검증 비중이 높습니다.

강점/약점 — 삼성/하이닉스는 인력 풀이 크고 안정적이지만 한 architect의 영향력이 상대적으로 작고 spec 외 잡일이 많습니다. 팹리스 스타트업은 영향력이 크고 RSU 업사이드가 있지만 회사 자체의 생존 리스크를 감수해야 합니다. 외국계 코리아 office는 한국에서 글로벌 톱티어 칩 일을 할 수 있지만 architecture 권한이 본사에 있어 한국 office는 implementation/통합 중심인 경우가 많습니다.

글로벌 옵션: Nvidia (CUDA/GPU MMA arch), Google TPU 팀 (Mountain View, Sunnyvale), Tesla Dojo, Meta MTIA, Amazon Annapurna (Trainium/Inferentia), Tenstorrent (Toronto/Austin), Groq, Cerebras, SambaNova, AMD (MI series), Intel Habana. 한국 architect 5년차 이상은 미국 인터뷰 통과율이 다른 디지털 설계 도메인보다 높은 편입니다. 단, RTL implementation 경험까지 가진 사람이 architecture-only보다 환영받는 경향이 있어, 5년차 안에 한 번은 RTL 팀과 깊게 협업해본 경험을 만들어두는 게 글로벌 점프에 유리합니다.

7. 연봉 가이드 (2026년 기준 한국)

아래 숫자는 잡플래닛/링크드인 self-report와 직장 동료 인터뷰, levels.fyi US 데이터를 기반으로 한 추정입니다. 실제 offer는 학교/박사 여부/협상 능력에 따라 ±30% 변동, 팹리스 스톡옵션 가치는 회사 valuation에 따라 0이 될 수도, 수십억이 될 수도 있어 base만 비교하는 게 안전합니다.

• 신입 (학사): 약 ₩6,000만 ~ ₩7,500만 (삼성/하이닉스 기준)
• 신입 (석사): 약 ₩7,000만 ~ ₩9,500만 (대기업), 팹리스 스타트업은 약 ₩8,000만 ~ ₩1억 + 스톡옵션
• 3-5년차: 약 ₩9,500만 ~ ₩1.5억 (대기업), 팹리스/스타트업은 약 ₩1.1억 ~ ₩1.7억 + RSU/SO
• 시니어 (8년+): 약 ₩1.5억 ~ ₩2.5억 (대기업 책임/수석급), 팹리스 약 ₩1.7억 ~ ₩3억 (스톡옵션/RSU 별도)

외국계 옵션 (US offer) 환산: 신입 박사가 Nvidia/Google/Meta L4-L5 기준 약 $200K-$280K total comp, 5-7년차 senior가 $350K-$500K total. 1 USD ≈ ₩1,350 가정 시 약 ₩2.7억 ~ ₩6.7억. 다만 미국은 세금/주거비/의료비 구조가 달라 단순 환산 비교는 주의해야 합니다. 한국 팹리스에서 US 본사로 가는 경우 stock refresh와 sign-on 협상 여지가 보통 큽니다.

8. 진입 장벽 / 이 팀에 가려면

전공: 전자공학, 컴퓨터공학, 전기공학이 표준입니다. 컴퓨터 아키텍처 수업은 필수 (Patterson & Hennessy, Hennessy & Patterson 둘 다 읽어둘 것). ML 시스템, 컴퓨터 시스템, VLSI 설계, 디지털 회로 수업을 함께 들으면 좋습니다. 물리/수학 전공자도 박사를 거치면 가능하지만 학부 후 바로는 어렵습니다.

학부 vs 석사 vs 박사: 박사 (PhD) 비율이 다른 디지털 설계 팀보다 높습니다. 외국계와 팹리스 스타트업의 senior architect 자리는 박사가 80% 이상. 다만 한국 IDM (삼성/하이닉스)은 학사/석사 비율도 충분하고 신입 채용이 활발해서 박사가 절대 필수는 아닙니다. "architecture 결정에 voice를 가지려면 박사 5년 동안 한 도메인을 깊게 판 사람이 유리하다" 정도로 이해하면 정확합니다.

도움 되는 수업/프로젝트: gem5나 Timeloop을 직접 fork해서 새 feature 넣어보기, 작은 systolic array를 RTL로 구현 (Chisel/SpinalHDL/Verilog) 후 FPGA에서 돌려보기, MLIR dialect를 직접 작성해보기, ResNet/Transformer를 INT8로 quantize해서 PyTorch에서 inference 시간 측정해보기. 이런 프로젝트가 이력서에 한 줄이라도 들어가면 인터뷰 통과율 차이가 큽니다.

한국 학교 vs 미국 학교: 한국은 KAIST, 서울대, POSTECH의 컴퓨터 아키텍처 / ML 시스템 랩이 강합니다. 미국은 MIT (Vivienne Sze, Daniel Sanchez), Stanford (Kunle Olukotun, Christos Kozyrakis), CMU, UC Berkeley (Krste Asanović — RISC-V), Georgia Tech (Tushar Krishna), UCSD가 메이저. 미국 박사를 거치면 글로벌 채용 시장의 시작점 자체가 다릅니다.

인턴십/학회/오픈소스: ISCA, MICRO, HPCA, ASPLOS의 1저자 논문이 있으면 글로벌 어디든 인터뷰가 들어옵니다. 인턴십은 국내 팹리스 (리벨리온, 퓨리오사) 또는 IDM 인턴이 RTL/architecture 양쪽에 노출되어 좋습니다. NVDLA, Gemmini, OpenROAD 같은 오픈소스 contribution은 PR 한두 개만으로도 인터뷰에서 화제 만들기에 충분합니다.

9. 추천 학습 경로

• 책: Computer Architecture: A Quantitative Approach (Hennessy & Patterson, 6th edition) — 책상 위에 두고 ad-hoc 참조하는 책. 11장 (Domain-Specific Architectures), 부록 H (Vector) 필독. Efficient Processing of Deep Neural Networks (Vivienne Sze, Yu-Hsin Chen 등, Synthesis Lectures) — NPU architect의 바이블. Deep Learning Systems (Tianqi Chen 등) — 시스템 관점에서 ML을 보는 데 좋음.
• 강의/MOOC: MIT 6.5940 TinyML and Efficient Deep Learning Computing (Song Han) — 무료 공개, 슬라이드 + 강의 영상. Stanford CS217 Hardware Accelerators for Machine Learning (Kunle Olukotun). CMU 15-418/15-618 Parallel Computer Architecture. Georgia Tech CS 8803 Hardware-Software Codesign of Deep Learning Systems (Tushar Krishna).
• 핵심 논문/표준: Eyeriss (Chen et al., ISSCC/ISCA 2016) — row stationary dataflow의 원조. Google TPU v1 paper (Jouppi et al., ISCA 2017), TPU v4 paper (ISCA 2023). "In-Datacenter Performance Analysis of a TPU" — workload 분석 방법론. Cerebras WSE 백서, Tesla Dojo 백서, Tenstorrent Tensix 발표 자료. MLPerf benchmark spec — 시장에서 어떤 metric으로 평가받는지 알아야 함.
• 오픈소스 프로젝트: Gemmini (UC Berkeley) — RISC-V 기반 systolic array generator, Chisel로 작성. NVDLA (Nvidia open-source) — 산업 NPU의 RTL을 직접 볼 수 있는 거의 유일한 케이스. Timeloop + Accelergy (MIT) — dataflow analysis 표준 도구. SCALE-Sim (Georgia Tech/ARM) — systolic array 시뮬레이터. MLIR / IREE — ML 컴파일러 프레임워크. dialect를 작성해보면 architect-compiler 인터페이스가 보임. Cocotb — Python 기반 RTL 검증, sub-block을 빠르게 검증할 때 유용.
• 커뮤니티: 학회 — ISCA, MICRO, HPCA, ASPLOS, MLSys (가장 ML 색채 강함), DAC, ICCAD. 한국 — KCC, SoC 학회, IEIE 반도체 워크샵. 온라인 — Twitter/X에서 architect 계정들 (Hot Chips 발표자, Cerebras/Tenstorrent 엔지니어), Discord MLSys 채널. 카카오톡/Slack의 한국 반도체 architect 비공식 그룹은 LinkedIn 동문/회사 networking으로 들어가는 게 보통.

10. 한 줄 코멘트

AI Accelerator Architecture는 2026년 현재 시장에서 가장 비싼 도메인 중 하나이고, 박사 5년 + 회사 5년이면 글로벌 어디든 갈 수 있는 패스가 열린다. 단점은 ML 트렌드 변화가 빠르다는 것 — LLM 이후 또 무엇이 올지 모르고, 한 회사 한 칩에만 너무 묶이면 5년 후 그 칩이 단종되었을 때 도메인 전환 비용이 크다.

다른 팀 가이드도 시리즈로 발행 중입니다. 전체 시리즈 보기 · 매일 글로벌 반도체 브리프는 vlsi.kr.