NVIDIA, 손바닥 크기 AI 슈퍼컴퓨터 출시…황 제슈안, 머스크에 직접 전달

황 제슈안 사장이 첫 번째 DGX Spark를 스페이스X 수석 엔지니어 엘론 머스크에게 직접 전달. 손바닥 크기의 이 슈퍼컴퓨터가 AI 보급의 새 시대를 열었다.

"한 점 불꽃이 지성의 세계에 불을 지피리라!" NVIDIA DGX Spark 인도식에서 스페이스X 수석 엔지니어 엘론 머스크는 황 제슈안에게 선물한 기념품에 이렇게 적었다.

10월 15일, NVIDIA는 지금까지 세계에서 가장 작은 AI 슈퍼컴퓨터인 DGX Spark의 인도를 공식 시작했다. 손바닥에 잡히는 이 장비는 데이터센터급 연산 능력을 모든 개발자의 데스크탑으로 가져온다.

01 상징적인 인도

황 제슈안 사장은 텍사스주에 있는 스페이스X 스타십 기지를 방문해 머스크에게 첫 번째 DGX Spark를 직접 전달했다. 이 장면은 역사의 메아리처럼 느껴졌다.

2016년, 황 사장은 당시 작은 스타트업에 불과했던 OpenAI에 첫 번째 DGX-1 AI 슈퍼컴퓨터를 인도한 바 있다.

약 10년 후, 그는 다시 한번 최첨단 AI 컴퓨팅 장비를 같은 꿈꾸는 기술자의 손에 건넸다.

머스크가 답례로 선물한 기념품에는 이렇게 적혀 있었다. "한 점 불꽃이 지성의 세계에 불을 지피리라! 별들을 향하여, 황 제슈안에게!"

"Ad astra"(라틴어로 "별들을 향하여")라는 문구는 미지의 세계를 탐험하려는 두 기술 선구자의 공통된 열망을 적절히 표현하고 있었다.

02 손바닥 크기의 슈퍼컴퓨터

DGX Spark의 무게는 고작 1.18kg에 불과하며, 크기는 Mac mini와 비슷하다. 그러나 이 샴페인 골드 메탈 케이스 안에는 놀라운 컴퓨팅 성능이 숨겨져 있다.

NVIDIA의 GB10 Grace Blackwell 슈퍼칩을 탑재해 희소 FP4 정밀도에서 1 PFLOPS(초당 1,000조 회 부동 소수점 연산)의 AI 연산 성능을 제공한다.

이는 한때 머신 클러스터가 필요했던 연산 능력을 데스크탑급 장치에 집어넣었다는 의미다.

128GB의 코히런트 통합 메모리는 DGX Spark의 큰 특징이다. CPU와 GPU가 동일한 물리적 메모리 공간을 공유해 서로의 데이터에 원활하게 접근할 수 있다.

개발자는 수천억 개의 매개변수 규모 모델 전체를 한 번에 이 128GB 메모리에 로드해 실행할 수 있으며, 시스템 메모리와 VRAM 사이에서 데이터를 복사할 필요가 없다.

03 놀라운 성능

DGX Spark의 성능은 인상적이다. 평가 데이터에 따르면, GPT-OSS 20B 모델을 실행할 경우 Spark의 Prefill 처리량은 약 2,053 tokens/초에 달한다.

Llama 3.1 8B 같은 소규모 모델의 경우 단일 요청에서 Spark의 Prefill 속도는 약 7,991 tokens/초에 이른다.

더욱 놀라운 것은 뒷면의 듀얼 QSFP 네트워크 인터페이스(200Gb/s 대역폭)를 통해 Spark 두 대를 직접 연결해 2노드 클러스터를 구성할 수 있다는 점이다.

NVIDIA에 따르면 듀얼 링크 Spark는 최대 405B 매개변수(FP4 정밀도) 모델까지 처리 가능하며, 이는 현재 이용 가능한 가장 큰 오픈소스 대규모 언어 모델에 근접한 규모다.

04 개발자 맞춤형 설계

DGX Spark는 일반 소비자용이 아닌 AI 개발자, 연구원, 데이터 과학자를 위한 전문 도구로 설계되었다.

황 제슈안 사장은 이렇게 말했다. "2016년, 우리는 AI 연구자 전용 슈퍼컴퓨터를 제공하기 위해 DGX-1를 개발했습니다. 오늘날 DGX Spark를 통해 우리는 그런 당초의 목적로 돌아갑니다—모든 개발자의 손에 AI 컴퓨터를 건네는 것으로, 다음 기술 혁신의 물결을 일으키는 것입니다."

DGX Spark는 NVIDIA의 DGX OS(커스터마이즈된 Ubuntu Linux)를 실행하며, 완전한 AI 소프트웨어 스택이 사전 구성되어 있다.

박스에서 꺼내자마자 모델, 라이브러리, NVIDIA NIM 마이크로서비스를 포함한 NVIDIA AI 생태계의 도구와 자원에 바로 접근할 수 있다.

05 배후의 공급망

대만 기술 기업들이 DGX Spark 제조 과정에서 중요한 역할을 했다.

GB10 슈퍼칩은 미디어텍이 담당해 NVIDIA를 위해 CPU 연결, ISP, 전원 관리 측면에서 최적화 작업을 진행했다.

이 칩은 TSMC의 4나노미터 공정으로 제조되었다.

에이서, 아수스, 기가바이트, MSI 등의 브랜드도 DGX Spark 시리즈 시스템을 출시할 예정이며, 각사의 기계 설계, 메인보드, 냉각 기술 강점을 활용해 AI 개발자와 중소기업 시장을 공략할 것이다.

06 컴퓨팅 성능의 미래

DGX Spark의 출시는 AI 컴퓨팅 성능의 "현지화" 트렌드의 시작을 알린다.

이를 통해 AI 연산은 클라우드 데이터센터에 국한되지 않고 기업과 개발자의 데스크탑까지 확대될 것이다.

AI 모델이 텍스트와 이미지 처리에서 추론과 자율성으로 진화함에 따라 컴퓨팅 수요 증가 속도는 클라우드 컴퓨팅 능력 확장 속도를 넘어서고 있다.

NVIDIA의 판단은 이런 발전 속도를 유지하려면 슈퍼컴퓨팅 능력을 사용자 가까이로 가져오는 것이 중요하다는 점이다.

DGX Spark는 바로 하나의 불꽃과 같다. 가격은 고작 3,999달러(약 285,000원)에 불과하지만, 한때 데이터센터 안에만 존재하던 컴퓨팅 성능을 갖추고 있다.

황 제슈안 사장의 손바닥 위 작은 장치에서 전 세계 개발자의 책상으로—AI 보급의 새 시대가 시작되려고 한다.

머스크의 말처럼, "한 점 불꽃이 지성의 세계에 불을 지피리라."