AI 산업구조 2층 : GPU·칩 설계 (팹리스)

AI 산업구조 전체에서 가장 부가가치가 높은 층을 하나만 꼽으라면 바로 여기입니다. GPU를 설계하는 팹리스 층입니다. NVIDIA가 왜 세계에서 손꼽히는 시가총액을 가진 회사가 됐는지, 이 층을 보면 답이 나옵니다. 이 글에서는 팹리스가 정확히 뭘 하는 회사인지, 왜 GPU가 AI 연산에 유리한지, GPU 말고 다른 AI 칩은 뭐가 있는지, 설계와 생산이 왜 나뉘어 있는지 정리해보겠습니다.

팹리스, 다시 짚어보기

이 층은 AI 산업구조 전체에서 가장 비싸고 중요한 부품, AI 계산용 칩(GPU)을 만드는 곳입니다. 이 AI용 GPU를 설계하는 대표 회사가 NVIDIA입니다. 그런데 왜 하필 CPU가 아니라 GPU가 AI 연산의 주역이 됐을까요?

왜 하필 GPU일까요

CPU는 복잡한 일 하나를 순서대로 빠르게 처리하는 데 특화돼 있습니다. 반면 GPU는 단순한 계산을 동시에 수천, 수만 개씩 처리하는 데 특화돼 있습니다. 원래는 게임 화면의 픽셀 수백만 개를 동시에 그리려고 만들어진 구조인데, 공교롭게도 AI 연산(행렬 곱셈을 반복하는 작업)도 똑같이 ‘단순한 계산을 동시에 왕창’ 하는 작업입니다. 그래서 게임용으로 발전해온 GPU가 AI 시대에 완벽하게 들어맞은 것입니다.

이 우연에 가까운 궁합을 가장 먼저 알아채고 GPU를 AI 연산용으로 재정의한 회사가 NVIDIA입니다. 2000년대 중반부터 GPU를 게임뿐 아니라 범용 연산에도 쓸 수 있게 만드는 작업을 꾸준히 해왔고, 이 작업이 2007년 CUDA 정식 출시로 이어지면서 지금의 AI 붐과 딱 맞아떨어진 것입니다.

GPU 말고 다른 AI 칩도 있을까요

엄밀히 말하면 진짜 ‘GPU’를 만드는 회사는 NVIDIA·AMD 정도로 많지 않습니다. 다만 ‘AI 연산용 칩’ 전체로 넓혀보면 이야기가 달라집니다. 다들 GPU가 아닌 다른 방식으로 NVIDIA를 우회하려는 시도를 하고 있습니다.

가장 흔한 방식은 ASIC(주문형 반도체)입니다. 구글의 TPU, 아마존의 Trainium이 대표적인데, 범용 GPU와 달리 자기 회사 워크로드에만 맞춰 최적화한 전용 칩입니다. 재밌는 건, 구글 TPU 같은 칩도 설계를 처음부터 다 혼자 하지 않고 Broadcom과 공동 설계하는 경우가 많다는 점입니다. Broadcom은 빅테크가 원하는 스펙대로 커스텀 AI 칩을 대신 설계해주는 ‘대행사’ 역할로 최근 존재감이 커지고 있습니다.

인텔도 GPU 대신 Gaudi라는 별도의 AI 전용 칩으로 승부를 보고 있고, Cerebras·Groq·SambaNova 같은 스타트업들은 아예 GPU와는 완전히 다른 구조로 설계한 칩을 들고 나왔습니다. 예를 들어 Cerebras는 웨이퍼 하나를 통째로 칩 하나로 쓰는 초대형 칩을, Groq는 추론(질문에 답하는 단계) 속도에 특화된 칩을 만듭니다.

NVIDIA의 진짜 해자는 칩이 아니다

그런데 이렇게 경쟁자가 여럿 있는데도, 정작 NVIDIA의 자리를 쉽게 못 뺏는 이유가 있습니다. 여기서 많이 오해하는 게 있는데, NVIDIA의 경쟁력은 단순히 ‘칩이 빠르다’는 게 아닙니다. 진짜 무기는 CUDA라는 소프트웨어 생태계입니다. CUDA는 개발자가 GPU를 활용해 프로그램을 짤 수 있게 해주는 도구 모음인데, 전 세계 AI 연구자·개발자 대부분이 이미 CUDA에 익숙해져 있습니다.

그래서 경쟁사가 “칩 성능만” NVIDIA를 따라잡아도, 개발자들이 새로운 도구를 처음부터 다시 배워야 한다면 쉽게 안 옮깁니다. 이게 NVIDIA를 진짜 강하게 만드는 지점입니다 — 칩이 아니라, 그 칩을 둘러싼 소프트웨어와 개발자 커뮤니티라는 ‘락인(lock-in)’ 구조입니다.

CUDA는 정확히 뭘 하는 도구일까요

GPU는 원래 “단순 계산을 동시에 왕창” 처리하는 데는 뛰어나지만, 그 계산을 어떻게 나눠서 GPU 코어 수천 개에 뿌릴지는 사람이 일일이 지시해야 합니다. CUDA는 개발자가 “이 계산을 GPU 코어들에 이렇게 나눠서 돌려라”고 비교적 쉬운 코드로 지시할 수 있게 해주는 프로그래밍 도구입니다. CUDA가 없던 시절엔 GPU를 범용 계산에 쓰려면 그래픽 전용 명령어를 억지로 갖다 써야 해서 진입장벽이 훨씬 높았습니다.

NVIDIA는 이 CUDA를 2007년부터 거의 20년째 꾸준히 다듬어왔습니다. 그 세월 동안 AI 연구자들이 쓰는 거의 모든 주요 프레임워크(PyTorch, TensorFlow 같은)가 CUDA를 기준으로 만들어졌고, 대학 강의부터 온라인 튜토리얼까지 전부 CUDA 위주로 쌓여 있습니다. 그래서 경쟁사가 아무리 좋은 대안을 내놔도, “이미 CUDA로 짜여진 수많은 코드와 사람들의 습관”을 한꺼번에 옮기게 만들기가 쉽지 않은 것입니다.

설계와 생산은 완전히 분업

칩은 하늘에서 뚝 떨어지지 않습니다. 손톱만 한 칩 하나 안에 수백억 개의 미세한 회로를 어떻게 배치할지 그리는, 극도로 정교한 설계 작업이 먼저 필요합니다. 그런데 NVIDIA에는 정작 칩을 찍어내는 공장이 없습니다. 설계만 하고 생산은 남에게 맡깁니다.

공장을 안 갖는 데는 이유가 있습니다. 최신 파운드리(생산 공장) 하나를 짓는 데 수십조 원이 들고, 그 기술을 최고 수준으로 유지하려면 매년 막대한 재투자가 필요합니다. NVIDIA 입장에선 이 돈을 설계·연구개발에 쏟아붓는 게 훨씬 남는 장사입니다. 그래서 생산은 TSMC 같은 전문 파운드리에 통째로 맡기는 것입니다.

투자자가 봐야 할 포인트

이 층에서 투자자가 가장 자주 던지는 질문은 “NVIDIA의 독점이 언제까지 갈까”입니다. 이걸 판단하려면 이런 부분들을 봐야 합니다.

칩 성능 경쟁만 보면 놓치기 쉬운데, 이 층의 진짜 승부는 ‘하드웨어 + 소프트웨어를 통째로 얼마나 잘 묶어놨는가’에 달려 있습니다.

마치며

GPU·칩 설계는 AI 산업구조에서 가장 부가가치가 높은 층이지만, 그 설계도만으로는 아무것도 만들 수 없습니다. 이 도면을 실물 칩으로 찍어내는 곳이 반드시 따로 필요합니다.

다음 글에서는 그 마지막 조각, 파운드리를 자세히 들여다보겠습니다. 왜 TSMC 하나가 전 세계 첨단 반도체 생산을 사실상 독점하고 있는지 살펴보겠습니다.