AI 산업구조 2층 : 메모리·CPU·저장장치

GPU가 아무리 빨라도, 옆에서 데이터를 실어 나르고 저장해줄 부품이 없으면 무용지물이에요. AI 산업구조 2층은 GPU를 뺀 서버의 나머지 핵심 부품, 메모리·CPU·저장장치를 다룹니다. 이 글에서는 HBM이 왜 요즘 그렇게 화제인지, CPU는 AI 시대에 뭘 하는지, 메모리와 저장장치는 뭐가 다른지 정리해보겠습니다.

이 층, 다시 짚어보기

이 셋은 흔히 GPU(AI 연산을 실제로 담당하는 계산 칩)에 가려 조명을 덜 받지만, 사실 그 GPU가 제 성능을 낼 수 있는지를 좌우하는 부품들이에요. 아무리 좋은 GPU를 사도, 데이터를 못 실어 나르면 GPU는 놀고만 있게 됩니다. GPU 자체가 정확히 뭘 하는 칩인지는 다음 글에서 자세히 다룰 예정이니, 여기서는 우선 메모리·CPU·저장장치부터 하나씩 짚어보겠습니다.

메모리 계층, 이렇게 쌓여있어요

컴퓨터가 데이터를 다루는 부품은 ‘연산 칩(CPU)에서 얼마나 가까운가’ 순서로 4단계로 쌓여있습니다. 가까울수록 빠르지만 용량이 작고, 멀수록 느리지만 용량이 커요. 요리사의 주방에 비유하면 이해가 쉬워요.

1레지스터 (CPU·GPU)

연산 칩이 ‘지금 이 순간’ 직접 계산하고 있는 값 그 자체가 저장되는 곳이에요. 요리사가 재료를 냉장고에서 꺼내 손에 쥔 순간, 그 재료로 바로 다음 동작(썰기·볶기)을 하죠. 레지스터가 그 ‘손에 쥔 상태’예요. 용량이 극히 작아서(보통 수십~수백 개 정도), 딱 지금 쓸 것만 담아둡니다.

2캐시(Cache) (CPU·GPU)

‘자주 쓰는데 매번 냉장고까지 가긴 귀찮은’ 재료를 조리대 위에 미리 꺼내둔 것과 같아요. CPU는 똑같은 데이터를 반복해서 쓰는 경우가 많은데, 그때마다 멀리 있는 메모리까지 다녀오면 느려요. 그래서 자주 쓰는 데이터를 칩 안에 미리 복사해두는 게 캐시예요. 보통 L1(제일 작고 빠름)·L2·L3(조금 더 크고 느림) 이렇게 여러 단계로 또 나뉘어 있습니다.

3메모리(DRAM·HBM)

오늘 요리에 쓸 재료를 통째로 담아두는 냉장고예요. 캐시보다는 크지만(수십 GB), 저장장치보다는 훨씬 작아요. 그리고 전원을 끄면 내용이 싹 사라집니다(휘발성) — 냉장고 문을 열어놓고 다음날 오면 재료가 없어지는 것과 비슷하죠.

4저장장치 (SSD·HDD)

지하 창고예요. 당장 쓸 게 아니라도 장기 보관하는 곳이고, 용량이 제일 크고(수 TB), 전원을 꺼도 내용이 안 사라져요(비휘발성). 다만 냉장고보다 훨씬 멀리 있어서 꺼내오는 데 시간이 걸립니다.

CPU는 AI 시대에 뭘 할까요

계산 자체는 GPU가 압도적으로 유리하지만(GPU는 다음 글에서 자세히 다룰게요), CPU가 아예 안 쓰이는 건 아니에요. 모델을 학습시키는 과정은 GPU가 거의 도맡지만, 사용자의 질문을 받아 처리하고 결과를 다시 문장으로 돌려주는 ‘추론’ 앞뒤 단계, 그리고 서버 전체를 조율하는 역할은 지금도 CPU가 담당합니다.

이 시장은 전통적으로 Intel·AMD가 양분해 왔어요. 다만 최근 AI 붐에서는 GPU 회사들에 비해 상대적으로 존재감이 옅어졌다는 평가를 받는 층이기도 합니다. NVIDIA가 데이터센터용 CPU(Grace)까지 자체 설계하기 시작한 것도, 이 조율 역할까지 통째로 가져가려는 움직임으로 볼 수 있어요.

HBM은 왜 이렇게 화제일까요

여러분 PC의 RAM처럼, 계산할 데이터를 칩 바로 옆에 쌓아두는 초고속 창고가 메모리예요. 아무리 계산 칩이 빨라도 데이터를 제때 공급하지 못하면 칩이 놀아버리는데, 특히 AI는 다루는 데이터가 방대해서 이 공급 속도가 곧 AI 성능을 좌우합니다. 그래서 등장한 게 HBM(고대역폭메모리)이에요. 여러 개의 메모리를 수직으로 쌓아 올려, 일반 DRAM보다 훨씬 빠르게 데이터를 주고받을 수 있게 만든 부품입니다.

이 HBM에서 앞서가는 회사가 한국의 SK하이닉스이고, 삼성·마이크론이 뒤를 잇습니다. 요즘 AI 붐에서 한국이 자주 언급되는 이유 중 하나가 바로 이 부분이에요.

최근엔 이 HBM 자체가 병목이 되는 경우도 생겨요. NVIDIA가 GPU를 아무리 많이 찍어내도, HBM 물량이 부족하면 완성된 GPU를 못 만드는 구조라, HBM 공급 계약 하나하나가 업계 뉴스가 될 정도로 중요해졌습니다.

저장장치는 메모리와 뭐가 다를까요

메모리와 헷갈리기 쉬운데 역할이 달라요. 메모리가 지금 당장 계산에 쓸 데이터를 잠깐 올려두는 ‘작업대’라면, 저장장치는 학습 데이터나 완성된 모델 파일처럼 대용량 데이터를 오래 보관하는 ‘창고’입니다. 전원을 꺼도 데이터가 남아있다는 게 메모리와의 가장 큰 차이예요.

이 시장은 삼성·SK하이닉스(낸드플래시)와 샌디스크·시게이트·웨스턴디지털이 나눠 갖고 있어요. AI 데이터센터가 커질수록 이 대용량 저장 수요도 함께 늘어나는 층입니다.

투자자가 봐야 할 포인트

이 층은 GPU만큼 화려하진 않지만, GPU가 없으면 소용없고, 이 층이 없어도 GPU가 소용없는 상호 의존 관계예요. 그래서 투자자라면 이런 부분을 같이 봐야 합니다.

HBM은 만들기도 어렵지만, 한번 특정 회사 제품으로 검증받으면 쉽게 안 바꾸는 특성이 있어요. NVIDIA 같은 큰 고객사에 먼저 납품을 따내면, 그 관계가 다음 세대 제품까지 이어지는 경우가 많다는 점도 눈여겨볼 만합니다.

마치며

메모리·CPU·저장장치는 GPU를 완성시키는 필수 조연이에요. 특히 HBM은 최근 AI 산업에서 GPU만큼이나 품귀 현상을 겪는 핵심 병목으로 떠올랐습니다.

다음 글에서는 이 층 바로 옆에 있는 진짜 주인공, GPU·칩 설계(팹리스)를 자세히 들여다보겠습니다. NVIDIA가 왜 이 산업에서 가장 부가가치가 높은 자리를 차지하고 있는지 살펴볼게요.