슈퍼칩 '마하-1'의 모든 것
삼성의 슈퍼칩 마하-1이 과연 그 이름에 걸맞게 AI 빅뱅 시대 경쟁자들보다 앞서 무서운 질주를 할 수 있을까요? 이번 위클리반도체에서는 삼성전자가 개발 중인 '마하-1'의 모든 것에 대해 알아보겠습니다.
"엔비디아의 AI는 전기료를 먹고 자란다"
'AI를 성장시키는 재료는 데이터가 아니라 전기료'란 말이 나올 정도로 엔비디아의 AI 칩은 막대한 전기를 필요로 합니다.
엔비디아의 A100 GPU 최대 소비전력은 400와트(W), H100은 700W에 달하며 올해 출시되는 B100은 정확하게 공개되지 않았지만 1K(1000)W 수준일 것으로 예상됩니다. 이는 대형 에어컨에 버금가는 수준이죠. 데이터센터 내부에 수만 대에 달하는 에어컨이 24시간 끊임없이 돌아가는 상상을 해보신다면 그 전기 사용량이 어느 정도일지 체감되실 겁니다. 오죽하면 엔비디아의 GPU 'H100'의 올해 연간 소비전력량이 소규모 국가와 맞먹는 수준이 될 것이라는 전망까지 나왔습니다.
엔비디아는 지난해 150만개, 올해 200만개의 H100을 판매할 것으로 전망했습니다. 이렇게 되면 총 350만개 H100이 연간 1만3091GWh의 전력을 소비하게 됩니다. 이는 리투아니아, 과테말라의 연간 소비전력량(1만3092GWh)과 비슷한 수치죠.
엔비디아의 AI 칩에 막대한 전기 소모가 요구되는 이유 중 하나는 데이터 병목 현상이 발생하기 때문입니다.
고대역폭메모리(HBM)와 GPU 사이에 1000개의 연결 통로가 있지만 방대한 데이터들이 이동하기엔 아직 턱없이 도로가 좁고 부족합니다. 이 때문에 발열과 전기 소모가 발생합니다. 물론 발열을 잡기 위해 가동하는 냉각 장치로 인해 전기도 추가적으로 소모되고요.
사실 엔비디아의 GPU는 본래 AI가 아닌 게임에서 고화질 그래픽을 처리하는 데 쓰도록 고안된 반도체입니다. 다만 컴퓨팅 능력이 극도로 좋은 만큼 AI 연구에도 쓰일 수 있었죠. 그렇지만 AI 연산과 추론을 위해 최적화된 설계로 보긴 어렵기 때문에 데이터 처리 비효율이 발생합니다. 이 때문에 AI업계에선 만약 GPU의 데이터 병목 현상을 누군가 잡아낼 수 있다면 수조 원 이상 연간 비용 지출을 절약해주는 막강한 엔비디아의 대항마가 돼줄 것으로 기대했습니다.
메모리 사업부가 슈퍼칩을 만든 사연
삼성에서 시스템 반도체인 마하-1 개발의 열쇠를 푼 건 LSI(시스템반도체) 사업부가 아닌 메모리 사업부였다고 합니다.
'유레카!'의 순간은 2년여 전 차세대 메모리 반도체인 PIM(프로세싱 인 메모리)을 개발할 때 찾아왔죠.
PIM은 메모리 내부에 연산 작업에 필요한 프로세서 기능을 더한 차세대 신개념 융합 기술입니다. 쉽게 말하면 데이터 저장을 담당하는 메모리에 일부 시스템 반도체의 연산 기능을 더한 것입니다.
당시 고성능 메모리에 대한 요구가 지속적으로 커져왔으나 기존 메모리로는 폰 노이만 구조의 한계를 극복하기 어려웠죠.
폰 노이만 구조는 대부분 컴퓨터에서 사용하는 방식으로 CPU가 메모리로부터 명령어를 불러오고 그 결과를 다시 기억장치에 저장하는 작업을 순차적으로 진행합니다. 이 과정에서 CPU와 메모리 간에 주고받는 데이터가 많아지면 작업 처리가 지연되는 '병목 현상'이 생기죠.
삼성전자는 이를 극복하기 위해 메모리 내부에 각각 작은 AI 엔진을 장착하고 병렬 처리를 극대화해 성능을 높였습니다.
그리고 최근 엔비디아의 AI가속기가 '병목 현상'의 근본적인 문제로 지적되자 삼성은 이 차세대 메모리 PIM의 기술팀을 불러모았습니다. 이 연구를 진행하면서 삼성은 메모리와 시스템 반도체 간 구조를 최적화시키는 경험을 쌓기 시작합니다. 데이터 병목 현상을 풀어내기 위한 최적의 설계도를 그리는 작업이죠. 이를 바탕으로 AI가속기를 직접 만들 수 있다는 희망을 발견합니다.
여기에 더해 만약 최적화된 설계에 데이터도 알고리즘으로 맞춤화할 수 있다면 효율성을 극도로 끌어올리는 게 가능할 것이라고 확신했습니다. 이를 본격적으로 실증해보기 위해선 하드웨어 기업인 삼성전자 혼자만의 힘으로는 한계가 있었습니다. AI 데이터 처리 경험이 보다 많은 소프트웨어 기업과 연합이 필요했죠.
절대칩 원정대의 든든한 우군 '네이버'
같은 시각 판교의 네이버는 고민에 빠져 있었습니다. 엔비디아의 GPU 기반 AI 칩 구매 비용이 너무 비싸고 전력 소모량 역시 부담됐거든요.
이에 국내 SW와 HW 1위 기업들인 삼성과 네이버는 이 같은 이유로 전략적으로 손잡으며 반엔비디아 전선을 만들었습니다. SW 개발은 네이버가, 칩 디자인과 생산은 삼성전자가 맡기로 했습니다.
삼성전자와 네이버는 마하-1 개발에 반도체 엔지니어 40여 명을 투입했습니다. 이들은 설계 최적화는 물론 데이터 매개변수(파라미터)를 경량화시키는 데 성공했습니다. 전용 레일을 깔고 맞춤형 차량을 제작해 데이터 지연을 최소화했다고 쉽게 비유할 수 있습니다.
그 결과 지난해 말 FPGA(프로그래밍이 가능한 비메모리 반도체)를 활용해 마하-1 설계 효율성을 검증하는 데 성공했죠. 현재 양산을 위한 최종 칩 설계 확정을 앞두고 있습니다.
경계현 삼성 사장의 자신감 "마하-2도 개발"
마하-1에 대한 양사 기대감은 상당합니다. 최근 1분기 주주총회에서 양사 모두 마하-1에 대한 기대를 투자자들에게 부탁했죠.
AI가속기는 크게 학습과 추론 두 작업으로 나뉩니다. 삼성과 네이버의 마하-1은 우선 상대적으로 더 적은 데이터를 다루는 추론용에 특화된 칩을 만들 계획입니다. 엔비디아는 따로 두 역할의 칩을 구분해 생산하지 않습니다. 만약 삼성의 추론 특화 칩이 더 높은 효율을 보이면서 가격도 저렴하다면 충분한 경쟁력이 생길 수 있는 이유죠.
삼성전자는 최근 주총에서 마하-1의 대략적인 스펙을 밝혔습니다. 병목 현상을 8분의 1로 줄이고, 8배의 전력 효율을 갖게 하는 것을 목표로 합니다. 가격도 엔비디아 제품의 10분의 1 수준에 불과할 것이라는 전망이 나옵니다. 더 나아가 값비싼 HBM보다 상대적으로 저렴한 저전력(LP) 메모리를 탑재해도 구동이 가능하다고 알려졌죠.
삼성과 네이버는 이미 해당 솔루션을 활용해 네이버의 초거대 AI 모델 '하이퍼클로바X'를 구동하는 데 성공한 상태입니다.
최수연 네이버 대표는 주총에서 "AI 시대가 되면서 사실 저희와 같은 대용량의 서비스를 제공하는 회사로서는 칩에 대한 비용 문제가 가장 큰 고민"이라면서 "성능 검증 등 안정화 테스트를 올해로 예상하고 있다. 저희로서는 당연히 기대가 큰 프로젝트"라고 강조했습니다.
경계현 삼성전자 사장은 한발 더 나아가 마하-1이 나오기도 전에 마하-2 개발을 선언하며 자신감을 드러내기도 했습니다. 이에 따라 추후 추론용을 넘어 학습용 특화 칩이 나올 가능성이 있습니다.
경 사장은 SNS를 통해 "일부 고객은 1T(1조개) 파라미터 이상의 큰 애플리케이션에 마하를 쓰고 싶어 한다"며 "생각보다 더 빠르게 마하-2 개발이 필요한 이유가 생긴 것이다. 준비해야겠다"고 밝혔습니다.
삼성전자, SK하이닉스 등 국내 대표 기업들부터 TSMC와 인텔까지!
글로벌 산업의 핵심인 반도체 기업들에 관한 투자 정보를 매주 연재합니다. '기자 페이지'를 구독하시면 소식을 놓치지 않고 받아보실 수 있습니다.
