오찬종 기자의 위클리반도체-4월 첫째 주 이야기
자동차를 좀 아는 독자분이시라면 ‘마하1’이라는 이름을 들었을 때 머스탱을 세상에 알린 포드의 강력한 슈퍼카를 떠올리실 겁니다. 영화 ‘존 윅’에서 은퇴한 킬러였던 그가 다시 분노의 복수를 시작하게 만든 시작점도 바로 그의 애마 마하1을 도둑맞았기 때문이죠.
포드의 마하1 출시로부터 50년이 흐른 2024년. 전설 속 그 이름을 물려받은 반도체 ‘슈퍼칩’의 존재가 세상에 알려지면서 뜨거운 주목을 받고 있습니다.
삼성전자가 마하-1 개발에 성공한다면 엔비디아가 독주하던 AI칩 대표주자의 반열에 당당하게 이름을 올릴 수 있을 것으로 기대를 모으고 있죠. 여기에 자사의 D램까지 결합한다면 그 잠재력은 종전 ‘10만전자’를 훌쩍 넘을 것이라는 게 투자업계의 공통된 시각입니다.
삼성의 슈퍼칩 마하-1이 과연 그 이름에 걸맞게 AI 빅뱅 시대 경쟁자들보다 앞서 무서운 질주를 할 수 있을까요?
이번 위클리반도체에서는 삼성전자가 개발 중인 ‘마하-1’의 모든 것에 대해 알아보겠습니다.
‘AI를 성장시키는 재료는 데이터가 아니라 전기료’라는 말이 나올 정도로 엔비디아의 AI칩은 막대한 전기를 필요로 합니다.
엔비디아의 A100 GPU 최대 소비전력은 400W(와트), H100의 경우 700W에 달하며, 올해 출시되는 B100은 정확하게 공개되지는 않았지만 1K(1000)W 수준일 것으로 예상됩니다. 이는 대형 에어컨에 버금가는 수준이죠. 데이터 센터 내부에서 수 만대에 에어컨이 24시간 끊임없이 돌아가는 상상을 해보신다면 그 전기 사용량이 어느 정도일지 체감이 되실 겁니다.
오죽하면 엔비디아의 GPU ‘H100’의 올해 연간 소비전력량이 소규모 국가와 맞먹는 수준이 될 것이라는 전망이 나왔습니다.
엔비디아는 지난해 150만개, 올해 200만개의 H100을 판매할 것으로 전망했습니다. 이렇게 되면 총 350만개의 H100이 연간 1만3091GWh의 전력을 소비하게 됩니다. 이는 리투아니아, 과테말라의 연간 소비전력량(1만3092GWh)과 비슷한 수치죠.
엔비디아의 AI칩이 막대한 전기 소모가 요구되는 이유 중 하나는 데이터 병목현상이 발생하기 때문입니다.
HBM(고대역폭메모리)과 GPU 사이 1000개의 연결 통로가 있지만 방대한 데이터들이 이동하기엔 아직 턱없이 도로가 좁고 부족합니다. 이 때문에 발열과 전기 소모가 발생합니다. 물론 발열을 잡기 위해 가동하는 냉각 장치로 인해 추가적인 전기도 더 소모되고요.
때문에 AI 업계에선 이 때문에 만약 GPU의 데이터 병목현상을 누군가 잡아낼 수 있다면 수 조원 이상 연간 비용 지출을 절약해주는 막강한 엔비디아의 대항마가 돼줄 것으로 기대했습니다.
삼성이 시스템 반도체인 마하-1 개발 아이디어를 떠올린 것은 시스템반도체 사업부가 아닌 메모리 반도체 사업부였습니다. 2년여 전 차세대 메모리 반도체인 PIM을 개발하면서였죠.
PIM(Processing-in-Memory)은 메모리 내부에 연산 작업에 필요한 프로세서 기능을 더한 차세대 신개념 융합기술입니다. 쉽게 말하면 데이터 저장을 담당하는 메모리에 일부 시스템 반도체의 연산 기능을 더한 것입니다.
최근 AI의 응용 영역이 확대되고 기술이 고도화됨에 따라 고성능 메모리에 대한 요구가 지속적으로 커져 왔으나 기존의 메모리로는 폰 노이만 구조의 한계를 극복하기 어려웠죠.
폰 노이만 구조는 대부분의 컴퓨터에서 사용하는 방식으로 CPU가 메모리로부터 명령어를 불러오고 실행하며 그 결과를 다시 기억장치에 저장하는 작업을 순차적으로 진행합니다. 이 과정에서 CPU와 메모리간 주고받는 데이터가 많아지면 작업처리가 지연되는 현상이 생기죠.
삼성전자는 이를 극복하기 위해 메모리 내부에 각각 작은 인공지능 엔진을 장착하고 병렬처리를 극대화해 성능을 높였습니다.
메모리 내부에서 연산처리가 가능해 CPU와 메모리간 데이터 이동이 줄어들어 AI 가속기 시스템의 에너지 효율을 높일 수 있습니다.
이 연구를 진행하면서 삼성은 메모리와 시스템반도체 간 구조를 최적화시키는 경험을 쌓기 시작합니다. 데이터 병목현상을 풀어내기 위한 최적의 구조를 찾아내죠. 이를 바탕으로 AI가속기를 직접 만들 수 있다는 희망을 발견합니다. 만약 최적화된 인프라 안에서 데이터까지도 최적화할 수 있다면 효율성을 극도로 끌어올리는게 가능할 거란 확신을 했습니다.
이를 본격적으로 실증해보기 위해선 HW 기업인 삼성전자 혼자만의 힘으로는 한계가 있었습니다. 보다 AI 데이터 처리 경험이 보다 많은 SW 기업과 연합이 필요했죠.
같은 시각 판교의 네이버는 고민에 빠져있었습니다. 엔비디아의 GPU기반 AI칩 구매 비용이 너무 비싸고 전력 소모량 역시 부담이 됐거든요.
국내 SW와 HW 1위 기업들인 삼성과 네이버는 전략적으로 손을 잡으며 반엔비디아 전선을 만들었습니다. SW의 개발은 네이버가, 칩 디자인과 생산은 삼성전자가 맡기로 했습니다.
삼성전자와 네이버는 마하-1 개발에 반도체 엔지니어 40여 명을 투입했습니다. 그 결과 지난해 말 FPGA(프로그래밍이 가능한 비메모리 반도체)를 활용해 마하-1 설계 효율성을 검증하는 데 성공했죠. 현재 양산을 위한 반도체 설계 확정을 앞두고 있습니다.
마하-1에 대한 양사의 기대감은 상당합니다. 1분기 주주총회에서 양사 모두 마하-1에 대한 기대를 투자자들에게 부탁했죠.
삼성전자는 주총에서 마하-1의 대략적인 스펙을 밝혔습니다. 메모리 처리량을 8분의 1로 줄이고, 8배의 파워 효율을 갖게 하는 것을 목표로 합니다. 더 나아가 값비싼 HBM보다 저전력(LP) 메모리를 써도 AI 추론이 가능하다고 밝혔죠. 이미 해당 솔루션을 활용해 네이버의 초거대 AI 모델 ‘하이퍼클로바X’를 구동하는 데 성공한 상태입니다.
최수연 네이버 대표는 주총에서 “AI 시대가 되면서 사실 저희와 같은 대용량의 서비스를 제공하는 회사로서는 칩에 대한 비용 문제가 가장 큰 고민”이라면서 “성능 검증 등 안정화 테스트를 올해로 예상하고 있다. 저희로서는 당연히 기대가 큰 프로젝트“라고 강조했습니다.
경계현 삼성전자 사장은 한발 더 나아가 마하-1이 나오기도 전에 마하-2 개발을 선언하며 자신감을 드러내기도 했습니다. 경 사장은 SNS를 통해 “일부 고객들은 1T(1조개) 파라미터 이상의 큰 애플리케이션에 마하를 쓰고 싶어한다”며 “생각보다 더 빠르게 마하-2의 개발이 필요한 이유가 생긴 것이다. 준비를 해야겠다”고 밝혔습니다.
삼성전자, SK하이닉스 등 국내 대표 기업들부터 TSMC와 인텔까지!
글로벌 산업의 핵심인 반도체 기업들에 관한 투자 정보를 매주 연재합니다.
‘기자 페이지’를 구독하시면 소식을 놓치지 않고 받아보실 수 있습니다.:)
