[인공지능] GPU, HBM 그리고 AI반도체

 

인공지능(AI)에 대한 이야기가 뉴스에서 빠지질 않고 있습니다. 아직까지 일상생활에 뭐가 바뀌고 있는지 체감은 잘 안되지만 엄청난 변화가 일어나는 중이라는 것 만은 확실한 것 같습니다. 이런 인공지능 기술을 가능하게 하는 3대 요소가 있습니다. 소프트웨어, 하드웨어, 그리고 데이터입니다.  오늘은 이 중 하드웨어 얘기를 해볼까 합니다. 

샘 올트먼 오픈AI CEO는 자그마치 7조달러(9,000조원)의 AI반도체 펀딩을 모집하고 있다고 하고, 손정의 소프트뱅크그룹 회장은 엔비디아와 경쟁하는 AI반도체 기업을 설립하기 위해 ‘이자나기(Izanagi)’라는 이름의 AI반도체 프로젝트로 1000억달러(133조원)의 자금을 모집하고 있다는 보도가 나왔습니다. 

 

이런 어마어마한 자금이 투입되고 있는 AI반도체가 바로 AI 하드웨어 이야기의 핵심입니다. 

 

인간의 뇌를 닮아가는 AI반도체

GPU에서 AI반도체로 가는 길

인공지능(AI) 기술 중 하드웨어의 핵심은 바로 반도체입니다. AI 기술이 엄청난 컴퓨터 능력을 필요로 하다보니 보통의 반도체로는 감당이 안됩니다. 그래서 원래는 비디오게임에 사용하던 GPU(Graphics Processing Unit)를 인공지능 개발자들이 사용하기 시작했습니다. AI 시장이 달아오르면서  엔비디아(NVIDIA)라는 게임용 그래픽카드를 만들던 GPU 회사의 주가가 폭등한 이유입니다.

그런데 AI 개발 수요는 폭발적으로 늘어나는데 이 GPU를 생산할 수 있는 회사는 손에 꼽으니 가격이 너무 비싸져 버렸습니다. 사실상 지금은 NVIDIA의 독점 체제나 마찬가지죠. 개발자들의 비용부담이 너무 커지자 당초 게임을 위해 개발된 GPU 말고  AI 전용칩을 개발하자는 목소리가 커지는 것입니다. 오픈AI, 삼성 등이 AI반도체 개발에 박차를 가하고 있는 배경입니다.

우선 AI 반도체 분야에 등장하는 GPU, NPU, HBM 등 핵심 용어를 한 번 같이 알아보시죠.

GPU (그래픽 처리 장치, Graphics Processing Unit)

GPU는 원래 비디오 게임이나 컴퓨터 그래픽을 처리하기 위해 개발되었습니다. 그러나 그 특성상 대량의 데이터를 동시에 병렬로 처리할 수 있기 때문에, 이제는 AI 연산 처리에도 널리 사용되고 있습니다. GPU를 사용하는 것은 마치 한 번에 여러 작업을 처리할 수 있는 많은 작업자를 고용하는 것과 같아서, AI 모델 학습 같은 복잡한 작업을 더 빠르고 효율적으로 수행할 수 있게 합니다.

GPU의 장점을 간단히 정리하면 다수의 코어를 갖고 있어 병렬 데이터 처리에 매우 효과적이며, 이를 통해 고성능 컴퓨팅 작업을 빠르게 처리할 수 있다는 점입니다. 그러나 가격이 무시무시하고 게다가 전력을 너무 많이 잡아먹는다는 단점때문에 부담스럽습니다.

HBM (고대역폭메모리, High Bandwidth Memory)

이런 GPU에 반드시 들어가야 하는 건이 바로 HBM, 즉 고대역폭메모리입니다. HBM은 메모리 기술의 한 형태로 매우 높은 데이터 전송 속도를 자랑합니다.

HBM은 여러 개의 D램을 수직으로 연결해 일반 D램보다 데이터 처리 속도를 대폭 끌어올린 차세대 메모리 제품입니다.

생각해 보세요, 여러분이 큰 쇼핑몰에 가서 물건을 사는데, 계산대가 한 곳밖에 없다면 얼마나 오랜 시간을 기다려야 할까요? HBM은 마치 쇼핑몰에 계산대를 수십, 수백 개 늘린 것과 같아서, 데이터가 마치 빠른 속도로 여러 계산대를 통해 처리되는 것처럼 메모리와 프로세서 사이의 정보 교환을 매우 빠르게 합니다.

이는 특히 복잡한 연산을 요구하는 AI 작업에서 매우 중요한데, AI는 대량의 데이터를 빠르게 처리해야 하기 때문입니다.

문제는 가격이죠. AI GPU 구동을 위해 필수 탑재되는 HBM은 일반 D램과 비교해 통상 2~3배, 많게는 5배 가량 가격이 비쌉니다. 그래서 최근 반도체 회사들이 HBM기술에 많은 투자를 하고 있습니다. 삼성전자는 생성형 인공지능(AI) 서버 등에 쓰이는 고대역폭메모리(HBM) 기술을 확보하고 최근 HBM3E는 5세대 HBM 제품 출시를 앞두고 있다고 합니다.

NPU (신경망 처리 장치, Neural Processing Unit)

이렇게 AI 개발에 필요한 GPU 가격이 비싸지다보니 AI에 특화된 좀 더 저렴한 반도체를 개발하려는 움직임이 커질 수 밖에 없겠지요.

NPU, 즉 신경망 처리 장치는 바로 이런 수요에 따라 특별히 AI를 위해 설계된 반도체입니다. 최근 AI기술은 인공신경망(딥러닝) 모델을 중심으로 발전하고 있습니다. NPU는 이런 딥러닝의 연산을 최적화하기 위한 목적으로 만들어졌습니다. 즉, NPU는 인공지능 작업, 특히 딥러닝 모델의 학습과 추론을 처리하기 위해 특별히 설계된 프로세서라고 이해하시면 됩니다.

NPU를 사용하는 것은 마치 AI 작업을 위해 특별히 훈련된 전문가 팀을 갖는 것과 같아서, AI 작업을 더 빠르고 정확하게 처리할 수 있습니다. 인공신경망의 연산을 효율적으로 수행하도록 최적화되어 있는 것이죠.

다만, 단점이라면 다양한 용도로 사용될 수 있는 GPU와는 달리 AI에만 특화되어 있어서 쓰임새가 AI에만 한정된다는 점이라고 하겠습니다.

NPU는 스마트폰, 자율 주행 차량, 음성 인식 시스템 등 AI 기능이 필요한 다양한 기기와 응용 분야에서 사용될 수 있습니다. 특히, 갤럭시24처럼 스마트폰에 AI가 적용되는 소위 온디바이스 AI 기기가 등장하고 있어서 AI의 일상화가 진행됨에 따라 그 수요가 폭발적으로 증가할 수 있습니다.  

뉴로모픽 AI 칩

통상 AI에는 사용되는 반도체를 크게 세 가지 세대로 분류하는데 인간의 두뇌를 모방한 신경망을 기반으로 하는 ‘뉴로모픽’은 현재까지는 가장 진화된 형태인 3단계 AI 반도체로 구분됩니다. 

조금 기술적으로 설명하자면 뉴로모픽 기술은 기존의 CPU와 메모리가 직렬로 연결된 구조에서 벗어나, 인간의 뇌가 뉴런과 시냅스로 구성된 것과 같은 인공 뉴런으로 구성된 병렬 네트워크로 연산, 메모리, 통신 기능을 융합한 형태입니다. 뉴로모픽 기술의 핵심은 인간 뇌의 신경세포(뉴런)와 그들을 연결하는 시냅스를 통해 정보를 처리하고 저장하는 방식을 하드웨어로 구현하는 것입니다​​.

 

뉴로모픽 AI 칩은 인간의 뇌처럼 저전력으로 고도의 연산을 수행할 수 있으며, 인공지능의 발전에 크게 기여할 것으로 기대됩니다. 결국 인간의 뇌를 닮은 뉴로모픽 반도체야말로 궁극의 AI 반도체라고 불릴 수 있겠습니다.   

 

삼성전자가 차세대 먹거리로 AI반도체 기술인 Neuromorphic Artificial Intelligence Chip(뉴로모픽 AI칩)를 향한 움직임을 본격화 하는 모양새라는 뉴스도 확인됩니다.  최근 하버드 출신 뉴로모픽 최고 권위자를 영입했다고 합니다.  

AI 반도체의 발전과 미래

AI 기술이 발전함에 따라, AI 반도체의 중요성은 더욱 커지고 있습니다. 가트너에 따르면, AI 반도체 시장은 2023년에 343억 달러(약 40조 원) 규모로 성장할 것으로 전망되며, 2030년에는 전체 시스템 반도체 시장의 31.3%를 차지할 것으로 예상된다고 합니다. 우리나라에도 SK그룹 계열사 사피온, 스타트업 리벨리온·퓨리오사AI 등이 AI 반도체 기술을 열심히 개발하고 있습니다. 자율주행차부터 의료 진단, 스마트홈 기기, 개인 맞춤형 추천 시스템에 이르기까지 AI는 우리 생활 곳곳에 스며들면서 AI 반도체 기술의 지속적인 연구와 개발은 AI의 미래를 형성하는 데 중요한 역할을 하게 될 것입니다. 그리고 미래의 우리나라 먹거리가 여기에 있을 지도 모르겠습니다.