'메모리=저장' 고정관념 깬다…PIM으로 HBM을 똑똑하게

[이데일리 조민정 기자] 챗GPT에게 ‘오늘 날씨는 어때?’라고 물어보면 ‘오늘’, ‘날씨는’, ‘맑습니다’라며 한 글자씩 끊어서 답변하는 현상이 발생합니다. 데이터 처리량은 많은데 이동하는 고속도로가 막혀 발생하는 메모리 병목 현상 때문입니다. 앞으로 생성형 AI가 발전하면서 데이터 처리량은 더욱 늘어날 텐데 지연 현상 없이 한 번에 끊김 없이 답변을 볼 순 없을까요?

AI 성능을 획기적으로 높이기 위해 등장한 차세대 메모리가 바로 ‘PIM(프로세싱 인 메모리)’ 입니다. ‘메모리=저장’이란 고정관념을 깨고 연산 기능을 메모리 반도체에 넣어 저장도 하고, 계산도 하는 똑똑한 메모리로 탄생시켰죠. CXL(컴퓨트 익스프레스 링크)과 달리 아직 개발 단계에 머물며 비교적 먼 미래에 시장이 열릴 전망이지만 메모리 업체와 학계에선 개발에 한창입니다.

(그래픽=이미나 기자)

‘지능형 메모리’ PIM…전력량 문제도 거뜬

PIM은 ‘지능형 메모리’로 불립니다. 보통 메모리는 데이터를 저장하고 있다가 중앙처리장치(CPU), 그래픽처리장치(GPU) 등 시스템 반도체가 원할 때 전송하는 역할을 합니다. CPU, GPU는 반도체 칩에선 두뇌 역할을 맡고 있죠. 그러나 AI로 정보량이 많아진 탓에 메모리가 CPU에 정보를 전송하는 과정에서 병목현상이 발생하고 있습니다. CPU, GPU로 가는 길은 똑같은 1차선인데 차들이 많아져서 길이 막히는 것이죠. 이는 곧 ‘발열’로 이어지고 전력 소모량 증가로 이어집니다.

(사진=삼성전자)

PIM은 ‘메모리가 저장만 하지 말고 아예 연산도 할 수 있으면 좋지 않을까?’란 생각에서 출발합니다. 메모리 반도체가 CPU, GPU의 일을 도와주면 저장한 정보를 굳이 다 보낼 필요가 없죠. PIM을 통해 메모리가 ‘볼보이(보조 인력)’를 넘어 직접 경기를 뛸 수 있는 후보 선수 지위까지 올라서는 셈입니다. 메모리 내부에서 어느 정도 연산한 결과값만 보내면 되니까 메모리 병목 현상도 줄이고 성능 향상, 에너지 절감 효과까지 누릴 수 있습니다. 삼성전자가 PIM을 고대역폭메모리(HBM)에 통합한 HBM-PIM 제품으로 챗GPT를 사용하면 매트릭스 곱셈 연산 속도가 3~7배 빨라진다고 합니다.

PIM이 메모리 내부에 연산기를 넣는 것이라면 PNM(프로세싱 니어 메모리)은 메모리 ‘옆’에 연산장치를 배치하는 기술입니다. CXL 인터페이스를 활용해 만든 CXL-PNM은 메모리 용량까지 크게 확장시켜주는 솔루션으로 기존 GPU 가속기 대비 4배 용량을 제공합니다. 기존 메모리 사용 대비 사용자 기반 추천 시스템의 성능은 2배 향상되죠.

SK하이닉스의 경우 PIM 기술은 AiM, PNM은 CMS, CSD으로 제품명을 정하고 3가지 솔루션으로 제공하고 있습니다. SK하이닉스가 2023년 선보인 AiMX는 GDDR6-AiM 여러 개를 탑재한 가속기 카드 제품으로 기존 컴퓨팅 시스템 대비 10배 이상 빠른 반응속도와 5분의1로 줄어든 전력 소모량을 자랑했습니다.

AiMX 시스템을 통해 거대 인공지능 언어 모델을 시연하는 모습.(사진=SK하이닉스)

상용화는 아직…‘시스템vs메모리’ 밥그릇 싸움

PIM은 생성형 AI와 온디바이스 AI 시장에서 큰 역할을 할 것으로 보여집니다. 생성형 AI는 LLM(거대언어모델)을 기반으로 가동돼서 PIM 기능으로 성능을 크게 향상시킬 수 있기 때문입니다. 온디바이스 AI는 스마트폰 등 모바일 자원으로만 작동하는 SLM(소형언어모델) 기반으로 떠오르고 있어서 ‘전력 소모’를 줄이는 PIM 기술이 필요한 상황이죠.

현재 삼성전자, SK하이닉스 등 국내 기업의 PIM 개발은 상용화만 남겨둔 단계에 도달했지만 CXL에 비해 상대적으로 시장 개화가 더딘 상황입니다. 메모리가 CPU, GPU의 일부 기능을 대신하며 똑똑해지는 셈이니 인텔, 엔비디아 등이 반길 리가 없기 때문이죠. 글로벌 반도체 기업 입장에선 PIM은 경쟁 상대로 인식될 수밖에 없으니 메모리 업체들은 섣불리 상용화를 추진하기 어렵습니다.

그러나 앞으로 전력 문제가 크게 떠오르면서 PIM 기술 채택은 불가피할 전망입니다. 지금은 생성형AI 시장의 초기 단계로 개발에만 한창이지만 기후변화 영향으로 전력 문제가 사회적인 화두로 떠오르면 PIM의 중요성이 커질 수밖에 없기 때문이죠. 업계도 저전력 고성능 반도체 수요가 높은 온디바이스AI 시장을 시작으로 공략하겠다는 전략입니다.

카이스트 PIM반도체설계연구센터 연구팀과 삼성전자가 공동개발한 PIM 메모리 ‘다이아몬드’(왼쪽)로 ‘다이나플라지아(DynaPlasia)’의 차세대 라인업이다.(사진=조민정 기자)