기존 보다 2.36배 빠르게 서비스하는 AI 가속기 개발

[이데일리 강민구 기자] 국내 연구진이 현재 인공지능(AI) 가속기 시장을 독점하는 엔비디아(NVIDIA)에 대응하기 위해 차세대 인터페이스 기술이 활성화된 고용량·고성능 AI 가속기를 개발했다.

한국과학기술원(KAIST)은 정명수 전기전자공학부 교수 연구팀이 차세대 인터페이스 기술인 ‘컴퓨트 익스프레스 링크(CXL, Compute Express Link)이 활성화된 고용량 그래픽처리장치(GPU)의 메모리 읽기·쓰기 성능을 최적화하는 기술을 개발했다고 8일 밝혔다.

정명수 교수(앞줄 오른쪽 첫 번째)와 연구진.(사진=한국과학기술원)

최신 GPU의 내부 메모리 용량은 수십 기가바이트에 불과해 단일 GPU만으로는 모델을 추론·학습하는 것이 불가능하다. 대규모 AI 모델이 요구하는 메모리 용량을 제공하기 위해 업계에서는 GPU 여러 대를 연결하는 방식을 채택하지만, 이 방법은 최신 GPU의 가격이 높아 총소유비용이 늘어날 수 밖에 없었다.

이에 CXL을 활용해 대용량 메모리를 GPU 장치에 직접 연결하는‘CXL-GPU’구조 기술이 산업계에서 검토되고 있다. 하지만 CXL-GPU의 고용량 특징만으로는 실제 AI 서비스에 활용되기 어렵다. 대규모 AI 서비스는 빠른 추론·학습 성능을 요구하기 때문에 GPU에 직접 연결된 메모리 확장 장치로의 메모리 읽기·성능이 기존 메모리에 준하는 성능을 보장해야 하기 때문이다.

연구팀은 CXL-GPU 장치의 메모리 읽기·쓰기 성능이 저하되는 원인을 분석하고, 이를 개선했다. 메모리 확장 장치가 메모리 쓰기 타이밍을 스스로 결정할 수 있는 기술을 개발해 GPU 장치가 메모리 확장 장치에 메모리 쓰기를 요청하면서 GPU 로컬 메모리에도 쓰기를 하도록 설계했다.

또 메모리 확장 장치가 사전에 메모리 읽기를 수행하도록 GPU 장치에서 미리 힌트를 주는 기술을 개발했다. 이 기술을 활용하면 메모리 확장 장치가 메모리 읽기를 더 빨리 시작해 GPU 장치가 실제 데이터를 필요로 할 때 캐시(작지만 빠른 임시 데이터 저장공간)에서 데이터를 읽어 더욱 빠른 메모리 읽기 성능을 발휘할 수 있다.

연구는 반도체 팹리스 스타트업인 파네시아의 초고속 CXL 컨트롤러와 CXL-GPU 프로토타입을 활용해 진행됐다. 기술 실효성을 검증한 결과, 기존 GPU 메모리 확장 기술보다 2.36배 빠르게 AI 서비스를 실행할 수 있는 것으로 나타났다.

정명수 교수는 “CXL-GPU의 시장 개화 시기를 가속해 대규모 AI 서비스를 운영하는 빅테크 기업의 메모리 확장 비용을 낮추는 데 기여할 수 있다”고 말했다.