온디바이스AI, 한국 기업에 기회…"sLLM·NPU 주목해야"

[이데일리 임유경 기자] 온라인 연결 여부와 관계없이 신속하게 인공지능(AI) 기술을 사용하고, 개인정보 침해 우려가 없는 온디바이스 AI를 구현하기 위해 ‘경량 거대언어모델(sLLM)’과 ‘신경망처리장치(NPU)’가 주목받고 있다. 국내 전문기업들도 빅테크가 주도하는 클라우드 기반 초거대 AI 분야보다 성장 기회가 더 큰 온디바이스 AI 시장에 적극 뛰어들 필요가 있다는 조언이 나온다.

[이데일리 김정훈 기자]

폰·PC에서 생성형 AI 작동...모델 경량화 기술이 핵심

온디바이스AI의 등장은 챗GPT에서 경험한 생성형 AI까지 지원해준다는 점에서 완전히 새로운 경험을 제공한다. 이는 생성형 AI의 기반이 되는 ‘거대언어모델(LLM)’을 폰이나 PC에서도 구동할 수 있을 정도로 경량화한 sLLM의 등장으로 가능해진 것이다.

sLLM은 온디바이스 AI를 가능케한 핵심 요인으로 꼽힌다. sLLM은 생성형 AI의 기반이 되는 ‘거대 언어 모델(LLM)을 폰이나 PC에서도 구동할 수 있을 만큼 경량화한 것이다. 구글은 최근 새로운 sLLM 젬마를 매개변수 20억개, 70억개 두 가지 버전으로 공개했다. 메타도 매개변수 규모에 따라 세 가지(70억개, 130억개, 700억개) 종류의 sLLM을 선보였다. 이는 매개변수가 1조7000억개에 달하는 챗GPT-4 대비 모델 크기를 58~98% 수준까지 줄여, 하드웨어 제한이 큰 스마트폰이나 PC에서도 구동할 수 있게 했다는 의미다.

국내 AI 모델 개발사 중엔 업스테이지가 온디바이스 AI 시장에 적극적이다. 업스테이지는 최근 매개변수가 약 11억개인 sLLM 솔라를 공개했다. 솔라는 지난해 12월 오픈LLM 리더보드에서 알리바바, 미스트랄AI 등 빅테크 모델을 제치고 1위를 차지하며 작지만 강력한 성능을 뽐냈다.

업스테이지는 LG전자(066570)와 LG 노트북 ‘그램’에 솔라 탑재를 추진 중이다. 온디바이스 AI로 사용자의 음성 명령을 인식하고 문서나 웹페이지를 번역, 요약하거나 검색 및 추천하는 등의 서비스가 가능해질 것으로 기대된다. 국내 오피스 SW업체 폴라리스오피스와 협력해 온디바이스 AI 오피스 솔루션도 개발 중이다.

최홍준 업스테이지 부사장은 “온디바이스 AI는 사용자가 별도의 조작 없이도 기술과 상호작용할 수 있는 앰비언트 컴퓨팅 환경의 핵심”이라며 “특히 대중의 신뢰도가 높은 제품에 온디바이스 AI를 탑재해 스마트 오피스 구현을 가속화함으로써 궁극적으로 ‘업무 인공범용지능’이 구현될 것으로 본다“고 말했다.

AI 연산에 특화된 고성능 NPU 등장 주목

하드웨어 측면에선 AI 연산에 최적화된 프로세서인 NPU가 온디바이스 AI 구현을 위한 필수 요건이다. 이미 2000년대 중후반부터 NPU를 탑재한 AP(애플리케이션 프로세서)가 있었지만, 최근 1초에 30조번(30 TOPS) 이상 연산할 수 있는 고성능 NPU 가 등장하면서 sLLM까지 스마트폰에서 구동 가능해졌다. PC 영역에선 인텔과 AMD가 각각 첫 NPU 지원 프로세서인 ’코어 울트라‘와 ’라이젠 8000G‘를 선보이면서 AI PC 시대가 열렸다.

국내 기업들도 새롭게 부상한 NPU 시장에 적극 뛰어들었다. 삼성전자는 2016년부터 엑시노스 NPU 개발을 시작했을 만큼, 빠르게 이 분야에 투자를 집중해 왔다. 삼성 이외에도 국내 엣지용 NPU 팹리스 업체들인 오픈엣지, 딥엑스, 모빌린트 등이 PC·가전·자동차·로봇·CCTV 등 다양한 시장을 타깃한 NPU를 개발 중이다.

정부도 국내 기업들이 AI 반도체 기반 온디바이스 AI 시장을 선점하도록 돕기 위한 정책을 마련 중이다. 과학기술정보통신부는 지난달 발표한 ‘2024년 주요 정책 추진 계획’에 ‘온디바이스 AI 활성화 전략’을 마련한다는 내용을 포함했다.

국내기업들이 협업해 온디바이스 AI 시장에서 기회를 잡아야 한다는 목소리도 나온다. 이영기 서울대 컴퓨터공학과 교수는 “모바일, PC, 가전 등 하드웨어에 강점이 있는 대기업과 AI 모델 및 반도체 전문 기업들이 협력하면 우리나라가 온디바이스 AI 분야를 선도할 기회를 잡을 수 있을 것”이라며 “특히 NPU에선 매개변수 크기를 줄이는 기법인 양자화(실수형 변수를 정수형 변수로 변환하는 과정)를 거친 AI 모델만 돌아갈 수 있기 때문에 팹리스 기업과 AI 모델 개발사 간 상호 협업할 부분이 많이 있다”고 강조했다.