|
온디바이스AI의 등장은 챗GPT에서 경험한 생성형 AI까지 지원해준다는 점에서 완전히 새로운 경험을 제공한다. 이는 생성형 AI의 기반이 되는 ‘거대언어모델(LLM)’을 폰이나 PC에서도 구동할 수 있을 정도로 경량화한 sLLM의 등장으로 가능해진 것이다.
sLLM은 온디바이스 AI를 가능케한 핵심 요인으로 꼽힌다. sLLM은 생성형 AI의 기반이 되는 ‘거대 언어 모델(LLM)을 폰이나 PC에서도 구동할 수 있을 만큼 경량화한 것이다. 구글은 최근 새로운 sLLM 젬마를 매개변수 20억개, 70억개 두 가지 버전으로 공개했다. 메타도 매개변수 규모에 따라 세 가지(70억개, 130억개, 700억개) 종류의 sLLM을 선보였다. 이는 매개변수가 1조7000억개에 달하는 챗GPT-4 대비 모델 크기를 58~98% 수준까지 줄여, 하드웨어 제한이 큰 스마트폰이나 PC에서도 구동할 수 있게 했다는 의미다.
국내 AI 모델 개발사 중엔 업스테이지가 온디바이스 AI 시장에 적극적이다. 업스테이지는 최근 매개변수가 약 11억개인 sLLM 솔라를 공개했다. 솔라는 지난해 12월 오픈LLM 리더보드에서 알리바바, 미스트랄AI 등 빅테크 모델을 제치고 1위를 차지하며 작지만 강력한 성능을 뽐냈다.
최홍준 업스테이지 부사장은 “온디바이스 AI는 사용자가 별도의 조작 없이도 기술과 상호작용할 수 있는 앰비언트 컴퓨팅 환경의 핵심”이라며 “특히 대중의 신뢰도가 높은 제품에 온디바이스 AI를 탑재해 스마트 오피스 구현을 가속화함으로써 궁극적으로 ‘업무 인공범용지능’이 구현될 것으로 본다“고 말했다.
AI 연산에 특화된 고성능 NPU 등장 주목
국내 기업들도 새롭게 부상한 NPU 시장에 적극 뛰어들었다. 삼성전자는 2016년부터 엑시노스 NPU 개발을 시작했을 만큼, 빠르게 이 분야에 투자를 집중해 왔다. 삼성 이외에도 국내 엣지용 NPU 팹리스 업체들인 오픈엣지, 딥엑스, 모빌린트 등이 PC·가전·자동차·로봇·CCTV 등 다양한 시장을 타깃한 NPU를 개발 중이다.
정부도 국내 기업들이 AI 반도체 기반 온디바이스 AI 시장을 선점하도록 돕기 위한 정책을 마련 중이다. 과학기술정보통신부는 지난달 발표한 ‘2024년 주요 정책 추진 계획’에 ‘온디바이스 AI 활성화 전략’을 마련한다는 내용을 포함했다.
국내기업들이 협업해 온디바이스 AI 시장에서 기회를 잡아야 한다는 목소리도 나온다. 이영기 서울대 컴퓨터공학과 교수는 “모바일, PC, 가전 등 하드웨어에 강점이 있는 대기업과 AI 모델 및 반도체 전문 기업들이 협력하면 우리나라가 온디바이스 AI 분야를 선도할 기회를 잡을 수 있을 것”이라며 “특히 NPU에선 매개변수 크기를 줄이는 기법인 양자화(실수형 변수를 정수형 변수로 변환하는 과정)를 거친 AI 모델만 돌아갈 수 있기 때문에 팹리스 기업과 AI 모델 개발사 간 상호 협업할 부분이 많이 있다”고 강조했다.