삼성, 갤S24에 초거대AI 어떻게 넣었나…"4비트 압축이 기술력"

[마운틴뷰(미국)=이데일리 임유경 기자] “삼성전자(005930)는 자체 초거대언어모델(LLM) 가우스를 온디바이스(기기 내부)에 압축해 넣기 위해 굉장히 많은 연구를 했습니다. 최종적으로 파라미터(매개변수)를 4비트까지 줄여 경량화하면서도 성능은 떨어지지 않는 온디바이스 인공지능(AI)을 만들어냈습니다.”

김영집 삼성전자 모바일경험(MX)사업부 언어AI 팀장(부사장)은 18일(현지시간) 미국 캘리포니아주 마운틴뷰 위치한 삼성리서치아메리카(SRA)에서 열린 국내 기자 간담회를 통해 갤럭시S24에 탑재된 온디바이스AI 기술력을 소개하며 이같이 말했다.

김영집 부사장이 18일 미국 실리콘밸리 삼성리서치아메리카에서 열린 국내 기자 간담회에서 삼성전자의 온디바이스AI 기술력을 소개하고 있다.(사진=삼성전자)

온디바이스AI는 스마트폰 내부에서 연산이 바로 이뤄지는 AI다. 클라우드AI와 달리 사용자의 데이터를 기기 밖으로 노출할 필요가 없고, 인터넷이 연결돼 있지 않은 환경에서도 쓸 수 있다. 이런 장점에도 기술적 난이도가 높아 실제 구현된 사례는 극히 드물다. 삼성전자가 갤럭시S24를 ‘진정한 의미의 AI폰’이라고 소개하는 이유이다. 갤럭시S24는 온디바이스AI를 통해 13개 언어로 실시간 통화 통역, 메시지 번역, 녹음 파일 텍스트 변환 등의 AI 기능을 제공한다.

온디바이스AI 구현의 핵심은 경량화와 정확도 두 마리 토끼를 모두 잡는 것이다. 김 부사장은 “클라우드 상에서 설계·구현·학습한 강력한 성능의 AI 모델이 스마트폰 속 신경망처리장치(NPU)에서 작동하도록 압축하고 또 압축하는 과정이 필요하다”고 했다. 이어 “작은 메모리에서 동작하도록 파라미터 크기를 줄이는 ‘양자화’ 과정을 거쳐야 한다”며 “가우스 클라우드 버전은 파라미터 저장을 위해 (완전정밀도 타입인) 32비트를 사용하는데, 온디바이스 버전은 이를 4비트까지 낮췄다”고 설명했다. 양자화는 모델 크기를 위해 많이 쓰이는 기법이지만 보통 8비트로 변경하는 경우가 많다. 파라미터를 4비트로 낮추면서 정확도를 유지한 건 삼성전자의 AI 기술력을 단편적으로 보여준다고 할 수 있다.

실제 외부에서 예상하고 있는 것 이상으로 삼성전자가 AI 개발에 투입한 시간과 인력이 상당하다는 게 김 부사장의 설명이다. 그는 “삼성전자는 작년 챗GPT 열풍이 불기 훨씬 전부터 자체 LLM 개발을 시작했고 기업 비밀이라 밝히기 어렵지만, 한국과 해외 여러 지역에 상상 이상으로 많은 AI 인력이 있다”고 강조했다.

삼성전자는 온디바이스AI에 대한 업그레이드를 주기적으로 진행해 기능을 고도화할 계획이다. 김 부사장은 “온디바이스AI라고 한 번 출시 후 정체되는 게 아니다”며 “운영체제(OS) 업데이트와 별개로 모델 자체를 주기적으로 업데이트해 최신 기능을 사용할 수 있게 지원할 것”이라고 했다. 또 “추가 학습한 최신 모델은 크기가 늘어나는 것 아니냐고 우려할 수도 있는데, 학습을 통해 지식이 늘어나도 모델 크기가 커지는 건 아니다”며 “사람이 읽은 책을 머릿속에 지식화해서 가지고 있지 책을 모두 들고 다니진 않는 것과 같은 이치”라고 설명했다.

향후 온디바이스AI가 사용자 개개인의 이용 패턴을 학습하고 맞춤형으로 동작하는 시대도 열릴 전망이다. 지금도 기술적으로 불가능하진 않지만, 프라이버시(사생활) 보호를 위한 가이드 마련 등 이용자 보호 정책과 기술을 보다 정교하게 만들어야 한다는 과제가 있다. 김 부사장은 “내가 사용하는 기기와 애플리케이션이 나를 이해하면서 나만을 위한 동작을 하게 될 것”이라며 “적정한 시점에 가이드라인이 확정되면 구현할 것”이라고 했다.