테크 전문지 디 인포메이션은 22일(현지시간) MMLU(대규모다중작업언어이해)벤치마크를 인용, 라마3의 4050억 매개변수 버전(400B+)이 오픈AI, 구글, 앤트로픽 등 폐쇄형 대형언어모델(LLM) 성능에 견줄만 하다고 전했다.
라마3(400B+)는 MMLU 벤치마크에서 구글의 ‘제미나이 프로’(90점), 앤트로픽의 ‘클로드3 오퍼스’(88.2점), 오픈AI의 GPT-4(86.8점)에 이어 84.8점을 기록했다. 아직 토큰 입력창(컨텍스트 창)이 다른 빅테크의 LLM에 비해 너무 짧다는 것은 흠이지만, 메타는 공식 블로그에서 “멀티모달, 다국어 대화, 더 길어진 컨텍스트 창 등 더 강력한 기능을 갖춘 여러 버전의 새로운 라마3 버전을 출시할 것”이라고 밝혔다.
전문가들이 라마3에 주목하는 것은 성능 향상 뿐만이 아니다. LLM에 다른 빅테크들보다 늦게 뛰어든 메타는 오픈소스로 ‘라마’를 풀면서 생태계는 넓혔지만, 돈버는 모델을 찾지는 못했다. 하지만 라마3부터는 달라진 모습을 보이고 있다. 퀄컴과 제휴해 온디바이스AI의 기린아로 부상하고 있는 것이다.
배주호 한국외국어대학교 Global Business & Technology 학부 교수는 “휴대폰에서 LLM기반 서비스를 구동하기 위해서 모델 맞춤형 칩을 디자인하면 전력이나 성능면에서 매우 효율적인 장점을 가질 수 있다” 면서 “퀄컴이 라마3와 호환성을 고려하여 칩을 개발하여 다른회사의 GPU, NPU에 비해 서비스 경쟁력을 가질 것”이라고 예측했다.
그는 “메타 입장에서는 라마에 기반한 온디바이스 개발 플랫폼을 제공하여 생태계를 조성하게 되면 추후 다양한 디바이스 환경에서 라마 LLM기반 서비스가 가능해지므로 AI모델 개발 주도권 및 서비스 수익 부분에서 강점을 가져갈 수 있다는 의미”라고 했다.