슈퍼컴 ‘천둥’ 전문가가 모인 ‘모레’, 고성능 한국어 LLM 오픈소스 공개

[이데일리 김현아 기자] AI 인프라 솔루션 기업 모레(MOREH, 대표 조강원)가 1020억 개의 매개변수를 가진 한국어 LLM(거대언어모델) ‘Llama-3-Motif’(이하 ‘Motif’)를 3일 허깅페이스에 오픈소스로 공개했다고 밝혔다.

이번 공개는 국내 대표 IT기업에서도 드문 사례로, ‘Motif’의 오픈소스화는 한국 AI 산업 발전에 중요한 이정표가 될 것으로 기대된다. 모레는 토종 슈퍼컴퓨터 ‘천둥’을 만든 서울대 컴퓨터공학과 출신 조강원 박사가 만든 기업이다.

‘Motif’는 누구나 활용할 수 있도록 소스 코드까지 공개되어, 자국어 기반의 AI 역량 확보와 AI 산업의 지속적인 발전을 도울 예정이다.

모레는 메타가 공개한 LLM ‘Llama’를 시작으로 전 세계 AI 생태계가 빠르게 확장되는 가운데, 고성능 한국어 LLM을 오픈소스로 배포해 한국 AI 생태계 성장에 기여할 계획이다. 또한, 이번 발표를 계기로 AI 모델 사업 본격화를 위한 자회사를 설립할 예정이다.

‘Motif’는 기존 최고 성능을 자랑하는 LLM보다 뛰어난 한국어 성능을 보인다. 한국판 AI 성능 평가 체계인 ‘KMMLU’ 벤치마크에서 ‘Motif’는 64.74점으로, 오픈AI의 GPT-4를 포함한 메타, 구글, 네이버의 LLM을 능가하는 성과를 거뒀다.

‘Motif’는 1020억 개의 매개변수와 1870억 개의 한국어 학습 데이터를 바탕으로 뛰어난 성능을 발휘하며, 국내 특허 및 연구 보고서 등 공개된 전문 분야 문서를 학습 데이터로 활용했다.

또한, 두 가지 버전의 오픈소스 모델을 공개하며, 이는 사전 훈련된 언어모델과 지시사항을 따르는 인스트럭트 모델로 구분된다.

모레는 올해 초, 700억 개의 매개변수를 가진 영어 LLM ‘MoMo-70B’를 선보였으며, 허깅페이스에서 운영하는 ‘오픈 LLM 리더보드’에서 높은 점수를 기록하며 글로벌 1위를 차지했다. 이 성과를 바탕으로 ‘Motif’는 더 복잡한 문장과 유려한 표현을 학습하는 데 중점을 두어 개발됐다.

모레가 단기간에 영문과 국문 LLM 분야에서 세계 1위 수준의 성과를 거둘 수 있었던 비결은 자체 개발한 AI 모델 학습 최적화 플랫폼 ‘MoAI’ 덕분이다.

‘MoAI’는 고도화된 병렬화 처리 기법을 통해 대규모 AI 모델을 효율적으로 개발하고 학습할 수 있도록 돕는다. 또한, 모레의 기술력은 국내에서 슈퍼컴퓨터 분야를 연구한 서울대 매니코어프로그래밍연구단 출신의 연구진들에 의해 지원받고 있다.

2024년 11월 4일 저녁 서울시 서초구 소재 모레 사무실에서 진행된 모레와 텐스토렌트의 업무 협약식. (사진 왼쪽부터 모레 조강원 대표, 텐스토렌트 CEO 짐 켈러) 사진=모레

모레의 조강원 대표는 “우리의 기술을 누구나 활용할 수 있도록 오픈소스로 공개하는 것은 국내 AI 생태계의 발전과 소버린 AI에 기여하는 중요한 단계”라며, “국내 AI 산업 발전을 위한 스타트업과 기업들이 적극적으로 활용하길 바란다”고 말했다.

향후 모레는 고성능 AI 인프라 소프트웨어 기술을 바탕으로 의료, 법률, 금융 등 다양한 전문 분야에 특화된 LLM을 개발하고, 멀티모달형 모델 개발을 목표로 AI 모델 허브를 구축해 나갈 계획이다.

모레는

한편 모레는 AI 반도체 생태계를 대표하는 주요 테크 기업으로, AI 인프라 소프트웨어와 기업용 AI 클라우드 솔루션을 개발하는 회사다. 모레의 솔루션은 엔비디아, AMD 등 다양한 GPU 및 NPU 자원과 완벽하게 호환되며, 독창적인 GPU 가상화 기법을 통해 AI 사업자에게 효율적이고 폭넓은 대안을 제공한다.

모레는 KT(030200)의 AI 클라우드 서비스인 ‘하이퍼스케일 AI컴퓨팅(HAC)’을 통해 100곳 이상의 고객에게 서비스를 제공하고 있으며, 최근 2200만 달러(308억 8580만원)규모의 시리즈B 투자를 유치한 바 있다.