서강대 정다샘 교수 연구팀, ISMIR 2024 ‘Best Paper Award’ 수상

[이데일리 김현아 기자] 서강대학교 아트&테크놀로지학과 정다샘 교수 연구팀이 영국 King’s College London의 Mark Gotham 교수와 공동으로 진행한 연구가 음악 인공지능 분야의 최고 권위 학술대회인 International Society for Music Information Retrieval Conference 2024(ISMIR 2024)에서 Best Paper Award를 수상했다.

연구팀은 이번 수상을 통해 국내 연구의 우수성을 입증하고, 인공지능을 활용한 전통 한국 음악 연구를 세계 무대에 알렸다.

서강대 정다샘 교수 연구팀,(좌측 상단 부터) 아트&테크놀로지학과 정다샘교수, 한단비내린 석사, 인공지능학과 김동민 석사과정생, 컴퓨터공학과 박한나 학사, 대학원 인공지능학과 이시훈 석사과정생. 사진=서강대

연구 내용 및 배경

ISMIR 2024는 세계적으로 권위 있는 음악정보학 및 음악인공지능 분야의 국제 학술대회로, 구글 스칼라 기준으로 Music/Musicology 분야에서 높은 영향력을 자랑한다.

이번 학술대회는 11월 10일부터 14일까지 샌프란시스코의 Hyatt Regency에서 열렸다.

정다샘 교수 연구팀은 논문 “Six Dragons Fly Again: Reviving 15th-Century Korean Court Music with Transformers and Novel Encoding”을 발표했다.

이 연구에서는 15세기 세종대왕이 작곡한 치화평과 취풍형을 딥러닝을 통해 여섯 개의 악기로 연주 가능한 현대의 정악 정간보로 재생성하는 방법을 제시했다. 해당 작품은 현재 악보만 전해져오는 상태로, 연구팀은 이를 현대 음악 환경에서 재생할 수 있도록 재구성했다.

연구 방법

연구팀은 국립국악원의 정악 정간보를 자동으로 인식할 수 있는 광학음악인식 기술을 개발하여 정악 정간보 데이터셋을 구축했다.

또한, 정간보를 효율적으로 활용할 수 있는 인코딩 방식을 고안하고, 이를 바탕으로 트랜스포머 기반 언어 모델을 사용해 15세기 음악의 선율을 현대에서 연주 가능한 형태로 재생성했다. 최종적으로, 재생성된 선율을 바탕으로 현행 정악 편성을 위한 연주보도 완성되었다.

연구팀은 이 모델을 일반 사용자들이 쉽게 활용할 수 있도록 인터랙티브 웹 데모를 구현해 공개했으며, 이 결과물은 5월 14일 경복궁 수정전에서 열린 “세종대왕 나신 날” 627돌 기념 행사에서 실제 연주로 선보였다.

연구 의의

이 연구는 정간보 형식을 그대로 활용한 인코딩 방식을 처음으로 제안하고, 이를 광학음악인식 기술을 통해 데이터셋으로 구축해 공개한 점에서 큰 의의를 지닌다.

또한, 한국 전통음악을 비서구권 음악으로 적절하게 다루면서 음악 인공지능 분야의 새로운 가능성을 열었다는 평가를 받았다.

ISMIR 2024 프로그램 위원회는 이 연구를 높은 수준의 음악 인공지능 기법 활용과 뛰어난 음악 작품 완성도로 높이 평가하여, Best Paper Award 세 편 중 하나로 선정했다.

국내 연구팀이 ISMIR에서 Best Paper Award를 수상한 것은 이번이 처음이며, 이는 국내 연구의 뛰어난 역량을 국제 학계에 알리고, 인공지능을 통한 국악 적용 사례를 세계에 소개하는 중요한 기회가 됐다는 평가다.