플루티스트 연주 듣고 0.3초만에 반응..인간과 AI 듀엣

[이데일리 강민구 기자] “클래식의 본고장인 이탈리아도 클래식 소비층이 노인들이 대부분입니다. 그런데 AI(인공지능)와 연주가 결합되면 젊은 세대들에게 다가가고, 공연을 더 다양하게 즐길 수 있습니다.”

남주한 KAIST 교수(문화기술대학원 조수미 공연예술 연구센터장)은 지난 4일 이데일리와의 인터뷰에서 AI 음악 공연의 필요성에 대해 설명했다. 남 교수는 AI와 음악을 융복합한 연구를 해온 인물이다. 지난 10월 야외 특별 무대에서 열린 ‘대전예술의전당 개관 20주년 기념식’에서는 세계적인 플루티스트 최나경과 AI피아니스트의 합주로 ‘시네마 천국’ 협연을 이끌어 눈길을 끌었다.

남주한 KAIST 문화기술대학원 조수미 공연예술 연구센터장.(사진=KAIST)

플루티스트의 연주 동작에 AI 피아노가 신호등처럼 빛을 표시하며 소통하면서 반응해 연주하면서 공연은 성황리에 끝났다. 야외 특별 무대였음에도 전문가가 보조적 수단으로 AI를 쓸 수 있다는 사실을 입증했다.

남 교수는 무대 연주에서 피아노가 AI 연주를 대표하는 상징물처럼 사용되고 있는데 첨단 과학기술의 집합체라는 점에서 몸은 피아노, 뇌는 AI라고 할 수 있다고 했다. 그는 “자동으로 데이터를 제어해 건반을 치도록 움직이게 하고, 스피커를 통해 소리를 내게 한다”며 “이러한 점에서 실제 로봇을 만들어서 연주하는 시도도 있다”고 설명했다.

AI피아노는 실시간으로 딥러닝 알고리즘과 연결돼 음표를 인식하고, 스스로 악보를 추적한다. 연주자의 움직임과 소리에 반응해 정확한 시간에 함께 연주하는 것이 특징이다. 0.3초 정도의 빠른 반응 속도를 가질 뿐 아니라 음악의 흐름을 예측해 미리 변주에 대응하거나 실시간 시각화를 할 수 있다.

플루티스트 최나경과 AI피아노가 협연을 하고 있다.(사진=대전예술의전당)

여전히 기술적인 어려움은 있다. AI 피아노를 별도로 써야 한다. 또 사람과 AI피아노가 ‘큐(Cue) 사인’처럼 서로 호흡하고 합을 맞추는 게 무엇보다 어렵다. 연주자마다 템포(흐름)를 자신의 특성에 맞춰 변화를 주기 때문에 사전에 연주자와 리허설을 한다. 이른바 ‘튜닝(조정)’ 작업도 필요하다. AI피아노가 페르마타(늘임표)라는 부분을 인식해 특정 음정이 나와야 넘어간다는 걸 알아야 하고, 마이크를 이용해 소리를 받아들여 이를 구분해 대응할 수 있어야 한다.

이 밖에 레이싱 자동차가 경주장을 돌면서 바퀴를 갈아 끼우는 것처럼, 곡에 맞춰 계획된 부분들을 맞춰 연주해야 한다. 그래서 많은 곡들을 듣고 반응한다기 보다는 아직은 레퍼토리에 맞춰 이를 최적화하는 방식이다.

남 교수는 “곡에서도 빨리 연주해야 하는 부분이 있고 설정도 달라야 한다”며 “아직은 레이싱카에서 자동차가 멈췄을 때 타이어를 바꿔주는 것처럼 공연에 맞춰 인식 속도를 맞춘 다음, 공연자와 리허설을 하면서 연주자에 맞게 튜닝하고 있다”고 설명했다.

이러한 어려움에도 AI와의 협연은 발전을 거듭하고 있다. 남 교수 팀 같은 경우에는 AI모델에 연주데이터를 100시간 이상 학습시켰다. 인간과의 상호작용 관점에서 카메라를 이용한 사람 행동 정보 수집 등이 더해지며 발전을 거듭하고 있다. 남 교수는 궁극적으로는 누가 하더라도 맞춰 반응해주는 연주, 다양한 곡도 표현 가능한 형태로 진화할 것으로 내다봤다. 미래에는 AI 오케스트라단이 만드는 협주도 꿈이 아니라는 설명이다.

남 교수는 “AI가 만드는 공연은 청중에게 신선하게 다가오는 측면이 있다”면서도 “기존 공연 유형을 다 바꾸기보다는 스펙트럼이 다양해진다는 면에서 긍정적”이라고 했다.

이어 “결국 사람과 대화하는 것처럼 AI와 의사소통이 돼야 하고, 서로 조율하는 작업이 자연스럽게 구현되도록 해야 한다”며 “(AI와 사람의 소통은) 공연뿐 아니라 교육 시장에서도 영향력이 클 것으로 보인다. 우리 삶에서 음악 공연을 즐길 기회를 더 많이 느릴 것 같다”고 기대했다.