가짜 뉴스·딥페이크 영상 기승…AI 부작용, 어느정도길래

[이데일리 김정유 기자] 리셴룽 싱가포르 총리가 관영 중국국제텔레비전(CGTN) 방송에서 뜬금없이 한 투자 플랫폼을 홍보하기 시작한다. 싱가포르 정부가 승인한 플랫폼이라며 “일론 머스크가 설계한 혁신적 투자 플랫폼”이라고 거듭 칭찬한다. 동시에 플랫폼에 바로 등록할 수 있는 링크를 클릭하라고 재촉한다.

이는 지난 3월 실제 싱가포르에서 리셴룽 총리와 CGTN이 인터뷰한 방송을 인공지능(AI) 딥페이크 기술로 조작한 영상이다. 리셴룽 총리는 지난달 29일 자신의 페이스북에 해당 AI 딥페이크(딥러닝 합성) 영상을 올리며 “사기꾼들이 AI 기술을 사용해 우리의 목소리와 이미지를 모방한다. 투자 수익 보장 등의 사기 영상을 보면 응답하지 말라”고 경고했다.

리셴룽 싱가포르 총리 페이스북. 지난달 29일 자신을 다룬 딥페이크 영상을 공유했다. (사진=리셴룽 총리 페이스북 캡쳐)

[이데일리 김일환 기자]

◇AI 가짜뉴스 7개월만에 10배 급증

일상에 편리함을 가져다 준 AI 기술이 최근 가짜뉴스, 저작권 분쟁 등 또 다른 위협으로 다가오고 있다. 업계에선 전체 AI 산업 생태계 활성화를 위해 개방적인 가이드라인을 제시하되 선거와 같은 민감한 분야에 한해 시급히 강도 높은 규제를 적용해야 한다는 의견이 나온다.

3일 미국 허위정보 추적사이트 ‘뉴스가드’에 따르면 AI가 생성한 가짜뉴스 사이트는 지난 5월 49개에서 12월 기준 614개로 급증했다. 불과 7개월 만에 10배 이상 늘어난 셈이다. 뉴스가드가 정의한 AI 가짜뉴스는 콘텐츠의 상당 부분이 AI로 제작됐다는 분명한 증거가 있어야 하며, AI가 콘텐츠를 제작했다는 사실도 명확히 공개하지 않은 것들이다.

AI를 활용한 가짜뉴스는 특히 딥페이크 이미지·영상의 파급력이 크다. 지난해 미국 국방부 청사 폭발 사진, 트럼프 전 대통령 체포 사진, 일본 기시다 총리의 악담 영상 등이 대표적으로 알려진 사례다. 국내에서도 최근 배우 조인성, 송혜교 씨와 ‘배터리 아저씨’ 박순혁 작가가 AI 딥페이크 영상으로 등장하는 투자사기 유튜브 광고가 문제가 됐다.

저작권 문제도 웹툰, 뉴스 등 콘텐츠 분야에서 분쟁이 시작되고 있다. 한국신문협회는 지난달 28일 공정거래위원회에 네이버의 생성 AI ‘하이퍼클로바X’가 뉴스 콘텐츠를 AI 학습에 사용하는 것이 부당하다며 시정을 요구하는 의견서를 제출했다. 앞서 지난 6월엔 웹툰작가 노동조합 등 9개 창작자 단체가 성명을 내고 “정부가 AI 산업 육성책을 내면서 저작권 보호 방안은 마련하지 않았다”며 공개적으로 비판하기도 했다.

지난해 새만금 전북도민 대토론회에 등장한 당시 윤석열 국민의힘 대선후보의 AI 영상. (사진=뉴스1)

[이데일리 김일환 기자]

◇선거철 앞두고 가짜뉴스 대응 분주, 저작권 분쟁 논의도 시작

올해는 특히 총선 등을 앞두고 있는 만큼 선거 분야에서 AI 가짜뉴스가 기승을 부릴 것으로 예상된다. 이에 정치권도 부랴부랴 대응하고 있다. 지난달 28일 정당법 개정안이 공포되면서 선거일 90일 전부터 딥페이크 활용 선거운동이 금지(1월11일 시행)된 것이 대표적이다. 중앙선거관리위원회도 법 시행과 맞춰 AI 가짜뉴스 대응을 강화하기로 했다.

선관위 관계자는 “지난해 7월부터 ‘허위사실공표·비방특별대응’팀 내 AI 가짜뉴스 대응반을 운영 중으로 정당법 개정안 시행과 맞춰 대응반을 확대 편성하는 것을 계획하고 있다”며 “외부에서 AI 전문가를 위촉하는 방안도 검토 중”이라고 말했다.

기술적인 대안으로는 AI 콘텐츠 대상으로 워터마크 부착을 의무화하는 방안이 논의되고 있다. 워터마크란 저작권 보호를 위해 디지털 상태의 동영상·그림·텍스트·음악 파일 등에 보이지 않게 삽입된 마크다.

조 바이든 미국 대통령이 서명한 AI 위험 예방 행정 명령(Executive Order)에도 AI가 생성한 콘텐츠의 워터마크 표시 및 탐지가 표준으로 적시돼 있지만, 법이 아닌 기업들의 자발적 동참을 요구하는 형태다.

업계에선 AI 생성 과정에 필요한 프롬프트(AI 지시어) 제한을 강화하는 방법도 고민 중이다. AI기업 솔트룩스(304100)의 이경일 대표는 “특정인물에 대한 비방, 콘텐츠의 모방성, 정치성 등 일부 민감한 요소가 있는 프롬프트가 입력되면 자체적으로 AI 생성을 방지하는 학습을 업체들도 하고 있다”며 “아직 완벽히 막긴 힘들지만 업계에선 기술적 보완을 통해 의도적인 부정적 프롬프트를 제한하는 노력을 지속할 것으로 보인다”고 설명했다.

AI 저작권 문제는 최근 문화체육관광부가 가이드 라인을 공개하며 논의의 시작을 알렸다. AI 콘텐츠의 저작권 등록을 금지하고 학습데이터에 대한 권한 확보를 권고하는 등의 골자다. 정부가 AI 저작권에 대한 지침을 처음 내놨다는 점에서 의미가 있지만 업계에선 “학습데이터 권한을 일일이 다 확보해야 하는 건지 의문스러운 문구가 있다. 자칫 국내 AI 산업 경쟁을 뒤처지게 할 수 있다”고 비판하는 목소리도 나온다.

이에 문체부 관계자는 “업계, 학계와 워킹그룹을 구성해 도출해 낸 첫 내용이고 우선 현 저작권법내에서 AI 저작권 관련 우려되는 부분을 먼저 정리하자는 차원”이라며 “향후 지속적으로 워킹그룹을 통해 사례를 찾고, 이를 통해 법 개정 등도 고민해 나갈 것이니 지켜봐 달라”고 말했다.

유인촌 문화체육관광부 장관(가운데)이 지난달 27일 오전 서울 서대문구 모두예술극장에서 열린 ‘저작권 강국 실현 4대 전략’ 브리핑을 열고 AI 저작권 가이드라인 등을 발표했다. (사진=연합뉴스)

선거 관련 가짜뉴스 엄격히 규제해야

전문가들은 이 같은 AI 기술의 위협을 분야별로 속도를 달리해 논의해야 한다고 말한다. 최경진 가천대 법학과 교수(한국인공지능법학회장)는 “특히 선거 같은 정치활동에 영향을 주는 AI 가짜뉴스에 대해선 일반법으로 규율할 게 아니라 공직선거법 등 선거 관련 법에서 엄격하게 다뤄야 한다”며 “선관위가 권한 내에서 명확한 기준을 제시할 수 있는 거면 가이드라인으로 만들되, 이게 불가하다면 별도 법을 만들어야 한다”고 말했다.

이어 “선거 관련 AI 딥페이크는 빠르게 대응해야 하겠지만 반대로 저작권 이슈는 일자리와도 연관된 문제인만큼 다양성과 특수성을 고려해 차분히 장기간 논의해야한다”며 “AI는 모든 분야 적용될 수 있는만큼 위험성이나 영향력의 정도가 다 다르다. 이를 일반화시켜 하나의 기준으로 처리하면 안 되니 많은 사람들을 참여시켜 논의 시간을 다소 답답하더라도 길게 가져가는 것이 필요하다”고 덧붙였다.