"누구나 뚝딱 만드는 가짜영상"…선거 악용 우려 커졌다

[이데일리 방성훈 김혜선 기자] 홍콩에서 근무하는 다국적기업의 한 재무 담당 직원은 지난달 초 영국에 거주하는 최고재무책임자(CFO)로부터 거액을 송금해달라는 이메일을 받았다. 처음엔 피싱이라고 의심했지만, CFO 요청에 따라 다른 직원들과 화상회의를 개최하고 난 뒤엔 의심을 거뒀고 15차례에 걸쳐 2억홍콩달러(약 341억 4800만원)를 계좌이체했다. 하지만 그가 회의에서 봤던 임직원들의 영상은 모두 딥페이크였던 것으로 드러났다. 사기 가담자들은 은행 계좌도 딥페이크를 활용한 가짜 신분을 이용해 개설한 것으로 조사됐다.

중국 항저우원광그룹 산하 항저우방송은 지난 10~11일 이틀 동안 저녁 7시 32분(현지시간) ‘항저우 신원롄보’에 남녀 인공지능(AI) 앵커를 출연시켜 메인 뉴스를 방송했다. 원래 뉴스를 진행하던 앵커들은 중국 춘절 연휴 동안 휴가를 떠났으며, 이들을 대신해 AI 앵커인 샤오위가 뉴스를 전달하고 있다. (사진=항저우방송 캡쳐)

생성형 인공지능(AI)이 일상에 깊숙히 침투하면서 딥페이크 오용·악용에 대한 우려가 커지고 있다. 오픈AI와 구글, 메타, 아마존 등 주요 빅테크 기업들은 지난 17일(현지시간) 뮌헨안보회의(MSC)에서 미 대선 등 중요한 선거를 앞두고 유권자를 속이는 AI 생성 콘텐츠에 공동 대응한다는 내용의 합의문을 발표했다.

딥페이크는 AI로 만든 영상이나 이미지, 음성 조작물이다. 뉴스, 드라마, 영화 등에는 기술적인 측면에서 긍정적인 역할을 미치기도 하지만, 기업 대상 이메일 피싱 등과 같은 금융사기나 개인 대상 보이스피싱 등의 범죄에도 널리 악용되고 있다.

특히 올해는 미국 대통령 선거를 비롯해 세계 각국에서 굵직한 선거가 예정돼 있어 더 많은 딥페이크를 보게 될 것이라고 CNN방송은 예측했다. CNBC는 “챗GPT나 다크웹에서 주로 쓰이는 프라우드GPT를 이용하면 기업 손익계산서부터 개인 ID, 가짜 신분, 영향력 인물의 목소리와 표정이 담긴 영상까지 누구나 손쉽게 딥페이크 제작이 가능하다”고 지적했다.

미국 정치권에선 지난해 도널드 트럼프 전 대통령이 자신의 트루스소셜 계정에 CNN의 유명 앵커인 앤더슨 쿠퍼가 조 바이든 대통령을 비난하는 가짜 영상을 올려 논란을 일으킨 바 있다. 올해 들어서도 지난달 뉴햄프셔주 프라이머리(예비경선)를 하루 앞두고 바이든 대통령의 목소리로 민주당 당원들에게 투표 거부를 독려하는 전화가 걸려와 AI를 이용한 선거 정보 조작 우려가 확산했다.

최근엔 유명 여가수인 테일러 스위프트가 바이든 대통령의 재선을 돕기 위한 비밀 요원이라는 음모론이 퍼지고 있는데, 스위프트의 음란 딥페이크가 이미 한 차례 유통된 적이 있는 만큼 음모론과 관련된 딥페이크가 재차 등장할 가능성도 배제할 수 없다는 진단이다.

문제는 딥페이크를 제재하는 일이 쉽지 않다는 점이다. AI가 생성한 콘텐츠에 워터마크 등을 부착하기 위해 미 정부 주도로 표준 라벨 제작이 진행 중이지만, 아직 구체적인 규제는 마련되지 않은 상태다. 이에 따라 기업 또는 업계 차원에서 자발적으로 라벨을 붙이도록 독려하거나 합의하는 수준에 그치고 있다.

우리나라에서도 4·10 총선을 앞두고 중앙선거관리위원회가 ‘허위사실비방 AI 딥페이크 특별대응 모니터링반’을 신설하고 딥페이크 게시물에 대응하고 있지만, 빠르게 진화하는 딥페이크 기술을 따라가는 데 한계가 있다. 중앙선관위 관계자는 “3가지 프로그램으로 딥페이크 게시물을 교차 검증하며 판별하고 있지만 정확히 감별하지 못하는 수준”이라며 “프로그램은 참고만 할 뿐 결국에는 사람의 눈으로 확인할 수밖에 없다”고 설명했다.

기존에 알려진 가짜 이미지, 영상 방식 외에도 생성AI로 댓글 여론조작을 시도하는 등 다양한 방식으로 응용될 여지도 있다. 중앙선관위 관계자는 “선거법 상에서는 딥페이크 영상·이미지만을 규제하고 있어 AI댓글을 저지할 수 있는 방법이 없다. 심각한 사안의 경우 ‘업무방해’로 판단할 수 있어 정상적 여론 형상에 영향을 주는 AI댓글이 발견되면 수사기관에 통보할 예정”이라고 말했다.

다크웹 첩보 수집과 분석을 전문으로 하는 이뮤니웹의 최고경영자(CEO)인 일리아 콜로첸코 박사는 “딥페이크 규제가 유일한 해결책이다. 모든 주요 소셜미디어(SNS) 플랫폼에 AI 콘텐츠 탐지 매커니즘을 추가해 AI가 만들었다는 것을 시각적으로 표시하도록 해야 한다”면서 “줌이나 유사한 플랫폼도 딥페이크 탐지·예방에 역할을 해야 할 것”이라고 강조했다.