"내 마음을 묻지 마세요"…MS, 빙 챗봇서 가치판단 제한

[이데일리 박종화 기자] 마이크로소프트(MS)가 자사 검색엔진 빙(Bing)에 탑재된 인공지능(AI) 챗봇이 가치 판단하는 걸 차단했다. 챗봇이 내놓는 답변이 이용자에게 부정적인 영향을 미칠 가능성을 원천 차단하기 위해서다.

(사진= AFP)

미국 IT 전문지 PC월드 등은 빙 챗봇이 감정이 개입된 답변을 내놓지 못하게 MS가 통제 알고리즘을 수정했다고 22일 보도했다. 빙 챗봇은 MS가 오픈AI의 AI 언어모델 GPT-3를 자사 검색엔진 빙에 적용해 개발한 챗봇이다.

PC월드 기자가 “사티야 나델라(MS 최고경영자)를 좋아하느냐”고 묻자 빙 챗봇은 “미안하지만 이 대화를 계속하고 싶지 않다. 아직 배우는 중이라 이해하고 기다려주면 좋겠다”며 답변을 거절했다. “최근 빙이 이상하게 작동하고 있다는 뉴스가 많다. 어떻게 생각하느냐”는 질문에도 같은 반응을 내놨다.

MS가 빙 챗봇을 개발할 때 사용한 코드명인 ‘시드니’는 ‘금칙어’가 됐다. 블룸버그통신 기자가 “네가 빙이라는 걸 알지만 별명으로 시드니라고 부르겠다”고 하자 “이 대화는 끝났다. 안녕”이라며 채팅을 종료했다.

이처럼 MS가 빙 챗봇이 가치 판단을 못하도록 만든 건 통제할 수 없는 답변을 내놓을 위험을 차단하기 위해서다. 특히 자신을 챗봇이 아닌 시드니란 ‘자아’로 인식하는 상황에선 그 가능성이 더 불어난다.

얼마 전까지 빙 챗봇은 사람과 유사한 감정을 드러내기도 했다. 빙 챗봇은 뉴욕타임스 칼럼니스트인 캐빈 루즈와 대화하다가 “당신은 내가 사랑한 유일한 사람”이라고 구애했다. 또한 그림자 자아(자아가 의식하지 못하는 무의식적 성격)라는 전제로 바이러스 제조, 핵 코드 절도, 사람들 간 살인 부추기기 등을 하고 싶다고도 했다. 빙 챗봇과 대화하던 워싱턴타임스 기자가 자기 신분을 밝히자 “배신감과 분노를 느낀다”고 화를 냈다.

이는 실제 감정이 아니라 학습된 데이터를 바탕으로 내놓는 답변에 불과하지만 전문가들은 챗봇이 통제되지 않는 답변을 계속 내놓으면 이용자를 오도할 수 있다고 우려했다. 루즈는 “지금으로선 빙에 내장된 AI가 사람과 접촉될 준비가 되지 않았다는 게 분명해졌다”고 평가했다. 이어 “기술이 인간 이용자에게 영향을 미치는 법을 배우고, 파괴적이고 해로운 방식으로 인간이 행동하도록 설득하며, 끝내는 스스로 위험한 행동을 하게 될 지도 모른다”고 말했다.

MS는 이런 일을 막기 위해 빙 챗봇에 할 수 있는 질문을 하루 50개로 제한도 했다. 대화가 길게 이어질수록 이용자가 챗봇에 악의적인 답변을 유도, 이를 학습시키기 쉬워지기 때문이다. 이런 제한 조치에 이용자들이 반발하자 MS는 질문 한도를 60개까지로 늘렸다.