“19금 선정성 고민돼요”…AI콘텐츠 심각성 점수화 MS

[이데일리 김현아 기자]

미국의 여성 인플루언서인 카린 마저리(23)가 GPT-4 응용프로그램으로 만든 AI 음성 챗봇인 ‘카린 AI’. 1분에 1달러(1267원)짜리 음성 챗봇 서비스인데, 출시 첫주에 10만달러(1억 2670만원)가 넘는 매출을 기록했다. 이용자 중 98%는 남성이며, 서비스 이용 대기자가 수천 명 수준으로 전해진다.

우리나라에선 ‘카린AI’ 같은 서비스를 스타트업이 내놓기는 쉽지 않다. 미국보다 보수적이고, 미성년자 인증제도 역시 까다로운 이유에서다. 그런데 마이크로소프트가 생성형AI를 활용한 콘텐츠에 대해 심각성을 점수화해 정책 준수 여부를 쉽게 확인할 수 있는 서비스 ‘애저 AI 콘텐츠 세이프티’를 내놨다.

마이크로소프트가 18일 ‘애저 AI 콘텐츠 세이프티(Azure AI Content Safety)’를 출시, 안전한 온라인 환경과 콘텐츠를 만드는 책임 있는 AI 생태계 확장에 나선다고 밝혔다.

어떤 시스템인데?

지난 5월, 마이크로소프트는 연례 개발자 컨퍼런스 마이크로소프트 빌드(Microsoft Build 2023)를 통해 애저 오픈AI 서비스의 일부로 ‘애저 AI 콘텐츠 세이프티’를 소개한 바 있다.

이번에 공식 출시되는 ‘애저 AI 콘텐츠 세이프티’는 독립적인 실행이 가능한 시스템이다. 오픈AI 모델뿐 아니라 다양한 오픈 소스 모델과 여타 모델에서 생성된 AI 콘텐츠에도 적용할 수 있다.

왜 필요한데?

지난 7월 10일 서울대 인공지능 정책 이니셔티브가 네이버와 함께 주최한 ‘신뢰가능한 초거대AI: 플랫폼과 스타트업간 협력’ 세미나에서 이크림 김선엽 대표는 “AI보조 작가 서비스를 하는데 재미를 추구하니 몇 가지 고민이 있다”면서 “소위 막장 드라마가 인기인데 이를 프롬프트로 입력하면 엔진 자체가 부정적이 될 수 있어 이를 조절할 방법이 고민”이라고 했다.

그러면서 “최근엔 게임 업체와 협업할 기회가 있었는데, 인공지능으로 19금 스토리를 만들어달라는 것이었다”면서 “회사 모토와 달라 거절했으나 선정성에 어디까지 한계를 둬야 할지 고민”이라고 했다.

김 대표뿐 아니라 이날 참석한 스타트업 대표들은 AI윤리가이드라인 준수 여부를 스타트업들이 스스로 테스트해볼 수 있는 진단키트나, 찾아오는 변호사 서비스가 필요하다고 입을 모았다. 또, 스타트업들의 서비스는 규제 샌드박스를 통해 ‘일단 해보도록’ 허용해 달라고도 했다.



AI콘텐츠 세이프티 세부 기능은?

애저 AI 플랫폼에서 제공된다. 고급 언어와 비전 모델을 사용해 증오나 폭력 등 잠재적으로 유해한 콘텐츠를 감지, 이를 심각성 점수로 표시한다.

이를 통해 기업과 조직은 내부 정책에 근거해 유해 콘텐츠를 차단하거나 플래그 표식 등으로 서비스를 맞춤화할 수 있다.

콘텐츠 사용 목적과 사례에 맞춰 세분화된 검수 기준 설정이 가능하다.

예를 들어 게임에 중점을 둔 플랫폼이 학생 교육용 콘텐츠를 제작할 경우 폭력성, 유해성에 대한 언어 표현 수준을 다르게 설정할 수 있다.

글로벌 에너지 기업 쉘(Shell)의 직원들은 자체 개발한 생성 AI 플랫폼 ‘Shell E’을 통해 애플리케이션을 구축하고 배포하는데, 이 과정에서 ‘애저 AI 콘텐츠 세이프티’는 부적절하거나 유해한 콘텐츠를 제한하고 온라인 공개 이전에 관련 정책을 준수하는지 확인한다.

멀티모달 모델 연구 강화

MS는 특히 멀티모달 모델(multimodal model) 관련 지속적인 연구를 통해 불쾌감을 유발할 수 있는 이미지, 텍스트 등의 창작물 감지 기능도 강화할 예정이다.

애저 AI 세이프티에 탑재된 언어 모델(Language models)은 문장의 문맥과 의미에 대한 이해를 바탕으로 다국어 텍스트를 분석하며, 비전 모델(Vision models)은 최첨단 플로렌스(Florence) 기술을 통해 이미지를 분석해 잠재적으로 부적절하거나 유해한 창작물을 감지한다.

에릭 보이드(Eric Boyd) 마이크로소프트 AI 플랫폼 담당 기업 부사장은 “이미 많은 기업들이 생성형 AI의 가치와 역량을 경험하기 시작했다. 이런 상황에서 마이크로소프트는 애저 AI 콘텐츠 세이프티를 통해 더욱 다양한 비즈니스 요구 사항을 가진 고객들에게 보다 안전한 생성형 AI 사용 환경을 지원할 수 있을 것으로 기대한다”라고 밝혔다.

마이크로소프트의 새로운 애저 AI 콘텐츠 세이프티에 대한 보다 자세한 내용은 마이크로소프트 공식 사이트 및 블로그에서 확인 가능하다.