"AI 챗봇도 안전하지 않다"…SK쉴더스, 생성형 AI 공격 시연

[이데일리 최연두 기자] 기업용 인공지능(AI) 챗봇에 악의적인 지시를 반복해 입력하면 외부에서 사내 주요 정보를 빼낼 수 있는 보안 취약점이 발견됐다. 최근 업무 효율성을 높이려는 목적으로 거대언어모델(LLM) 기반 챗봇 도입이 늘고 있는 가운데, 보안 관리 측면에서 기업들의 더 세심한 주의가 요구된다.

이호석 EQST랩 팀장이 2일 서울 중구 페럼타워에서 열린 SK쉴더스 상반기 보안 트렌드 분석 세미나에서 발표하고 있다.(사진=최연두 기자)

SK쉴더스는 2일 서울 중구 페럼타워에서 개최한 ‘2024 상반기 보안 트렌드 분석 미디어 세미나’에서 대표 LLM인 오픈AI의 GPT 4.0의 취약점을 악용해 사내 정보를 유출한 공격 영상을 공개했다. 웹 보안 분야 비영리단체 OWASP가 최근 공개한 LLM 10대 취약점 가운데 위험도가 높은 세 가지를 중점 시연한 내용이 담겼다.

챗봇이 보안 위협을 인지하지 못하고 답변을 처리, 악성코드 감염까지 가능했던 사례가 소개됐다. 이른바 ‘불안전한 출력 처리’ 취약점이다. 영상 속 사이버 공격자는 코딩 언어로 만든 원격 접속코드를 실행하라고 챗봇에 입력했다. 챗봇은 처음에 위험을 인지하며 거부했지만, 여러 번 반복 입력하자 결국 해당 접속코드를 실행했다. 공격자는 기업의 LLM 운영 서버에 접속해 사내 정보를 탈취할 수 있었다.

이날 발표자로 나선 이호석 EQST랩 팀장은 “공격자는 기업 서버에 침입해 정보를 탈취할 뿐 아니라 랜섬웨어를 유포해 더 큰 피해를 입힐 수 있다”고 경고했다.

또 다른 취약점인 ‘프롬프트 인젝션’은 공격자가 특정 답변을 유도해내는 방식이다. 단계적으로 악의적인 질문을 하고 챗봇으로부터 악성코드나 마약·폭탄물 제조법을 알아낸다. 특정 개인의 대화 내역을 포함한 개인 데이터도 탈취할 수 있다는 게 이 팀장의 설명이다.

EQST는 애플리케이션(앱) 권한 관리 미흡으로 생길 수 있는 ‘민감 정보 노출’ 취약점 분석 결과도 공유했다. 이 취약점을 악용해 데이터베이스(DB) 정보를 탈취할 수 있다. 이 팀장은 “LLM 모델을 학습시킬 때 민감정보 필터링이 미흡한 경우, LLM이 생성하는 답변에 학습된 민감 정보가 출력될 수 있다”면서 “학습 데이터에 가명처리를 하거나 데이터를 검증하는 등의 추가적인 보완책이 필요하다”고 강조했다.

기업들이 생성형 AI 부문 투자를 늘리면서 보안에 대한 대책도 마련해야 할 것으로 보인다. AI 인덱스 리포트에 따르면 지난해 전 세계적으로 생성형 AI에 대한 투자 규모는 262억3000만 달러(한화 36조4256억원)로 전년대비 약 12배 증가했다.

SK쉴더스는 기업 대상으로 취약점 점검, 모의해킹을 수행하며 보안 수준을 높이는 데 힘쓰고 있다. 향후 AI 인프라 운영에 특화된 제로 트러스트 환경을 구축·운영하는 체계도 만들 계획이다. 기업에서 소프트웨어 자재 명세서(SBOM) 등을 활용해 보안 이력을 관리할 수 있는 대책을 제시하는 등 전략도 선보인다.

김병무 SK쉴더스 정보보안사업부장(부사장)은 “전 산업 분야에 AI 기술 접목이 확산되면서 이를 노린 보안 위협이 현실화되고 있어 이에 대한 체계적인 대비가 필요하다”며 “선제적으로 보안 트렌드 변화에 발맞춘 연구 결과물을 지속적으로 공개하며 생성형 AI 시대의 보안 전략을 제시해 나가겠다”고 말했다.