다만, 이번 법안에는 지난 21대 국회에서 다뤄지지 않았던 ‘고위험 AI’에 대한 규정이 포함된다. 고위험 AI는 범죄 예방, 수사, 군사 및 정보기관 활용, 감정 인식, 사람의 생명과 안전에 위협을 미칠 수 있는 AI 시스템을 의미한다.
이에 따라 고위험 AI에 대해서는 정부의 확인 절차를 거쳐 필요 시 시스템의 중단 명령이 내려질 수 있으며, 명령을 위반할 경우 기업에 과태료가 부과될 가능성이 커지고 있다.
18일 국회에 따르면, 현재 국회에 제출된 인공지능(AI) 관련 법안은 총 19개이다. 이 중 고위험 AI에 대해 정의하고 처벌 수단까지 명시한 법안은 권칠승, 최민희(더불어민주당), 이해민(조국혁신당) 의원 등이 제안한 것이다. 특히 최민희 의원의 법안은 시민사회단체의 의견을 반영해 유럽연합(EU) 법처럼 금지되는 AI의 범위까지 규정하고 있다. 그러나 급속히 발전하는 기술 속도를 고려해, 사전에 기술 개발을 금지 조항은 다른 법안에는 포함되지 않았다.
이와 관련해 권칠승 의원은 지난 7월 공청회에서 “징역형을 빼는 것이 합리적인지 의견을 주면 소위에서 논의하겠다”고 언급했다. 고위험 AI 규제는 법무팀이 없는 스타트업의 입장을 고려해, 정부가 고위험 여부를 평가하고 가이드라인을 제시한 뒤, 이를 따르지 않으면 과태료를 부과하는 방향이 유력하게 논의되고 있다.
업계, 고위험 AI 규제 기준 명확히 해 달라
IT 업계에서는 고위험 AI에 대한 규정 신설 시 명확한 기준을 설정할 필요성이 제기되고 있다. 업계는 정부가 기업이 요청할 경우 고위험 AI 여부를 판단하고, 안전성 가이드라인을 제공하는 것이 중요하다고 강조하고 있다. 이는 많은 국내 AI 서비스 개발 기업들이 IT 스타트업이나 중소기업으로, 자체적으로 법무팀을 운영하기 어려운 상황이기 때문이다.
국가 CAIO 필요하다
고위험 AI에 대한 과태료 부과 방안에 대해서는 이를 민사소송으로 해결하는 것이 더 바람직하다는 지적도 있다. AI 전문가는 “예를 들어, 구글 제니마이와 같은 사고가 발생하면 우리 정부가 시정명령을 내리고 과태료를 부과하더라도 행정소송이 이어질 가능성이 높다”며, “민사소송으로 처리 범위를 남겨두면 AI 보험업이 활성화될 수 있다”고 설명했다.
이와 함께, 국가 AI 최고책임자(CAIO)의 필요성도 제기되고 있다. AI 전문가는 “현재 국가 AI 위원회는 대통령이 위원장이지만, 부위원장에게 실권이 없어 제대로 기능하지 않는다”며, “트럼프 집권이후 AI 기술 개발 속도가 더 빨라질 글로벌 환경에서 한국이 AI G3가 되려면 예산, 산업 진흥, 윤리, 글로벌 전략을 총괄하는 국가 CAIO가 필요하다”고 제안했다.