신재홍 카카오뱅크 최고기술책임자(CTO)는 24일 경기도 용인 카카오 AI캠퍼스에서 열린 ‘이프카카오(ifkakao) 2024’ 개발자 컨퍼런스에서 “얼마 전까지만 해도 LLM을 사용하기 어려웠으나 8월 금융당국에서 ‘망분리 개선 로드맵’을 발표했고 발표 이후 샌드박스를 이용해 혁신서비스로 지정받게 되면 LLM을 이용할 수 있게 된다”며 “혁신서비스에 지정되기를 기다리고 있는 상황”이라고 밝혔다. 은행들은 LLM을 내부 서버에 설치하는 온프레미스(On-Premise) 방식만 허용됐었다.
|
AI인프라 부문에선 DGXH100과 같은 초고전력 그래픽처리장치(GPU) 등을 도입하고 별도의 AI 전용 데이터 센터를 마련했다. 또 엠엘옵스(MLOps·머신러닝 모델 개발부터 배포, 운영 및 관리를 자동화하고 효율적으로 운영하는 프로세스) 체계를 구축해 데이터 추출부터 모델의 지속적인 훈련까지 AI모델의 생애 전체 주기를 자동화해 관리한다. AI디비전 관련 올해 카카오뱅크는 AI사업과 기술을 총괄하는 AI실을 출범했다. 금융회사 최초로 AI경영시스템 국제표준을 취득하고 AI거버넌스에 대한 투명하고 안정적인 체계를 마련했다.
AI프로덕트와 관련해선 ‘GEN AI를 위한 가드레일을 도입해 관련 레드팀(Red team·모의해킹팀)을 구성, AI품질 검증을 하고 있다. 신 CTO는 “GEN AI 가드레일은 AI서비스를 보호하기 위한 기술적 장치”라며 “부적절한 콘텐츠가 LLM모델에 도달하는 것을 원천적으로 방지하고, LLM이 잘못된 대답을 하는 것을 차단하는 기술”이라고 설명했다.
또 카카오페이는 다양한 영역에서 신뢰할 수 있는 금융 전문 AI를 구축하고 있다. 김 CTO는 “사용자가 보험 진단을 요청하면 해당 요청을 분석하고 최적의 전문가를 선택해 높은 정확도의 문제를 해결하는 방식”이라고 밝혔다. 카카오페이는 금융비서 서비스의 첫 단계로 보험 진단 서비스를 출시할 예정이다. 사용자의 건강 데이터를 기반으로 질병을 예측하고 이에 맞는 건강 관리는 물론 사용자에게 가장 적합한 보험을 추천한다. 김 CTO는 “카카오페이의 금융서비스는 보험 치매 서비스를 시작으로 금융 전문가 서비스를 부동산, 투자 등 다양한 분야로 확장해 카카오페이 사용자들에게 신뢰할 수 있는 종합 금융 비서를 제공할 것”이라고 밝혔다.