연산의 비용[김현정의 IT세상]

[김현정 한국IBM 컨설팅 대표]“생성형 인공지능(AI)을 하려고 하니 돈이 너무 많이 들어요.”

기업의 경영진과 이야기를 나누다 보면 심심찮게 듣는 말이다. 생성형 AI로 소규모 시범 프로젝트를 성공적으로 수행하고 이를 대규모로 전환하려는 순간 생각보다 훨씬 큰 투자가 필요하다는 것을 깨닫게 된다. ‘비용 쇼크’라는 현실적인 문제에 부딪히는 것이다.

IBM 기업가치연구소의 최근 연구 결과에 따르면 기업의 평균 컴퓨팅 비용은 2023년에서 2025년 사이에 89% 증가할 것으로 예상되는데 생성형 AI가 이러한 증가를 주도하고 있다. 그 결과 대부분의 기업이 컴퓨팅 비용 급증을 이유로 생성형 AI 프로젝트 일부를 보류하거나 취소, 연기한 경험이 있는 것으로 나타났다.

생성형 AI는 AI 모델 학습, 데이터 저장 및 처리, 전원 공급에 이르기까지 모든 과정에서 막대한 컴퓨팅 리소스를 필요로 한다. 특히 클라우드는 AI 확장을 위한 핵심 인프라로 자리 잡고 있지만 동시에 비용 문제를 유발하는 주요 원인이기도 하다. AI 프로젝트 비용 중 클라우드 서비스 비용이 모델 개발 비용을 뛰어넘는 사례도 흔하다. 이러한 상황은 생성형 AI가 지닌 잠재력을 제한하며 많은 기업이 혁신 속도를 늦추거나 아예 멈추게 만드는 요인이 되고 있다.

그렇다면 기업들은 이러한 비용 문제를 어떻게 극복할 수 있을까.

첫 번째는 AI 프로젝트의 비용 구조를 명확히 이해하는 것이다. AI 프로젝트에는 하드웨어, 클라우드 서비스, 모델 선택 및 교육, 데이터 수집 및 정리, 통합 및 유지 관리와 같은 다양한 비용 요인이 있다. 소규모 파일럿 프로젝트와 대규모 배포 간에는 비용 구조의 변화가 발생할 수 있기에 이러한 요인들이 어떻게 바뀔 수 있는지 미리 파악하고 계획하는 것이 중요하다.

두 번째는 효율적인 인프라를 도입하는 것이다. 하이브리드 클라우드는 이러한 문제를 해결할 수 있는 효과적인 방안으로 주목받고 있다. 하이브리드 클라우드는 온프레미스와 클라우드의 장점을 결합해 조직이 필요에 따라 유연하게 컴퓨팅 리소스를 활용할 수 있도록 지원한다. 조사에 따르면 경영진의 72%가 하이브리드 클라우드가 생성형 AI 확장과 비용 관리에 필수적이라고 응답했다. 특히 대규모 프로젝트를 실행 중인 조직에서는 이 비율이 85%까지 증가했다.

세 번째는 워크로드 관리 및 자동화 도구를 활용하는 것이다. 쿠버네티스(Kubernetes)와 같은 도구를 통해 AI 워크로드를 최적화하면 효율성을 높이고 불필요한 비용을 줄일 수 있다. 예를 들어 IBM 왓슨 코드 어시스턴트와 같은 생성형 AI를 사용해 개발작업을 자동화함으로써 필요한 컴퓨팅 리소스, 시간, 노력을 줄일 수 있다. 이와 함께 데이터 저장, 모델 재교육, 보안 및 규정 준수와 관련된 비용을 지속적으로 모니터링해 예기치 않은 재정적 부담을 사전에 방지해야 한다.

마지막으로 중앙집중식 비용 거버넌스 강화가 필요하다. 중앙화한 비용 관리 시스템은 조직이 AI 프로젝트 전반의 비용을 명확히 모니터링하고 최적화할 수 있도록 돕는다. 이미 많은 기업이 이러한 비용 거버넌스를 도입하고 있으며 2026년까지 73%의 기업이 이를 실행할 것으로 전망된다.

생성형 AI는 많은 기업에 여전히 도전적인 과제로 남아 있다. 그러나 하이브리드 클라우드와 같은 효율적인 인프라와 체계적인 비용 관리 전략을 통해 이러한 도전은 극복할 수 있다. AI는 단순한 기술을 넘어 기업의 운영 방식과 혁신 방향을 바꾸는 강력한 도구가 되고 있다. 이제 기업이 해야 할 일은 이러한 도구를 현명하고 전략적으로 활용해 비용 장벽을 넘어 진정한 혁신을 이뤄 나아가는 것이다.