빅데이터 분석엔진 '타조', 새 버전 업데이트..안정성 강화

[이데일리 김관용 기자] 차세대 빅데이터 분석 엔진으로 주목받고 있는 ‘아파치 타조’(Apache Tajo)의 새 버전이 27일(미국시간) 발표됐다.

타조 개발에 주력하고 있는 그루터는 아파치 재단이 데이터 통합 기능과 호환성이 한층 강화된 아파치 타조 버전 0.11.0을 공식 발표했다고 밝혔다.

타조의 새 버전은 다양한 데이터 포맷과 저장소를 지원해 데이터를 더욱 쉽게 통합하고 연계 분석할 수 있도록 한 것이 특징이다.

타조 프로젝트 의장인 그루터 최현식 박사는 “기존 DB 사용자에게 익숙한 테이블 스페이스 개념을 도입하고 JDBC 저장소를 추가해 하둡은 물론 아마존웹서비스(AWS)와 구글 등의 클라우드 저장소, NoSQL, 오라클 등의 기존 관계형 데이터베이스 시스템(RDBMS)에 흩어져 있는 데이터들을 타조로 쉽게 통합할 수 있게 됐다”고 설명했다.

반정형 또는 비정형 데이터를 유연하게 처리할 수 있는 기능도 강화됐다. 타조는 웹 데이터 전송과 로그 저장에 널리 쓰이는 JSON 형식의 원본 데이터를 별도의 변환 작업 없이 바로 SQL로 분석할 수 있다.

새 버전에서는 중첩 구조로 이뤄진 복잡한 데이터 포맷을 지원하고 테이블 구조(스키마)를 미리 정의하지 않고도 질의 실행 시점에 자유롭게 지정할 수 있다. 데이터 관리와 분석이 한층 쉬워진 것이다.

아파치 재단에 따르면 인기 MMORPG 게임인 테라(TERA)를 개발한 블루홀스튜디오는 JSON 파일을 변환없이 그대로 분석할 수 있는 장점 덕분에 타조를 쉽게 도입할 있었다. 특히 분석가들이 새로운 프로그램 언어를 배울 필요 없이 SQL만으로 빅데이터를 쉽게 분석하고 있다.

또한 ORC 파일 형식 지원이 추가돼 다른 빅데이터 분석 솔루션과의 연계도 더욱 쉬워졌다. ORC 파일 형식을 많이 이용하던 기존 하이브(Hive) 사용자들은 기존 데이터 그대로 타조를 이용해 3배 이상의 성능 향상을 얻을 수 있다.

기존 엔터프라이즈 데이터웨어하우스(DW) 사용자들이 기존 시스템을 확장하거나 보완하기 위해 표준 SQL을 지원하는 타조를 도입하는 사례도 늘고 있다. 뮤직 서비스 멜론은 하이브로 하던 기존 분석 작업들을 타조로 전환해 1.5배~수십 배의 성능 향상을 체감했다. 이후 엔터프라이즈 DW시스템인 IBM 네티자(Netezza)에서 했던 분석 작업에도 타조를 도입해 비용 효율적인 DW 시스템을 운영하고 있다.

권영길 그루터 대표는 “타조는 이미 다양한 프로덕션 환경에서 안정적인 성능을 보장하고 있어 기술 성숙도 측면에서 엔터프라이즈 솔루션으로 성장했다”면서 “이번 0.11.0 업데이트를 계기로 타조의 엔터프라이즈 적용이 더욱 탄력을 받을 것”이라고 말했다.

타조 0.11.0 버전은 아파치 타조 사이트(http://tajo.apache.org)에서 다운로드할 수 있다.