클라우데라, 카카오페이에 데이터 플랫폼 성능 강화 협력

클라우데라(한국지사장 최승철)가 카카오페이의 데이터 플랫폼 고도화 및 데이터 분석 환경 최적화를 위한 업무에 협력해 쿼리 성능을 30% 향상시켰다고 밝혔다.

카카오톡을 기반으로 결제·송금부터 대출·투자·보험 등 우리나라에서 가장 많은 거래가 일어나고 있는 생활 금융 플랫폼인 카카오페이는 실시간 데이터, 배치 데이터를 수집하고 처리, 저장, 제공하는 데이터 플랫폼을 구축했다. 이 데이터 플랫폼은 다양한 데이터를 통합하고 원활한 대규모 데이터 분석, 활용으로 사용자에게 더 나은 금융 경험을 제공한다.

카카오페이는 데이터 품질 향상, 데이터 분석 역량 강화, 데이터 기반의 의사결정 촉진, 데이터 보안 강화와 같은 여러 전략 달성을 위해 기존 클라우데라 플랫폼을 최신 버전으로 업그레이드, 마이그레이션해 데이터 관리를 강화했다. 이 과정에서 분석, 실시간 데이터 서비스, 이종 쿼리를 위한 3단계의 클러스터를 구축했으며, 이들은 서로 연동해 원활한 관리와 분석 기능을 제공한다.

또한, 카카오페이는 클라우데라와 협력을 통해 아파치 아이스버그(Iceberg)를 도입했다. 아이스버그는 복잡한 데이터에 대한 대규모 고성능 분석을 위해 설계된 오픈소스 테이블 포맷이다. 아이스버그 도입 이후에는 아파치 임팔라(Impala)를 사용해 아파치 아이스버그 테이블의 데이터를 조회하고 업데이트할 수 있는 기능을 활용했다.

결과적으로 카카오페이는 데이터를 행 단위로 수정, 삭제할 수 있게 됐으며, 아이스버그가 제공하는 스냅샷 기능을 활용해 사용자에 의한 실수로 데이터가 삭제되더라도 과거 스냅샷을 확인해 롤백할 수 있어 데이터를 간편하게 복구할 수 있게 됐다.

윤성환 카카오페이 시니어 데이터 엔지니어는 “아파치 아이스버그 아키텍처는 데이터를 읽어오기 전에 메타데이터를 조회하고 필터링해 쿼리 처리를 위한 데이터 양을 대폭 감소시켰다. 이는 쿼리 성능 향상으로 이어져 사용자로부터 성능이 약 30% 향상됐다는 피드백을 받았다”라며 덧붙여 “오픈소스 데이터 사용에는 어려움이 따른다. 하지만 클라우데라는 사전에 검증된 패킹을 제공해 오픈소스를 활용하며 겪는 어려움을 해결해준다. 클라우데라에 속한 데이터 전문가 또한 문제 상황을 분석해 솔루션, 관련 자료, 테스트 결과를 제공해 많은 도움이 됐다”고 말했다.

최승철 클라우데라코리아 지사장은 “이번 협력은 고객사가 클라우데라를 통해 보다 안전하고 유연한 데이터 플랫폼을 구축하고, 실시간 분석과 규정 준수를 동시에 충족한다는 점을 증명한 사례”라며 “클라우데라는 앞으로도 하이브리드 데이터 플랫폼을 통해 각 산업 선도 기업들의 페인 포인트(Pain Point)를 해결하고 성공적인 기업용 AI 도입을 앞당기기 위해 지원을 아끼지 않을 예정”이라고 말했다.

[KCSCON 2025 개최] 하반기 최대 사이버 보안 컨퍼런스: 보안담당자 초대-7시간 보안교육이수!]

(제13회 KCSCON 2025 / 구 PASCON)

※ Korea Cyber Security Conference 2025

-2025년 9월 16일(화) / 세종대 컨벤션센터 전관-

공공∙기업 정보보안 책임자/실무자 1,200여명 참석!

-2025년 하반기 최대 정보보호 컨퍼런스&전시회-

△주최: 데일리시큐

△후원: 과학기술정보통신부, 한국인터넷진흥원, 한국정보보호산업협회

△일시: 2025년 9월 16일 화요일(오전9시~오후5시)

△장소: 세종대 컨벤션센터 전관

△참석대상: 공공기관·공기업·정부산하기관·금융기관·의료·교육·일반기업

개인정보보호 및 정보보호 담당자, IT담당자 등 1,500여 명