[ET단상] 추론모델과 금융서비스

최근 거대언어모델(LLM)은 질문에 단순히 답변하는 것을 넘어서 복잡한 추론이 가능한 '추론 모델(reasoning model)'로 발전하고 있다. 작년 9월에 오픈AI는 최초의 상업용 추론 모델인 o1을 공개했고, 같은 해 12월에는 추론 성능이 대폭 향상된 o3를 발표했다. 올해 1월에는 중국 딥시크가 상대적으로 적은 비용으로 오픈AI o1과 추론 성능이 비슷한 R1을 공개해 세계를 놀라게 하기도 했다.

오픈AI의 GPT-4와 같은 기존 LLM은 대학교 수준 지식이 필요한 질문에 대해서 높은 정확도를 답변할 수 있는 놀라운 능력을 보여주었다. 하지만 strawberry라는 단어에서 r의 개수를 세는 것과 같은 간단한 추론 문제 조차 제대로 해결하지 못하는 한계를 보여주기도 했다. 추론 모델은 기존 거대 언어 모델의 이러한 한계를 극복하기 위해 개발된 모델로서, 생각의 사슬(Chain-of-Thought:CoT)이라는 단계적 추론 과정을 통해 추론 문제의 답변을 매우 높은 정확도로 생성할 수 있다.

추론 모델의 추론 성능을 측정하기 위해서 수학과 코딩 문제가 벤치마크로 주로 사용된다. 수학 문제 벤치마크로 주로 사용되는 AIME (American Invitational Mathematics Examination)는 미국 고등학생 수학경시대회 문제다. 오픈AI의 o3는 AIME 2024에서 약 90점을 획득했는데, 경시대회에 참여하는 고등학생들의 평균 점수가 50점이 채 안 되는 것을 고려하면, o3의 문제 해결 능력은 놀라운 수준이다. 코딩 문제 벤치마크로 주로 사용되는 코드포스(Codeforce)는 온라인 코딩경연대회 플랫폼의 문제다. 코드포스에서 o3는 ELO 기준으로 약 2700점을 획득했는데, 이것은 상위 약 1%에 해당하는 점수라고 한다.

이런 놀라운 능력을 보유한 추론 모델은 기존 언어 모델과 상호 보완적으로 사용되어 다양한 분야의 난제를 효과적으로 해결하는 데 기여할 것으로 보인다. 특히 추론 모델은 복잡한 금융 서비스에 효과적으로 활용될 것으로 기대된다.

첫째로, 금융 서비스에는 기본적으로 수치적 추론이 필요한 작업이 많기 때문에, 추론 모델이 효과적으로 적용될 수 있다. 예를 들어, 고객의 자산을 분석하거나, 기업의 재무제표를 분석하는 작업에 추론 모델을 사용하면 높은 효과를 얻을 수 있다. 실제로 JP모건이 개발에 참여한 FinQA라는 금융 전문 벤치마크는 다양한 금융 보고서에 대해서 주식 가격이나 매출액의 증감을 계산하는 것과 같은 질문들을 사용해서 언어 모델의 추론 성능을 측정한다.

둘째로, 최근 금융 서비스에 AI 에이전트가 도입되는 상황에서 추론 모델이 AI 에이전트 성능을 향상시키는 데에 매우 효과적으로 적용될 것으로 예상된다. 추론 모델은 수학과 코딩 능력뿐만 아니라, 계획 및 도구 사용 능력이 우수하기 때문에, 계획과 도구 사용 능력이 중요한 AI 에이전트의 성능을 크게 향상시킬 수 있다.

셋째로, 금융 서비스는 '설명 가능성'을 요구하는 경우가 많은데, 이를 지원하는 것에 추론 모델이 활용될 수 있다. 추론 모델은 기본적으로 생각의 사슬이라는 단계적 추론 과정을 거치기 때문에 이러한 단계적 추론 과정을 설명 가능성의 근거로 이용할 수 있다.

추론 모델은 기존 거대 언어 모델의 한계를 극복하면서 복잡한 문제를 효과적으로 해결할 수 있다는 가능성을 보여주었지만, 장점만 있는 것은 아니다. 추론 모델은 단계적 추론 과정을 거치기 때문에, 기본적으로 응답 속도가 느리고, 상대적으로 더 많은 토큰을 소비하게 된다. 오픈AI의 o1의 경우, 코드 생성 요청을 처리하는 것에 수 분이 걸리기도 한다. 이러한 단점을 해결하기 위해, 현재 다양한 연구개발이 진행되고 있고, 오픈AI의 o4-mini와 같이 성능과 효율성을 모두 갖춘 모델들이 공개될 것으로 예상된다. 앞으로 추론 모델이 본격적으로 도입되어 우리나라 금융산업을 혁신해 나가는 모습을 기대해 본다.

김병집 KB국민은행 금융AI1센터 상무 byoung.kim@kbfg.com