DARPA ‘AI 사이버 챌린지’의 의미, 보안취약점 자동 패치 현실로…현장 적용이 과제

AI 기반 자동화가 대규모 시스템 보안 관리에 보다 효율적일 수 있음을 증명

정확도와 신뢰성 확보, 현장 적용, 규제 대응, 그리고 공격자의 AI 활용에 대한 대비 필요

지난 8월 7일부터 10일까지 라스베이거스에서 열린 DEF CON 33(데프콘 33)에서 미국 국방고등연구계획국(DARPA)이 주최한 ‘AI 사이버 챌린지(AIxCC)’가 막을 내렸다. 최종 결과도 이미 발표됐지만, 이번 대회는 단순한 순위 경쟁을 넘어서 보안분야에 중요한 전환점을 제시한 것으로 보인다. AI가 보안의 판도를 어떻게 바꿀 수 있을지, 그리고 앞으로 사이버보안 분야가 어떤 과제를 풀어야 할지 생각해 보는 중요한 계기가 되었다고 전문가들은 평가하고 있다.

이번 AIxCC 대회에서는 ‘Team Atlanta’(팀 애틀란타, 조지아텍·삼성리서치·KAIST·포스텍 연합팀)가 1위, 2위 ‘Trail of Bits’, 그리고 3위에는 ‘티오리(Theori)’가 각각 이름을 올렸다. 이들 세 팀은 각각 400만 달러, 300만 달러, 150만 달러의 상금을 수상했으며 한국 보안연구원들의 기술력을 보여준 대회라고 할 수 있다.

최종 라운드에서 참가팀들의 사이버 추론 시스템(CRSes)은 5천4백만 줄이 넘는 코드를 분석해 54개의 합성 취약점을 찾아 43개를 패치했고, 또한 실제 코드에서 발견된 18개의 신규 취약점 중 11개를 패치해 공개했다. 단순히 모의 환경이 아니라 실제 소프트웨어를 대상으로 AI가 발견과 수정 모두에서 가시적인 성과를 거둔 것이다.

■수동 탐지의 한계, 자동화의 필요성

DARPA는 왜 거액의 상금을 걸고 ‘AIxCC’를 개최했을까.

지금까지 전 세계 개발·보안팀이 직면한 가장 큰 문제는 수작업 취약점 탐지와 수정의 한계였다. 오픈소스 소프트웨어 의존도는 계속 커지고 있지만, 취약점 관리 속도는 그에 따라가지 못하고 있다. 일부 보고서에 따르면 심각한 취약점 하나를 수정하는 데 평균 1년 반 이상 걸리는 사례도 적지 않다.

여기에 정적·동적 분석 도구가 뿜어내는 수많은 ‘거짓 경고’는 개발자와 보안 담당자의 피로도를 높이고, 인력 부족 문제는 상황을 더욱 악화시키고 있다. 결국 많은 취약점이 백로그에 쌓이고, 공격자에게 기회가 남겨지는 현실이다.

DARPA는 이런 어려움을 극복하기 위해 AIxCC를 설계했다. 참가팀들은 전통적인 프로그램 분석 기법에 AI 에이전트를 결합해 버그 분석, 패치 생성, 검증을 맡겼다. 핵심은 “AI가 혼자 모든 걸 하는 것”이 아니라, AI와 기존 기법을 정밀하게 조합해 탐지 오류를 줄이고 패치 품질을 높이는 것이었다.

그 결과는 눈에 띄게 개선됐다. 지난해 준결승에서 탐지율 37%, 패치율 25%에 머물렀던 성과가 올해 결승에서는 각각 77%, 61%로 급상승했다. DARPA는 이번 대회가 “AI가 단순 탐지를 넘어 고품질 패치까지 제공할 수 있음을 입증했다”고 평가했다.

또 하나의 성과는 경제성이다. DARPA가 공개한 자료에 따르면 대회에서 한 과제를 해결하는 데 들어간 평균 비용은 152달러에 불과했다. 이는 기존 버그 바운티 보상이나 외부 보안 점검에 들어가는 비용 대비 크게 낮은 수치다.

이번 대회가 가지는 가장 큰 의미는 ‘규모의 증명’이라고 전문가들은 말한다. 수천만 줄이 넘는 방대한 코드를 단기간에 분석하고, 취약점을 찾아 고치는 과정을 자동화로 수행했다는 점에서 획기적인 전환점을 마련했다는 평가다. 이는 사람이 직접 수작업으로는 도저히 감당하기 어려운 수준의 작업을 AI가 대신할 수 있음을 보여줬다.

또 다른 의미는 ‘경제성’이다. DARPA는 한 과제를 해결하는 데 평균 152달러가 소요됐다고 발표했다. 이는 기존의 버그 바운티 보상이나 외부 보안 점검 비용에 비해 크게 낮은 수치로, 자동화가 대규모 시스템 보안 관리에 훨씬 효율적일 수 있음을 증명했다.

개방성 역시 주목할 만하다. 결승에 오른 7개 팀의 사이버 추론 시스템(CRSes)은 모두 오픈소스로 공개될 예정이다. 이는 기술이 특정 기업이나 기관에 갇히지 않고 전 세계 개발자와 보안 전문가들이 활용할 수 있는 기반을 제공한다는 점에서 의미가 크다.

마지막으로, 이번 대회는 ‘전환 가능성’을 열었다. 이미 일부 팀은 개발한 시스템을 상용화하거나 기업 내부에 도입하는 움직임을 보이고 있다. 이는 대회에서 증명된 기술이 연구실 성과에 머물지 않고, 실제 산업 현장으로 빠르게 확산될 수 있다는을 보여준다.

■남은 과제들은…

한편 과제도 만만치 않다. 무엇보다 중요한 것은 ‘정확도와 검증’이다. 자동화된 패치가 항상 올바른 해법을 제시하는 것은 아니다. 테스트는 통과했지만 실제로는 근본적인 문제를 해결하지 못하는 ‘가짜 패치’가 나올 수 있다는 우려가 있다. 따라서 자동화 도구가 제안한 패치는 반드시 추가적인 검증 체계를 거쳐야 하며, 고위험 영역에서는 전문 인력의 최종 확인이 필수적이다.

두 번째 과제는 ‘현장 통합’이다. AI가 만든 보안 자동화 시스템을 실제 개발 현장에 적용하려면 기존의 CI/CD 파이프라인, 소프트웨어 자산 관리(SBOM), 정적·동적 분석 도구와 긴밀히 연결돼야 한다. 단순히 취약점을 찾아내는 데 그치지 않고, 조직 내 개발 프로세스 전반에 자연스럽게 스며들어야 진정한 효과를 발휘할 수 있다.

세 번째는 ‘거버넌스와 규제 대응’이다. 유럽연합 사이버 복원력법(CRA)이나 미국 NIST의 안전한 소프트웨어 개발 지침처럼, 자동화된 보안 시스템 역시 법적·정책적 기준에 부합해야 한다. 패치 적용 과정에서 발생하는 변경 사항을 추적하고, 감사 가능한 기록을 남기며, 책임 소재를 명확히 하는 거버넌스 체계가 요구된다.

마지막으로, ‘공격자 활용 가능성’이라는 역설적인 위험도 있다. 방어자가 AI로 취약점을 고치듯, 공격자 역시 AI를 활용해 공격을 자동화할 수 있다. 따라서 앞으로의 보안 자동화 기술은 단순히 취약점을 고치는 수준을 넘어, AI 오남용을 탐지하고 대응할 수 있는 기능까지 포함해야 한다고 전문가들은 지적한다.

전문가들은 AI를 “자동 조종 장치가 아닌 조력자”로 바라봐야 한다고 말한다. 초기에는 패치 제안이나 분석 단계에서 활용하고, 실제 적용은 반드시 사람의 검증을 거쳐야 한다. 또한 자동화된 시스템의 성능을 맹신하기보다, 회귀 테스트와 추가 검증을 통해 품질을 담보해야 한다고 강조한다.

AIxCC는 AI가 보안 현장에서 단순 탐지를 넘어 “찾고, 고치고, 검증하는” 단계까지 확장할 수 있음을 증명했다. 하지만 이번 성과가 진짜 변화로 이어지려면, 정확도와 신뢰성 확보, 현장 적용, 규제 대응, 그리고 공격자의 AI 활용에 대한 대비 등 다양한 과제들을 넘어서야 한다.

이번 대회는 단순한 경쟁이 아니라, 보안 자동화의 미래를 보여준 실험장이었다. DARPA가 던진 화두는 이제 업계와 연구계가 풀어야 할 과제가 되었고, 이 성과를 실제 현장에 어떻게 적용하느냐가 향후 사이버보안의 수준 향상에 큰 영향을 미칠 것으로 보인다.

[KCSCON 2025 개최] 하반기 최대 사이버 보안 컨퍼런스: 보안담당자 초대-7시간 보안교육이수!]

(제13회 KCSCON 2025 / 구 PASCON)

※ Korea Cyber Security Conference 2025

-2025년 9월 16일(화) / 세종대 컨벤션센터 전관-

공공∙기업 정보보안 책임자/실무자 1,200여명 참석!

-2025년 하반기 최대 정보보호 컨퍼런스&전시회-

△주최: 데일리시큐

△후원: 과학기술정보통신부, 한국인터넷진흥원, 한국정보보호산업협회

△일시: 2025년 9월 16일 화요일(오전9시~오후5시)

△장소: 세종대 컨벤션센터 전관

△참석대상: 공공기관·공기업·정부산하기관·금융기관·의료·교육·일반기업