서울시립대 백형부 교수팀, 자율주행차의 ‘눈’을 속이는 AI 해킹 기술 개발

서울시립대학교(총장 원용걸) 인공지능학과 백형부 교수 연구팀이 자율주행 시스템의 핵심 기능인 다중 객체 추적(Multi-Object Tracking, MOT) 기술의 허점을 파고드는 새로운 인공지능(AI) 기반 해킹 기술 '뱅크트윅(BankTweak)'을 개발했다. 이번 연구 성과는 AI 분야 최우수 국제학술대회인 ‘인공지능 국제 공동 학술대회(IJCAI 2025)’에 채택되어 발표됐다.

이번 연구는 자율주행 기술의 보안 취약점을 최초로 규명하고, 더 안전한 기술 개발의 필요성을 제시했다는 점에서 학계와 산업계의 큰 주목을 받고 있다.

다중 객체 추적(MOT) 기술은 자율주행차의 ‘눈’ 역할을 하며, 카메라 영상을 통해 여러 사람이나 차량 같은 객체들의 움직임을 동시에 추적하고 예측하는 핵심 기술이다.

기존의 AI 해킹 공격은 단순히 특정 순간에 객체를 사라지게 하거나(False Negative), 예측 위치를 벗어나게 조작하여 ID 전환을 유도하는 방식이었다. 그러나 이러한 방식은 시스템의 탐지 경계(Mahalanobis distance threshold)와 같은 파라미터를 조정하면 비교적 쉽게 방어될 수 있어 강인성이 부족하다는 한계가 있었다.

백형부 교수팀이 개발한 ‘뱅크트윅’은 객체의 고유 특징 정보가 저장되는 ‘특징 은행(feature bank)’을 정교하게 조작하는 새로운 공격 기법이다. 이 기술은 객체의 실제 위치는 그대로 두면서 AI가 객체의 ID를 지속적으로 혼동하게 만든다. 공격은 단 5개의 연속된 비디오 프레임 동안 진행되며, 먼저 '준비 단계'에서 목표 객체들의 특징 은행에 특수하게 조작된 특징 벡터들을 탐지되지 않게 주입한다. 이후 ‘ID 전환 단계’에서는 준비 단계에서 심어둔 특징들과 헝가리안 매칭 알고리즘의 특정 취약점을 이용하여, 공격이 끝난 후에도 ID가 뒤바뀐 상태가 지속되도록 만든다.

실험 결과, ‘뱅크트윅’은 기존 최신 기술(SOTA, State-of-the-art) 공격들보다 ID 혼란 유도 성능에서 최대 11.8배 더 효과적임을 입증했다. 또한 수많은 가짜 객체를 생성하는 기존 방식과 달리 탐지가 어려우며, 특정 추적 시스템에 국한되지 않는 범용성을 갖췄다.

이번 연구는 특징 기반의 다중 객체 추적 시스템의 근본적인 취약점을 최초로 규명하고, 새로운 공격 패러다임을 제시했다는 점에서 의의가 있다.

백형부 교수는 “이번 연구는 ‘창과 방패’의 싸움에서 더 강력한 창을 제시한 것”이라며, “이를 통해 자율주행 시스템의 보안 안정성을 획기적으로 강화할 수 있는 방어 기술 연구의 중요한 방향을 제시했다는 점에서 의미가 크다”고 밝혔다.