'점심 뭐먹지' AI에 자꾸 물었더니… 섬뜩한 경고[글로벌 왓]

인공지능(AI)에 과도하게 의존하는 것이 보안 위험을 초래할 수 있다는 경고가 나왔다. 번역은 물론 에세이 작성, 자금 투자, 의료 조언 등 일상 생활 속에서 AI를 활용하는 경우가 늘어나면서 해커나 악성 행위자들에게 취약점을 노출시킬 가능성이 높아졌다는 것이다.

1일(현지 시간) 홍콩 사우스차이나모닝포스트(SCMP)는 지난 29일 중국 푸저우에서 열린 디지털 중국 정상 회담에 참석한 치샹둥 치안신(奇安信) 회장이 "대형 AI 모델은 보안적 도전과 위험을 동반한다"며 이같이 경고했다고 보도했다. 그가 운영하는 치안신은 베이징에 본사를 둔 사이버 보안 기업이다.

치샹둥 회장은 "AI가 산업 전반에 깊이 통합되면서 대형 모델은 점점 더 강력해지고, 사용자는 의사 결정과 판단에 있어 AI의 지원에 과도하게 의존하게 될 수 있다"고 지적했다. 외부 위협에 대해서는 "해커가 모델의 결정을 조작하기 위해 취약점을 악용하거나 '데이터 독성화'를 통해 악의적인 행위를 저지를 수 있다"고 덧붙였다.

AI 시스템은 학습 데이터와 알고리즘을 바탕으로 결정을 내리는데, 이 학습 데이터에 악의적으로 변조된 정보를 삽입하는 것을 '데이터 독성화'라고 부른다. AI 모델이 잘못된 결정을 내리도록 유도하는 공격 방법으로, 이를 통해 해커는 AI 모델이 악의적인 목적을 수행하도록 만들 수 있다. 예컨대 특정한 결정을 내리도록 유도하는 잘못된 데이터를 삽입하거나, 의도적으로 오류 있는 데이터를 제공해 잘못된 판단을 내리게 만드는 것이다. 결국 금융과 의료, 보안 등 중요한 의사결정에 심각한 위험을 초래할 수 있다. 치샹둥 회장은 "내부 운영 측면에서도 직원들이 지식 기반을 업데이트하는 과정에서 잘못된 정보를 도입하면 모델의 학습 환경이 오염돼 잘못된 출력이 발생할 수 있다"고 경고했다.

그는 대형 모델에 사용되는 핵심 데이터를 관리하기 위한 보안 거버넌스 매커니즘을 구축해야 한다고 강조했다. 유해한 콘텐츠와 비정상적인 접근 행위를 모니터링하고, 차단하고, 경고를 발령하는 기능을 포함해야 한다는 것이다.

한편 지난달 30일 중국의 최고 사이버 보안 규제 기관인 중국 사이버공간관리국(CAC)은 AI 서비스와 애플리케이션을 규제하기 위한 3개월 캠페인을 시작한다고 발표했다. 이 캠페인은 무단 의료 조언, 잘못된 투자 제안, 청소년에게 영향을 미치는 허위 정보 등을 대상으로 한다. AI로 생성된 루머에 대해서도 규제를 강화할 예정이다.