‘AI가 당신의 계좌를 털지도 모른다’… 오픈AI CEO의 경고

AI가 음성·얼굴 등 변조해 악용할 가능성 커져

‘허위 납치’ 피싱 등 이용…고위급 인사 흉내도

“새롭고 영향력 큰 기술… 예측하기 어렵다”

인공지능(AI) 기술이 빠른 속도로 발전하면서 순식간에 가짜 사진이나 동영상을 만들 수 있게 됐다. 목소리를 똑같이 따라 하는 것도 가능하다. 어쩌면 지금 우리가 쓰고 있는 음성, 또는 얼굴 인식을 통한 인증 방식은 매우 위험할 수 있다. 사기꾼들은 AI가 만든 ‘복제’ 인물 정보로 온라인상에서 계좌를 탈취하거나 가짜 계약을 맺을 지도 모른다.

챗GPT 개발업체인 오픈AI의 샘 올트먼 최고경영자(CEO)는 AI의 유용성을 강조하는 동시에 세계가 ‘사기를 당할 수 있는 벼랑 끝 상황’(precipice of a ‘fraud crisis’)에 와 있다고 우려했다. 어떤 게 진짜이고, 어떤 게 AI가 만든 가짜인지 구별하기 어려운 세상이 다가오고 있다.

CNN에 따르면 올트먼은 22일(현지시간) 연방준비제도(Fed)에서 열린 컨퍼런스에서 “사기 위기”에 대해 강조하며 금융 기관 인증 방식의 허점을 지적했다.

그는 “저를 소름 돋게 하는 건, 여전히 일부 금융 기관들이 음성 지문(voice print)을 받아서 여러분의 많은 돈을 옮기거나 다른 일을 처리할 수 있도록 인증 수단으로 쓰고 있다는 사실”이라면서 “여전히 그렇게 하고 있다는 건 미친 짓이다. AI는 현재 비밀 번호를 제외하고, 사람들이 인증에 사용하는 대부분의 방식을 완전히 무력화했다”고 경고했다.

우려되는 건 금융 사고뿐만이 아니다. FBI는 이미 AI의 음성·영상 복제 사기에 대해 경고한 바 있다. 보도에 따르면 AI 음성 기술을 이용해 자녀가 위험에 처한 것처럼 속여 부모에게 돈을 뜯어내려는 시도가 여러 차례 있었다. 이달 초엔 누군가가 AI로 국무장관 마르코 루비오의 목소리를 사칭해, 외국 외무장관들과 미국 주지사, 연방 의원에게 연락한 사례도 있었다.

전화를 건 게 사람인지 기계인지 판별하기 어려워지고 있는 것이다. 영상 통화라고 안심할 수 있는 것도 아니다. 올트먼은 “지금은 음성 통화지만, 곧 현실과 구분할 수 없는 영상이나 페이스타임이 (사기의 수단이) 될 것”이라고 말했다.

올트먼은 챗GPT가 이런 사칭 도구를 만들지는 않는다고 했지만, 이런 방식의 사기는 AI가 발전하면서 세계가 곧 맞닥뜨릴 도전임을 인정했다.

그는 또 나쁜 녀석들이 ‘AI 슈퍼인텔리전스’(슈퍼지능)를 만들어, 세계가 충분히 대비하기 전에 공격할 가능성에 잠을 설친다고 털어놨다. 인간이 슈퍼인텔리전스에 대한 통제권을 잃거나, 너무 많은 의사결정 권한을 부여할 가능성에 대해서도 걱정했다.

아이러니하지만 이런 AI의 공격을 막는 수단으로도 AI가 거론된다. 올트먼은 생체인증장치인 ‘오브’(Orb)를 개발 중이다. 판타지 영화나 소설에서 마녀나 마법사가 멀리 떨어져 있는 공간을 보기 위해 사용하는 마법의 구슬처럼, 사람 얼굴 크기의 2∼3배쯤 되는 구체에 생체정보를 인식시켜 ‘진짜 사람’인지를 판별하는 기술이다.

하지만 이런 기술이 되레 생체정보를 유출할 위험성마저 있다. 홍채·얼굴 이미지는 유출됐다고 해도, 비밀번호처럼 바꿀 수가 없다. 홍콩 당국은 불필요하고 과도한 데이터 수집을 이유로 오브를 사용하지 못하게 했고, 유럽 규제 당국도 정보 수집과 유출에 대해 우려하고 있다.

기술 발전은 유용하지만, 이 기술이 인류에게 어떤 미래를 가져다줄지는 AI 개발자도 확신하지 못한다.

올트먼은 AI가 가져올 변화에 대해 이렇게 말했다.

“아무도 모릅니다. 제 생각에 이 시스템은 너무 복잡하고, 너무 새롭고, 영향력이 큰 기술이라 예측하기가 매우 어렵습니다.”

엄형준 선임기자 ting@segye.com