외국어 전혀 못해도, ‘언어천재’ AI성우 덕분에…글로벌 시장에서 ‘말’로 벌 수 있다

입모양까지 바꿔주는 ‘AI 더빙’

경제+

한국어로 얘기해도 인공지능(AI)이 자동으로 다른 언어로 더빙해준다. 이른바 ‘AI 더빙’이다. AI라고 어색한 기계음을 떠올렸다면 오산이다. 생성 AI 등장 이후 음성 AI의 연기력은 일취월장했다. 덕분에 누가 들어도 어색하지 않은 AI 더빙이 콘텐트 업계를 혁신할 새로운 기술로 주목받고 있다. AI 더빙을 활용하면 시간과 자금이 충분하지 않은 1인 크리에이터도 다양한 언어로 자신의 콘텐트를 글로벌 소비자들에게 보여줄 수 있다. 한국어 콘텐트가 순식간에 영어·일본어·스페인어로 변환되며, 요즘엔 입 모양까지 바뀐 언어에 따라 자연스럽게 맞춰준다. 언어의 장벽을 무너뜨리고 있는 ‘AI 더빙’의 세계를 샅샅이 들여다봤다.

◆‘AI 성우’가 온다=더빙은 고난도 작업이다. 성우 섭외부터 녹음·편집까지 며칠씩 걸리는 경우도 비일비재했다. 하지만 AI 더빙은 이 지난한 과정을 획기적으로 단축시켰다. 몇 시간 걸리던 작업은 몇 분으로, 수백만 원의 비용은 몇 만원으로 줄었다. AI 더빙 스타트업 허드슨에이아이의 신현진 대표는 “보통 미디어 더빙 업체가 영화 하나에 투입하는 인력이 50~60명”이라며 “번역부터 더빙·녹음에 이르기까지 전 과정을 AI로 할 수 있다면 효율성 측면에서 큰 효과가 있다”고 말했다.

넷플릭스·틱톡 등 영상 플랫폼이 커지면서 덩달아 AI 더빙 시장도 커졌다. 한국에서야 더빙보다 자막을 선호하지만, 북미와 남미, 그리고 유럽은 더빙 없이는 콘텐트 수출이 어렵다. 더빙이 자막보다 10배 이상 비용이 들지만, 하나의 콘텐트를 해당 언어가 통하는 지역에만 가둬두지 않고 글로벌로 보내기 위해선 반드시 필요한 작업이다. 문제는 사용자가 적은 언어는 더빙 시 비용이 기하급수적으로 늘어난다는 점. AI 더빙은 이 문제를 해결할 수 있다. 시장조사업체 마켓앤어스는 글로벌 AI 더빙 도구 시장이 2023년 7억9430만 달러(1조1000억원)에서 2033년 29억1890만 달러(4조400억원)로 커질 것으로 내다봤다.

물론 AI 더빙이 만능은 아니다. 대규모 자본이 투입되는 고품질 콘텐트 시장에선 여전히 사람 성우의 역할이 중요하다. AI 더빙 시장은 가성비가 중요한 영역에서 역할을 할 것이란 의미다. 이스트소프트 관계자는 “인기 있는 전문 인간 성우를 쓰는 이른바 ‘프리미엄 더빙’ 시장과 AI를 활용해 시간과 비용을 최소한으로 쓰는 ‘가성비 더빙’ 시장으로 나눠지게 될 것”이라고 했다.

◆‘AI 성우’, 어디서 일하나=AI 성우가 등장하면서 가장 큰 영향을 받은 곳은 유튜브 판이다. 비용과 시간 문제로 전문적인 더빙을 하기 어려웠던 유튜브나 숏폼 콘텐트에 AI 더빙을 덧붙이면 ‘글로벌’ 진출이 가능해져서다. AI 더빙과 함께라면 유튜브 루비 버튼(5000만 시청자 구독) 획득도 더 이상 허황된 꿈이 아니다. 김생근 이스트소프트 페르소 사스 센터장은 “최근엔 숏폼 크리에이터들이 많아지면서 이들이 AI 더빙을 사용하는 케이스도 늘었다”고 했다.

영화·드라마와 같은 기존 미디어 콘텐트에서 활용하는 경우도 생기고 있다. 다만 이 분야는 기존 인간 성우가 있는데다, 자연스러운 목소리와 입모양이 중요한 터라 이제 시작 단계다. 지난 달 미국에서 개봉한 ‘워치 더 스카이스’라는 스웨덴 SF 영화가 대표적이다. 수없이 많은 영화 중 이 영화가 특별한 이유는 배우들이 스웨덴어가 아닌 영어로 말한다는 것. 영국의 AI 스타트업 플로리스의 AI가 자연스러운 영어 연기를 만들었다. 허드슨에이아이는 ‘정직한 후보2’ ‘카봇: 수상한 마술단의 비밀’ 영화에서 AI 더빙을 담당했다.

스포츠, 경기만 봐도 재밌겠지만 재기 넘치는 해설이 있다면 더 재밌게 즐길 수 있다. 허드슨에이아이는 LG유플러스와 함께 한국프로야구(KBO) 정규 시즌을 미국·캐나다·호주·뉴질랜드·싱가포르·일본에 현지 언어 중계로 송출하고 있다. 경기 현장 소리와 해설 음성을 분리한 뒤 해설 음성만 번역하고, 이를 AI 음성 합성으로 재현한다. 해외 야구 팬들도 한국 야구를 낯설어하지 않도록 KBO 용어나 표현을 자연스럽게 번역하고, 각국 팬들에게 익숙한 목소리 톤으로 AI 음성을 디자인한다.

공공기관에서도 외국인 근로자를 위한 영상 등을 제작할 때도 AI 더빙 활용이 가능하다. 박정현 비브리지 대표는 “농촌진흥청에서 농촌에서 일하고 있는 외국인 근로자를 위한 농업인 안전관리 영상을 더빙해달라는 요청이 있었다”며 “베트남·태국·네팔·캄보디아·필리핀 등 8개국 언어로 AI 더빙을 진행했다”고 말했다.

◆‘목소리’를 만드는 기술자들=글로벌 시장을 타깃으로 하는 콘텐트 플랫폼 기업들에도 AI 더빙 중요성은 갈수록 커질 전망이다. 아마존 프라임 비디오는 올해 12개의 영화와 드라마 시리즈에 AI 더빙을 시범 적용하기 시작했다. 언어는 영어와 스페인어다. 유튜브도 유튜버들에게 ‘오토더빙’이라는 AI 더빙 서비스를 지원하고 있다. 아직 기술적 완성도가 높지 않고, 지원하는 언어가 제한적이라는 것은 한계다. 스타트업 중에서 시장을 선도하는 건 일레븐랩스다. 디즈니도, LG도 투자해 유니콘 스타트업으로 성장한 이 회사는 정교한 음성 합성과 음성 복제 기술로 유명하다. 일레븐랩스의 공동 창업자 마티 스타니셰프스키와 피오트르 댑코프스키는 폴란드 출신으로, 미국 영화를 볼 때 대사를 줄줄 읽기만 하는 엉터리 더빙에 실망해 회사를 세웠다.

한국 기업들도 AI 더빙 시장에 뛰어들었다. 우선 ‘알집’으로 유명한 이스트소프트는 AI 사업 영역을 키우면서 디지털 휴먼, AI 더빙으로 영역을 넓혔다. 자체 개발한 페르소닷에이아이 플랫폼의 ‘AI 비디오 트랜슬레이터’에서 글로벌 AI 더빙 서비스를 제공한다. 허드슨에이아이는 ‘팀버’라는 AI 더빙 서비스를 플랫폼을 내놨다. 이 회사 신현진 대표는 “기존 거대 영상 폴랫폼에 종속되지 않은 콘텐트들을 타깃으로 하고 있다”고 말했다. 비브리지는 자체 개발한 더빙 에이전트를 통해 영상에 AI 더빙을 입힌다.

◆AI 성우의 미래는=AI 성우는 콘텐트 업계에 어떤 변화를 만들까. 일단 한국 콘텐트를 더 널리 알릴 수 있는 기회는 늘어날 전망이다. 박정현 비브리지 대표는 “한국 유튜브 채널 중 톱 50을 보면 70~80%가 먹방과 같이 언어가 중요하지 않은 콘텐트”라며 “AI 더빙으로 언어 문제가 해결되면 콘텐트 수요가 폭발적으로 커질 것이기 때문에 헤비 유튜버나 MCN(다중채널네트워크)에서 AI 더빙에 관심을 보이고 있다”고 말했다. 반대로 한국에 진출하고 싶어하는 해외 유튜버도 늘어날 수 있다. 박정현 대표는 “중동의 암호화폐 관련 유튜브 채널에서 한국 시청자를 위한 채널을 만들고 싶어해 더빙 작업을 도와준 적이 있다”고 했다.

그래서, 인간 성우는 AI 성우에 자리를 내 줄 것인가. 업계에선 그렇지 않다고 얘기한다. 하이브리드 방식으로 갈 것이라는 전망이 우세하다. 인간 성우가 일종의 가이드를 해주고, 그에 맞춰 AI가 더빙을 하는 식으로 바뀌는 것. 신현진 대표는 “똑같은 더빙을 하더라도 인간 성우가 개입하는 것과 AI로만 더빙을 하는 것의 차이가 크다”고 설명했다.

성우 시장이 큰 일본의 경우 인기 성우를 향한 팬덤이 아이돌 팬덤 못지않다. 인기 성우가 들어가느냐 아니냐에 따라 애니메이션의 흥행 판도도 바뀐다. 이를 이용해 성우 목소리 자체를 IP(지식재산)로 만들어 AI 더빙에 활용할 수 있다는 의견도 나온다. 신 대표는 “AI를 이용해 소비자는 인기 성우 목소리를 더 많이 들을 수 있게 되고, 성우는 새로운 수익 창출을 할 수 있는 시장이 열리게 될 것”이라고 내다봤다.