S2W, LLM 토크나이저 취약성 규명...EMNLP 2025 논문 등재

S2W가 대규모언어모델(LLM) 토큰화 구조의 근본적 취약점을 규명한 연구 성과로 세계 최고 권위 자연어처리 학회인 ‘자연어처리방법론학회(EMNLP) 2025’에 논문을 등재했다. 이번 논문은 S2W와 한국과학기술원(KAIST) 공동 연구팀이 진행했으며 비영어권 언어에서의 토크나이저 구조적 한계를 분석해 AI 환각(Hallucination) 현상의 원인을 규명했다.

EMNLP는 ‘전산언어학학회(ACL)’와 ‘북미전산언어학학회(NAACL)’와 함께 자연어처리(NLP) 분야의 세계 3대 학술대회로 꼽힌다. S2W는 이번 성과를 통해 4년 연속 세계 최고 권위 AI 학회에 논문을 등재하게 됐다. 앞서 2022년 다크웹 언어 연구, 2023년 다크웹 도메인 특화 언어모델 ‘다크버트(DarkBERT)’, 2024년 사이버보안 문서 특화 언어모델 ‘사이버튠(CyBERTuned)’ 관련 연구를 통해 NAACL과 ACL에서 논문을 발표한 바 있다.

이번에 채택된 논문 ‘Improbable Bigrams Expose Vulnerabilities of Incomplete Tokens in Byte-Level Tokenizers(바이트 레벨 토크나이저 내 불완전 토큰의 취약점을 드러낸 비정상적 바이그램)’은 LLM 내부에서 문장을 처리하는 핵심 구성요소인 토크나이저(Tokenizer)의 구조적 문제를 다뤘다. 연구진은 토크나이저가 문자를 바이트 단위로 분절해 처리하는 과정에서 일부 문자가 완전하게 쪼개지지 못한 채 ‘불완전 토큰’으로 남는 현상에 주목했다. 이때 모델이 해당 문자를 해석하지 못해 문맥이 왜곡되거나 의미 복원이 실패하면서 환각 현상이 발생할 수 있음을 실험적으로 증명했다.

S2W 연구팀은 특히 비영어권 언어에서 이러한 오류가 더 빈번히 발생한다는 점을 밝혔다. 영어는 한 글자가 1바이트로 구성되지만 한국어, 일본어, 중국어 등은 한 글자가 여러 바이트로 표현된다. 이 때문에 ‘바이트 페어 인코딩(BPE)’ 기반 토크나이저는 비영어권 언어에서 글자의 중간이 잘린 불완전 토큰을 만들 가능성이 높다. 이러한 구조적 한계는 비영어권 LLM의 답변 품질 저하 및 환각 발생률 증가로 이어질 수 있다.

이번 연구는 단순한 모델 성능 분석을 넘어 국가별 자국 언어와 데이터 주권을 기반으로 AI를 개발·운영해야 하는 ‘소버린(Sovereign) AI’ 논의에도 중요한 함의를 던진다. 영어 중심의 토크나이저 구조가 그대로 적용될 경우 각국의 자국어 기반 모델이 신뢰성 있게 동작하기 어렵다는 점을 실증적으로 제시했기 때문이다.

박근태 S2W CTO는 “본 논문은 각국이 자국 언어와 데이터를 기반으로 AI를 개발·운영해야 하는 ‘소버린(Sovereign) AI’에 관한 논의에 유의미한 시사점을 제공한다. 토크나이저가 영어 외 언어를 안정적으로 처리하지 못한다면, 여러 국가의 자국 언어 기반 AI 모델을 신뢰성 있게 운영하기 어렵기 때문”이라고 말했다. 이어 “S2W는 신뢰할 수 있는 AI를 만들기 위한 가장 선도적인 연구 성과를 지속 창출할 계획이다”라고 덧붙였다.

헬로티 구서경 기자 |