LG AI연구원, 3대 AI 학회서 최고논문상…'AI 평가 새 지평'

LG(003550) AI연구원이 자연어 처리(NLP) 분야 세계 최고 권위 학회 중 하나인 북미 전산언어 학회(NAACL) 2025에서 ‘최고논문상’을 수상했다고 30일 밝혔다. 최고논문상은 학회에 채택된 1400편이 넘는 논문 중 새로운 연구 방향을 제시하거나 중요 문제를 해결한 가장 혁신적인 연구에 돌아간다.

논문 1 저자인 김승원 카네기멜론대 박사과정 연구생은 LG AI연구원 초지능랩의 인턴 과정 중 이문태 초지능랩장, 이경재 데이터 스쿼드리더, 서민준 한국과학기술원(KAIST) 교수 연구팀과 함께 생성형 AI 모델 성능을 평가하는 ‘빅젠 벤치’를 개발했다. LG AI연구원과 서민준 KAIST 교수 연구팀이 주도한 이번 연구에는 연세대, 코넬대, 일리노이대, MIT, 워싱턴대 등 여러 대학의 연구진이 함께 참여했다.

기존 생성형 AI 모델 평가 방식은 ‘유용성’, ‘무해성’과 같은 추상적인 지표에 의존해 사용자가 느끼는 실제 성능과 차이가 컸다. 모델의 세부 역량에 대한 측정도 어려웠다. 빅젠 벤치는 △지시사항 수행 △논리적 추론 △도구 사용 능력 △안전성 △다양한 언어와 문화적 맥락 이해 능력 등 생성형 AI 모델이 갖춰야 할 핵심 역량을 9가지로 분류하며 이를 다시 77개의 세부 역할을 잘 수행하는지 평가하는 765개 항목으로 구성해 모델을 평가한다. 실제 사람이 느끼는 것과 유사한 평가 결과를 도출하기 위해 다양한 상황과 주관적 요소를 고려하는 사람의 방식을 모방한 것이 특징이다.

LG AI연구원은 연구 과정에서 평가자 역할을 하는 AI 모델 5개 중 하나인 프로메테우스-2도 오픈소스로 공개했다. 빅젠 벤치를 기반으로 생성형 AI 모델 개발 과정에서 세부 항목별 성능을 자동으로 평가하는 후속 연구도 진행 중이다.

이문태 랩장은 “빅젠 벤치는 생성형 AI의 다양한 능력을 객관적이고 종합적으로 평가할 수 있도록 설계됐으며, 기존 벤치마크들의 한계를 극복하고 인간의 정교한 평가기준에 부합하여 AI 모델의 능력을 파악할 수 있다는 장점이 있다”고 말했다.