숭실대 글로벌미디어학부 이정진 교수 연구팀, 최고 권위 멀티미디어 국제 학회 ACM MM 2025에 정규논문 2편 게재

숭실대학교(총장 이윤재)는 글로벌미디어학부 이정진 교수 연구실 33Lab(Enhanced Experience Lab)이 최고 권위의 멀티미디어 국제 학술대회 ACM International Conference on Multimedia 2025(ACM MM 2025)에 버추얼 엔터테인먼트 기술 관련 정규논문 2편을 게재했다고 밝혔다.

VR 공연 영상을 몰입형 콘텐츠로 변환하는 ‘VRMusicStage’

첫 번째 논문 ‘VRMusicStage: A System for Converting Fixed-Camera Music Stage Videos into Immersive VR Content’는 이정진 교수를 비롯해 석사과정 임승규, 조연호 학생과 석박통합과정 정석현 학생 그리고 KBS 이윤재 박사가 참여했다.

이 연구는 고정 카메라로 촬영된 공연 영상을 생성형 AI 기술을 활용해 몰입감 있는 VR 영상으로 변환하는 시스템 ‘VRMusicStage’를 제안했다. 이 시스템은 text-to-image 확산 모델과 ControlNet 기반 멀티 컨디셔닝으로 시간적·공간적으로 일관된 고해상도 비디오를 생성한다.

추가 학습 없이 작동하며 프레임별 처리 방식으로 임의 길이의 영상도 자연스럽게 8K 품질로 처리한다.

비교 실험 결과, 기존 기법보다 시청자 몰입도와 지각 품질 모두 우수한 것으로 나타났다. 특히 VR 환경에서 원본 영상보다 사용자의 현존감과 몰입 경험을 크게 향상시켰다.

이 연구는 한국콘텐츠진흥원의 ‘공연 콘텐츠 고해상도(8K/16K) 서비스를 위한 AI 기반 영상확장 및 서비스 기술 개발’ 과제 지원을 받았다.

라이브 콘서트의 집단 감정 공유 플랫폼 ‘VibeOn’

두 번째 논문 ‘Bring the VibeOn: Designing a Multimodal Interface for Shared Emotional Experiences in Live-streamed Concerts’에는 이정진 교수를 비롯해 김민주 KISTI 박사, 석박통합과정 김경진 학생과 석사과정 이세빈, 김다예 학생이 공동으로 참여했다.

이 연구는 라이브 스트리밍 콘서트에서 오프라인 공연의 집단적 열광(Collective Effervescence)을 재현하는 시스템 ‘VibeOn’을 제안했다. VibeOn은 기존 라이브 채팅의 정보 과부하와 몰입 방해 한계를 넘기기 위해 LLM(대규모 언어 모델) 기반 상황 인식 채팅, 이모지 추천, 아바타 응원, 앰비언트 시각화 그리고 콘서트 특화 레이아웃 전환 등의 기능을 통합했다.

40명 대상 사용자 연구에서 사회적 연결감·공동체 의식·몰입감이 유의미하게 향상된 것으로 나타났다. 사용자들은 단순한 시청을 넘어 대규모 온라인 공연만의 감정 공유 경험을 극대화했다.

연구는 IITP 메타버스융합대학원사업과 지역지능화혁신인재양성사업의 지원을 받아 수행됐다.

석사과정 임승규 학생은 “국제 무대에서 연구실의 성과를 알릴 수 있어 기쁘다”며 “이번 발표가 더 많은 국제 우수학회에 도전할 수 있는 초석이 되었으면 좋겠다”고 말했다. 석박통합과정 김경진 학생은 “연구가 최고 권위 학회에 정규 논문으로 게재돼 자랑스럽다”며 “실용적이고 가치 있는 연구를 이어가겠다”고 전했다.

이정진 교수는 “두 연구 모두 생성형 AI를 활용해 VR·라이브 스트리밍 환경의 몰입형 콘텐츠 경험을 크게 확장하는 실용적 방법을 제시했다는 점에서 의미가 크다”며 “코로나19 이후 주목받고 있는 VR·스트리밍 기술의 새로운 상호작용 패러다임을 제시함으로써 멀티미디어 연구 분야를 선도할 것으로 기대한다”고 밝혔다.