[로이슈 편도욱 기자] 일레븐랩스가 영상과 오디오 콘텐츠에 적용할 수 있는 신규 음성 더빙 모델 ‘더빙 v2’를 발표했다. 이 모델은 원본 음성의 발화 방식과 음성 요소를 분석해 여러 언어로 재현하는 방식이 특징이다.

해당 기술은 기존 인공지능 더빙에서 발생하던 감정 표현 손실과 음성 단절 문제를 보완하는 데 초점을 맞췄다. 원본 음성의 억양, 말 간격, 전달 방식 등을 반영해 번역된 음성을 생성하며, 생성된 음성은 영상 내 발화 타이밍에 맞춰 정렬된다. 별도의 수작업 없이 화자의 음색과 음높이 특성을 반영하는 기능도 포함됐다.

이 모델은 영어를 포함한 90개 이상의 언어를 지원한다. 이에 따라 한국어 기반 콘텐츠를 다양한 언어로 변환하는 과정에서 필요한 번역, 녹음, 편집 등의 제작 절차를 줄일 수 있는 구조로 설계됐다.

국내에서는 방송 콘텐츠 제작에도 관련 기술이 활용된 사례가 있다. SBS는 다큐멘터리 ‘괴물의 시간’ 제작 과정에서 해당 음성 기술을 적용해 실제 인물의 음성을 재현했으며, 이를 통해 방송 환경에서의 적용 가능성을 검증한 것으로 알려졌다.

회사 측은 “하나의 음성을 기반으로 90개 이상 언어로 동일한 발화 구조를 유지할 수 있도록 설계된 모델”이라며 “원본 음성의 간격과 억양 정보를 함께 반영하는 방식이 적용됐다”고 밝혔다.

일레븐랩스는 해당 모델을 플랫폼 형태로 제공하고 있으며, 기업 단위 활용을 위한 연동 기능도 단계적으로 지원 범위를 넓힐 예정이다.

편도욱 로이슈 기자 toy1000@hanmail.net