[로이슈 차영환 기자] 인천대학교가 뇌 신호를 이용해 사람의 의도를 음성으로 구현하는 인공지능 연구를 소개했다.

인천대학교 AI/SW교육원은 지난 16일 교내 컨벤션센터에서 고려대학교 인공지능학과 이성환 교수를 초청해 ‘생각을 읽고 목소리를 생성하는 Brain-to-Speech 인공지능 연구 현황 및 전망’을 주제로 특강을 열고 관련 연구성과와 활용 방향을 공유했다고 밝혔다.

이번 연구에서 중요한 과제로 제시된 것은 다양한 뇌 신호를 충분히 확보하는 일이다. 연구팀은 일반인과 언어 전달에 어려움을 겪는 환자를 대상으로 실제 발화뿐 아니라 발화를 상상하는 상황과 오발화 등 여러 조건에서 데이터를 수집하고 있다.

이런 데이터는 말하지 않고 의도를 전달하는 기술의 정확도를 높이는 데 활용된다. 두피에 전극을 부착해 뇌전도(EEG)를 측정하는 방식은 높은 시간 해상도와 휴대성을 갖춰 실시간으로 뇌 신호를 처리하는 연구에 활용할 수 있다고 이 교수는 설명했다.

연구성과 가운데 하나인 ‘NeuroTalk’는 머릿속으로 단어를 발화할 때 나타나는 신호를 사용자의 목소리로 변환한다. 연구팀은 GAN 기반 기술에 실제 발화에서 얻은 뇌 신호를 활용한 전이학습을 적용했고, 학습 과정에 포함되지 않은 단어까지 음성으로 합성할 가능성도 확인했다.

현재는 단어를 인식하는 수준에서 문장 생성으로 연구 범위를 넓히고 있다. 음소 단위 학습을 적용해 학습 데이터에 없던 문장도 만들어내는 ‘열린 어휘’ 방식으로 기술을 발전시키는 단계다.

이 같은 기술은 말로 의사를 표현하기 어려운 사람에게 직접적인 의사소통 수단이 될 수 있다. 연구팀은 실어증이나 마비말장애 환자가 문장을 머릿속으로 떠올리면 이를 실시간으로 분류해 음성으로 전달하는 시스템을 소개했으며, 상황에 따라 보호자에게 도움을 요청하는 기능도 구현했다.

의료 분야에 국한되지 않고 스마트홈이나 로봇과의 상호작용에도 적용할 수 있다. 뇌-컴퓨터 인터페이스(BCI)가 뇌 신호에서 사용자의 의도를 읽어 외부 장치와 연결하는 기술인 만큼 언어 재활과 기기 제어 등으로 응용 범위를 넓힐 수 있다는 설명이다.

연구팀이 바라보는 다음 단계는 별도의 수술 없이 착용할 수 있는 BCI를 통해 보다 자연스러운 대화를 구현하는 것이다. 대규모 뇌 신호를 학습하는 ‘뉴럴 파운데이션 모델’과 사용자의 감정·상태를 음성에 반영하는 기술도 향후 연구 대상으로 제시됐다.

이날 특강에는 교수와 직원, 조교, 학생 등 100여 명이 참석했다. 이현규 AI/SW교육원 원장은 최신 AI 연구를 구성원들이 직접 접할 수 있는 기회를 계속 마련하겠다고 전했다.

AI/SW교육원은 11월 11일 원준희 ㈜네비웍스 대표이사를 초청해 ‘알고리즘 전쟁과 소프트웨어 중심 국방의 미래 비전’을 주제로 후속 AI 전문가 초청 특강을 진행할 예정이다.

차영환 로이슈 기자 cccdh7689@naver.com