- 가상 오디오 증강 기술 ‘마이크 4개로 16개 성능’ … 세계적 AI 학회 ‘NeurIPS 2026’ 논문 채택

국립부경대학교 정보통신공학전공 이동헌 교수가 글로벌 빅테크 기업 메타(Meta)와의 공동연구를 통해 인공지능(AI) 글래스 등 소형 스마트 기기에 탑재할 수 있는 고성능 노이즈 캔슬링 및 공간 오디오 증강 기술 ‘Virtual-Flow’를 개발했다.

최근 증강현실(AR) 글래스, 무선 이어폰, 보청기 등 웨어러블 디바이스는 기기 크기의 물리적 한계로 인해 소수의 마이크만 탑재할 수 있어, 주변 소음과 잔향을 정밀하게 제거하는 다채널 공간 오디오 처리에 큰 제약이 있었다.

이를 해결하기 위해 실제 마이크 신호로부터 가상의 마이크 위치를 추정하는 ‘가상 마이크 추정’ 기술이 주목받아 왔으나, 기존 방식들은 수많은 가상 마이크의 정답 데이터를 일일이 수집해야 하는 대규모 지도학습의 어려움과 높은 연산 복잡도 등의 한계가 있었다.

이동헌 교수 연구팀은 이러한 문제를 해결하기 위해 정답 가상 마이크 데이터 없이도 고품질의 가상 공간 정보를 생성할 수 있는 반지도 기반 플로우 매칭 프레임워크인 ‘Virtual-Flow’를 새롭게 제안했다.

연구팀은 실제 마이크 신호들의 시간 지연 정보를 활용해 의도적인 가상 목표를 구성하고, 다운스트림 빔 형성 목적 함수와 함께 추론 최적화 기법을 적용했다. 그 결과, 마이크가 4개뿐인 제한된 환경에서도 16개 이상의 물리적 마이크 배열에 근접하는 음성 향상 성능을 구현해 냈으며, 단 한 번의 추론만으로 구동되어 임베디드 기기에서도 실시간 처리가 가능하도록 효율성을 극대화했다. 

특히 이번 연구는 시뮬레이션 환경뿐만 아니라 실제 녹음된 다채널 음성 데이터셋과 동적 화자 이동 환경에서도 뛰어난 강건성(robustness)을 입증했다. 향후 AR 글래스나 첨단 보청기 등 물리적 제약이 큰 소형 소비자가전 기기의 음성 인식 및 통화 품질을 혁신적으로 끌어올리는 기반이 될 것으로 기대된다.

이동헌 교수가 제1저자로 참여한 이번 연구 성과는 오는 12월 6일부터 호주 시드니에서 열릴 예정인 AI 분야 세계 최고 권위의 학술대회 ‘제40회 신경정보처리시스템학회(NeurIPS 2026)’에 공식 채택되며 학계와 산업계의 큰 관심을 끌고 있다.

※ 붙임: 고성능 노이즈 캔슬링 및 공간 오디오 증강 기술 ‘Virtual-Flow’ 모식도