가천대 최창 컴퓨터공학전공 교수, 연유성 석사과정생, 윤준호 박사과정생(왼쪽부터)

가천대학교는 최창 컴퓨터공학전공 교수 연구팀이 영상·음성을 함께 분석하는 딥페이크 탐지 인공지능(AI) 구조를 고도화해 연산 효율을 개선했다고 3일 밝혔다.

딥페이크는 인공지능을 활용해 인물의 얼굴이나 음성을 합성한 가짜 영상이다. 탐지를 위해서는 영상(비디오)과 음성(오디오)을 동시에 분석해야 한다. 다만 입력 데이터가 증가할수록 모든 정보를 일괄 계산해야 해 연산량이 급증하고 처리 지연이 발생하는 한계가 있었다. 폐쇄회로(CC)TV처럼 실시간 대응이 필요한 환경에서는 속도 저하가 핵심 제약 요인으로 작용했다.

연구팀은 이를 해결하기 위해 'MSG(Multimodal Semantic Similarity Gate)' 구조를 제안했다. 영상과 음성 간 의미 유사도를 먼저 산출한 뒤 그 값에 따라 연산 경로를 선택하는 방식이다.

구조는 두 단계로 이뤄진다. Front Stage에서는 두 모달리티 간 의미 유사도를 계산해 처리 경로를 결정한다. Back Stage에서는 선택된 경로에 따라 어텐션 방식을 달리 적용한다. 의미 유사도가 낮을 경우 모든 상호작용을 유지하는 하드 어텐션으로 정밀 분석을 수행하고, 유사도가 높을 경우 유사 정보를 묶어 요약하는 소프트 어텐션을 적용해 중복 계산을 줄인다. 의미 일치 수준에 따라 필요한 경우에만 고강도 연산을 수행하는 선택적 구조다.

실험 결과 탐지 정확도는 기존 대비 큰 차이를 보이지 않았고, 연산량은 최대 28% 감소했으며 처리 속도는 최대 41% 향상됐다. 성능 저하 없이 효율성을 개선한 셈이다.

이 기술은 CCTV 모니터링, 출입 통제 시스템, 모바일 얼굴 인증, 온라인 신원 확인 등 실시간 판단이 요구되는 보안·인증 분야에 적용 가능성이 있다.

연구에는 연유성 석사과정생과 윤준호 박사과정생이 공동 제1저자로 참여했고, 최 교수가 교신저자를 맡았다.

최창 교수는 “입력 정보를 줄이지 않으면서 필요한 경우에만 연산을 집중하도록 설계한 것이 핵심”이라며 “딥페이크 파운데이션 모델 'TMI-Former'를 국제학술지에 발표한 바 있으며, 멀티모달 파운데이션 모델을 지속적으로 고도화해 실시간 보안·인증 기술 발전에 기여하겠다”고 말했다.

연구 결과는 세계 최대 전기·전자 분야 학술단체 IEEE가 발간하는 국제학술지 'IEEE Transactions on Consumer Electronics'에 지난달 23일 게재됐다.

성남=김동성 기자 estar@etnews.com

[Copyright © 전자신문. 무단전재-재배포금지]