[디지털데일리 최민지기자] 경찰이 딥페이크·딥보이스, 가짜뉴스를 판별하기 위한 시스템 개발에 착수했다.

2일 경찰청에 따르면 경찰은 인공지능(AI)을 활용한 허위조작 콘텐츠 진위여부를 판별하는 시스템을 개발하기 위해 3년간 91억원을 투입한다.

이와 관련 경찰청은 '허위조작 콘텐츠 진위 여부 판별 시스템 개발' 신규 과제 선정 계획을 최근 공고했다. 딥페이크를 활용한 영상형 허위조작 콘텐츠를 중심으로, 음성형·텍스트형 콘텐츠 조작 여부를 탐지하기 위한 데이터셋과 통합시스템을 개발하겠다는 목적이다. 연구기간은 올해 4월부터 2027년 12월까지다.

경찰은 생성형AI 기반 허위 콘텐츠 접근이 쉬워지는 반면, 탐지시장과 격차가 심화되고 있어 범죄 위험성이 높아지고 있다고 진단했다.

실제, 딥페이크·딥보이스 등을 생성하는 기술은 대중에 공개돼 있을 뿐 아니라, 전문지식이 없더라도 이를 악용할 수 있다. 다양한 국내외 생성형AI를 적용한 솔루션을 활용하면, 영상·음성·기사까지 다양한 콘텐츠를 쉽게 만들어 낼 수 있다. 문제는 AI를 활용한 허위 콘텐츠가 범법활동에 적극 활용된다는 점이다. 이는 개인의 일탈 수준을 넘어 조직적 범죄 활동으로 확대되고 있다.

경찰은 지난해 1월부터 10월까지 딥페이크 성범죄 사건 1049건을 접수해 피의자 573명을 검거했다. 집중단속에 나선 지난해 8월28일 기준, 단속 후 일평균 신고건수는 6.98건으로 이전과 비교했을 때 약 3.7배 규모다. 올해 1월엔 텔레그램에서 자경단이라는 사이버성폭력 범죄집단을 운영한 총책 A씨를 붙잡았다. 지인 딥페이크 불법합성물 등을 제작해 제공한 혐의를 받는 40명도 검거했다. 이번 사건 피해자는 미성년자를 포함해 총 234명이다.

상황은 이렇지만, 현재 일선 수사관들이나 감독 당국에서는 사람이 이러한 콘텐츠를 일일이 보고 조사하는 데 있어 어려움을 겪고 있다.

이에 경찰은 신종 범죄에 대응하고자 멀티모달(복합정보처리) 형태 탐지 알고리즘을 개발해 딥페이크 영상을 탐지할 계획이다. 또한 음성 주파수·시간분석 등을 활용해 딥보이스에 대한 정교한 분석·탐지를 진행한다. 가짜뉴스 경우, 생성형AI로 만들어진 기사 여부를 판별하고 에코체임버(유사한 정보나 뉴스가 증폭돼 나타나는 현상)을 분석하고 원천 게시물을 추적할 방침이다.

아울러, 이번 사업은 파편화된 기존 시스템 한계를 극복하고 하나의 통합관리시스템으로 단일화한다는 점에서도 의미가 있다. 경찰은 이를 통해 퍼나르기식 가짜 콘텐츠에 조기 대응하는 한편, 딥페이크·딥보이스·가짜뉴스 탐지 기술로 범죄를 빠르게 차단하는 데 집중할 예정이다.

한편, 경찰은 올해부터 내년까지 딥페이크·딥보이스·가짜뉴스 탐지용 데이터셋을 구축하고 알고리즘 및 통합시스템 개발에 나선다. 이후 2027년 현장경찰 실증 운영과 성능 고도화에 돌입할 계획이다.