“성착취 영상 찾아 삭제 신고까지 6분” 서울시, 전국 최초 AI 자동 삭제신고 시스템 개발

[연합]

[헤럴드경제=손인규 기자] 서울시가 온라인상에 유포된 디지털 성범죄 영상의 신속한 삭제 지원을 위해 지난 2023년 전국 최초로 AI(인공지능) 기술을 도입한 데 이어서 검출된 영상을 AI가 자동으로 삭제 신고까지 지원하는 ‘AI 자동 삭제신고 시스템’을 최초로 개발했다.

이렇게 되면 사회관계망서비스(SNS)나 온라인 커뮤니티, 불법 사이트 등 온라인상에 무분별하게 떠도는 불법 영상물을 찾아내서 해당 사이트에 삭제 신고를 하는 데까지 드는 시간이 기존 약 2시간 반~3시간에서 ‘6분’으로 단축된다.

‘AI 자동 삭제신고 시스템’은 AI가 24시간 피해 영상물을 상시 검출한 뒤, 찾아낸 영상물을 자동으로 채증해 보고서를 만든 후 해당 사이트에 삭제 요청하는 이메일을 자동으로 생성한다. 이렇게 완성된 신고 이메일은 삭제지원관이 최종 확인해 발송하게 된다.

이번 시스템은 멀티모달 대형언어모델(MLLM)과 셀레니움 기반 웹 자동화 도구 등을 결합하여 디지털 성범죄물 탐지부터 채증, 문서화, 이메일 생성에 이르는 전 과정을 자동화했다.

기존에는 삭제지원관이 영상물마다 모두 수작업으로 피해 영상물을 채증하고 보고서를 작성해야 했기 때문에 많은 시간이 소요됐다.

자동 채증 보고서 기능은 텍스트, 이미지, URL 등 콘텐츠에 포함된 핵심 정보를 자동 추출하고, 이를 한글(HWP) 문서로 변환 저장함으로써 향후 수사기관 또는 사법 절차에 필요한 법적 증거자료로 즉시 활용할 수 있다.

특히, 최근에 피해 영상물이 해외에 서버를 둔 사이트에 올라오는 사례가 증가함에 따라 AI가 해외에 유포된 피해 영상물을 검색 후 영어, 중국어, 일본어, 러시아어 등 7개 국어로 신고 이메일을 생성하게 된다.

AI 삭제 과정. [서울시 제공]

한편, 서울시는 지난 2023년 ‘디지털 성범죄 AI 삭제지원 기술’을 전국 최초로 개발·도입함으로써 디지털 성범죄 예방과 피해자를 지원해 오고 있다. 이 기술이 도입되면서 키워드 입력부터 영상물 검출까지 불과 3분 정도밖에 걸리지 않아 삭제지원관이 평균 2시간이 소요됐던 것에 비해 검출 속도가 97.5%가 단축되고 정확도도 200% 이상 향상됐다.

또한 AI는 24시간 자동 모니터링이 가능하기 때문에 사람이 일하지 않는 새벽 시간대에도 모니터링이 가능하고, 삭제지원관이 피해 영상물을 접하면서 발생할 수 있는 스트레스를 줄일 수 있는 장점이 있다.

이를 통해 서울 디지털 성범죄 안심지원센터의 삭제지원 건수도 AI 도입 전 2022년 2509건에서 지난해 총 1만4256건으로 468%나 상승했다. 서울시는 ‘서울 디지털 성범죄 안심지원센터’를 통해 지난 3년간 3650명의 피해자를 지원했고 총 지원 건수는 6만4677건에 이른다.

시가 지원한 피해자 연령대는 10~20대가 가장 높은 비율을 차지하고 있으며 특히 센터 개관 이후 아동, 청소년을 대상으로 한 디지털 성범죄 피해지원이 많이 증가하고 있다.

도움이 필요한 디지털 성범죄 피해자 누구나 센터 상담전용 직통번호 ‘815-0382(영상빨리)’나 누리집(www.8150382.or.kr)으로 문의하면 된다.

김선순 서울시 여성가족실장은 “서울시는 전국 최초로 AI를 통한 모니터링 기술을 도입한 데 이어서 이제 AI가 자동으로 삭제 신고까지 하는 기술을 도입함으로써 검출부터 삭제 신고까지 걸리는 시간을 획기적으로 단축할 것으로 기대한다”고 말했다.