기존의 몽타주 한계를 극복하다…3D 몽타주 KIST 김익재 단장 / YTN 사이언스 투데이 / 2019.10.31.
[앵커]
3차원 몽타주 얼굴 생성 기술은 첨단 수사기법의 발달로 날이 갈수록 그 비중이 줄어들고 있습니다. 하지만 지문이나 CCTV 등의 증거가 없고, 피해자 혹은 목격자의 기억만이 유일한 단서일 때 빛을 발하는데요.
오늘 '줌 인 피플'에서는 한국과학기술연구원 영상미디어연구단 김익재 단장과 함께 이야기 나눠보겠습니다. 어서 오세요.
한국과학기술연구원에서 3차원 몽타주 시스템 '폴리스케치'를 개발해서 활용하고 있다고 들었는데 어떤 프로그램인지 설명 부탁드립니다.
[인터뷰]
몽타주가 뭔지는 모두 잘 알고 계실 것 같은데요. 몽타주는 원래 조립한다는 뜻의 프랑스 말로, 영화의 화면을 교묘하게 조립·연결함으로써 화면에 리듬을 주는 기술입니다.
저희는 기존 몽타주 시스템을 업그레이드한 거라 3D 몽타주, 폴리스케치라고 부르는데요. 경찰이라는 뜻의 폴리스, 그리고 목격자에 의해 범죄 용의자를 스케치한다는 의미로 폴리스케치로 부르고 있습니다.
폴리스케치는 최근 CCTV의 보급으로 예전만큼 그 비중이 크진 않지만, 사건 현장에 지문이나 CCTV 영상이 없거나, 피해자나 목격자의 기억만이 유일한 단서일 때 빛을 발하는데요. CCTV 영상이 있다 하더라도, 범인의 얼굴을 판독하기 어려운 경우가 많기 때문에 피해자의 진술이 유일한 단서가 되는 경우가 많거든요.
그래서 폴리스케치는 아주 중요한 기술이라고 할 수 있습니다.
[앵커]
좀 예전 프로그램이긴 한데 그 공개수배 사건 25시에 몽타주의 얼굴이 나오고 실제 범인의 모습이 좀 닮은 모습을 보고 신기했던 기억이 있는데요.
폴리스케치는 기존 몽타주와 어떻게 다른가요?
[인터뷰]
폴리스케치는 목격자 진술 때문에 초기 범죄 용의자 얼굴을 만드는 것을 목표로 하고 있습니다.
기존 몽타주의 비해서 한 세 가지 관점에서 향상된 기술을 적용하고 있는데요. 앞서 말씀드린 데로 목격자의 진술에서 제작되는 몽타주 특성상, 목격자의 정확한 기억이 중요합니다만, 목격자가 범죄 용의자 얼굴의 눈, 코, 입 등에 대한 형상을 정확하게 기억하기 힘들 때도 있습니다.
하지만 대부분 얼굴의 전체적인 인상에 대해서는 잘 기억하는 편인데요. 폴리스케치에서는 목격자가 기억하는 얼굴 부분에 대해서 직접 설명하지 않고, 전체적으로 유사한 인상의 얼굴 후보들을 선택하게 함으로써, 얼굴 부위별로 정확한 기억이 없더라도 초기 몽타주 얼굴을 만들 수 있는 유전자 알고리즘을 적용하였습니다.
제작 편의 효율성을 올리기 위해서 자동 인상변환 기술과 나이변환 기술 등 인공지능 기술이 적용된 부분이 있습니다.
장기 미제 사건이 오랜 시간이 흘러 증거자료가 추가로 발견되는 등 재수사를 할 때, 당시 목격자를 재소환하기 어려운 경우가 많은데요. 이런 경우에 예전에 만들었던 몽타주를 10년, 20년 뒤인 현재 모습으로 추정하도록 하여 수사에 도움을 줄 수 있습니다.
[앵커]
유전자 알고리즘, 자동 인상변환 기술, 나이변환 기술을 활용해서 용의자를 측정할 수 있는 몽타주를 3차원으로 만들어 낸다고 말씀해주셨는데요. 그중에서도 유전자 알고리즘이란 무엇인지 궁금하네요.
[인터뷰]
유전자 알고리즘은 모든 생물체가 부모 세대의 유전자 선택, 교배, 그리고 돌연변이를 통해 자식 세대를 만드는 것과 같은 원리입니다. 쉽게 말해 폴리스케치 첫 화면에 등장하는 여러 얼굴에서 목격자가 전체적으로 비슷한 인상의 얼굴을 여러 개 선택하면 선택된 얼굴들이 부모 세대가 되는 거고요. 선택된 부모 세대의 유전 조합으로 새로운 자식 세대의 얼굴들을 생성하는 겁니다.
얼굴 형상을 표현할 수 있는 특징 벡터를 얼굴마다 약 30개 정도를 표현할 수 있는데, 이 특징 벡터들이 선택된 부모 세대로부터 일정 부분을 교환하거나, 작은 부분에 대해서 임의로 벡터값을 변경시킴으로써, 유전자의 교배 및 돌연변이를 발생시키게 됩니다. 이런 단계를 여러 차례 거쳐 비슷한 얼굴로 만들어지게 되는 거고요. 이렇게 만들어진 얼굴을 초기 몽타주로 정하고, 이를 바탕으로 조금 더 기억이 나는 부분부터 눈, 코, 입 등 세부 부분을 수정하는 방식으로 진행합니다. 이렇게 되면 목격자가 얼굴을 정확하게 기억하지 못하더라도 몽타주 생성을 할 수 있고, 작업 시간도 단축됩니다.
[앵커]
아까 나이변환 기술도 말씀해주셨는데요. 현재 모습을 추정한다는 게 굉장히 신기한데 어떤 원리인가요?
[인터뷰]
한국인의 얼굴 표본을 데이터베이스로 만들어 연령대별로 얼굴 부위별 주름 정도, 얼굴형 변화, 피부색 변화 등을 분석한 후, 나이 변화에 따른 변화를 반영할 수 있는 통계적 모델을 생성했습니다. 얼굴형, 주름, 피부색 등의 변화를 추정할 수 있도록 각 변화에 대한 나이변환 모델을 만들어서 주어진 얼굴 사진에서 부위별 나이를 추정하고, 이후 변환하고자 하는 나이를 입력하면 통계 모델에서 변화량을 추론하게 됩니다.
이 변화량을 현재 얼굴에 반영함으로써, 원하는 나이의 얼굴형과 주름을 포함한 피부 변화를 얻을 수 있게 됩니다. 예를 들어 35세이면, 1살 단위로 더 어리게, 또는 더 나이가 들게 할 수 있습니다. 만 5세 수준에서 만 80세까지 다양한 연령대의 모습을 폭넓게 추정할 수 있습니다.
[앵커]
한국인의 얼굴 표현을 비교로 해서 만들었기 때문에 국내 수사에서 더더욱 유용하게 쓰이는 것 같다는 생각이 드는데요. 개발된 지 얼마 안 됐다고 들었는데 현재 많이 쓰이고 있나요?
[인터뷰]
우리나라 경찰청에서 몽타주 작성을 컴퓨터 기반으로 작성하기 시작한 것은 1995년부터로 알고 있습니다. 그 이후로 많이 활용하고 있는데 그전에는 직접 손으로 종이에 그리는 방식으로 했는데, 수정에 어려움이 있었고, 작업 시간도 오래 걸렸었죠. 컴퓨터 기반으로 작업하게 되다 보니, 많은 부분에서 효율적으로 됐습니다.
하지만 당시 프로그램은 미국에서 만든 거라 한국인 얼굴을 표현하기에는 데이터베이스에서부터 여러 가지 한계가 존재했었습니다. 그래서 한국형 몽타주 프로그램을 만들기 시작했고, 1998년경에 초기 프로그램이 개발되어, 이후 계속 조금씩 고도화를 진행하였습니다.
당시에는 매우 유용하게 활용됐는데 데이터베이스에 문제점이라든지 점점 합성에 있어 부자연스러운 느낌을 해소할 필요가 있어서, 기술은 계속 고도화되고 있고 기술의 업그레이드에 한계가 있어서 최신 기술의 개발로 인한 시스템 업그레이드 필요성이 높아졌습니다. 이에 경찰청에서 수요 제기하여 당시 국가 과제로 나왔고, 제가 책임자로 현재의 폴리스케치를 개발하게 된 겁니다. 폴리스케치는 2011년부터 2014년까지 연구개발을 거치고, 1년 반 정도의 보강 개발을 거친 후 2016년부터 공식적으로 경찰청에서 활용하고 있습니다.
[앵커]
제가 기사를 찾아보니까 폴리스케치에서 38년 전에 실종된 아들을 극적으로 찾아낸 70대 노모의 사례를 보기도 했어요. 이렇게 직접 개발한 프로그램이 일상 현장에서 쓰이고 있는 모습을 보면 참 보람을 많이 느끼실 것 같은데 언제 가장 보람을 느끼시는지 궁금하고요 앞으로 계획도 한 말씀 부탁할게요.
[인터뷰]
네. 실제로 저희가 개발된 기술을 통해서 38년 만에 가족 상봉을 이루었던 부분에서 굉장히 보람을 느꼈고요. 저희가 개발한 나이 변화를 통해서 분단에 오랜 기간 아픔을 겪고 있는 이산가족들에게 가상의 가족사진을 만들 기획을 진행해서 소중한 선물을 할 수 있게 되었던 기회가 있었습니다. 굉장히 큰 보람을 느꼈습니다.
그리고 여전히 많은 실종 아동이 오랜 기간 가정의 품으로 돌아가지 못해서 안타까운데요. 저희가 지금 실종된 아동과 함께 국내 장기 실종 아동에 현재 모습을 추종하는 잡업을 진행하고 있습니다.
초기 대응을 잘할 수 있도록 인공지능 기반 복합인지 기술도 개발하고 있어서 실종 발생 초기에 여러 CCTV로부터 빠른 발견을 가능하고 기존에 나이 변환 기술에 DNA 정보를 결합하여 새로운 나이 변환 기술을 통해서 더욱 정확한 현재 모습을 예측해서 하루 빨리 가족의 품으로 돌아갈 수 있도록 도움이 되는 기술을 개발하고 싶습니다.
[앵커]
보통 몽타주라고 하면 범인의 이미지만 떠오르곤 했는데 앞으로 이제 잃어버린 가족을 찾는 소중한 일에 도움이 된다고 하니까 폴리스케치에 발전에 더욱더 응원하겠습니다. 오늘 말씀 고맙습니다.
* 해당기사 보기
기존의 몽타주 한계를 극복하다…3D 몽타주 KIST 김익재 단장 / YTN 사이언스 투데이 / 2019.10.31.
[앵커]
3차원 몽타주 얼굴 생성 기술은 첨단 수사기법의 발달로 날이 갈수록 그 비중이 줄어들고 있습니다. 하지만 지문이나 CCTV 등의 증거가 없고, 피해자 혹은 목격자의 기억만이 유일한 단서일 때 빛을 발하는데요.
오늘 '줌 인 피플'에서는 한국과학기술연구원 영상미디어연구단 김익재 단장과 함께 이야기 나눠보겠습니다. 어서 오세요.
한국과학기술연구원에서 3차원 몽타주 시스템 '폴리스케치'를 개발해서 활용하고 있다고 들었는데 어떤 프로그램인지 설명 부탁드립니다.
[인터뷰]
몽타주가 뭔지는 모두 잘 알고 계실 것 같은데요. 몽타주는 원래 조립한다는 뜻의 프랑스 말로, 영화의 화면을 교묘하게 조립·연결함으로써 화면에 리듬을 주는 기술입니다.
저희는 기존 몽타주 시스템을 업그레이드한 거라 3D 몽타주, 폴리스케치라고 부르는데요. 경찰이라는 뜻의 폴리스, 그리고 목격자에 의해 범죄 용의자를 스케치한다는 의미로 폴리스케치로 부르고 있습니다.
폴리스케치는 최근 CCTV의 보급으로 예전만큼 그 비중이 크진 않지만, 사건 현장에 지문이나 CCTV 영상이 없거나, 피해자나 목격자의 기억만이 유일한 단서일 때 빛을 발하는데요. CCTV 영상이 있다 하더라도, 범인의 얼굴을 판독하기 어려운 경우가 많기 때문에 피해자의 진술이 유일한 단서가 되는 경우가 많거든요.
그래서 폴리스케치는 아주 중요한 기술이라고 할 수 있습니다.
[앵커]
좀 예전 프로그램이긴 한데 그 공개수배 사건 25시에 몽타주의 얼굴이 나오고 실제 범인의 모습이 좀 닮은 모습을 보고 신기했던 기억이 있는데요.
폴리스케치는 기존 몽타주와 어떻게 다른가요?
[인터뷰]
폴리스케치는 목격자 진술 때문에 초기 범죄 용의자 얼굴을 만드는 것을 목표로 하고 있습니다.
기존 몽타주의 비해서 한 세 가지 관점에서 향상된 기술을 적용하고 있는데요. 앞서 말씀드린 데로 목격자의 진술에서 제작되는 몽타주 특성상, 목격자의 정확한 기억이 중요합니다만, 목격자가 범죄 용의자 얼굴의 눈, 코, 입 등에 대한 형상을 정확하게 기억하기 힘들 때도 있습니다.
하지만 대부분 얼굴의 전체적인 인상에 대해서는 잘 기억하는 편인데요. 폴리스케치에서는 목격자가 기억하는 얼굴 부분에 대해서 직접 설명하지 않고, 전체적으로 유사한 인상의 얼굴 후보들을 선택하게 함으로써, 얼굴 부위별로 정확한 기억이 없더라도 초기 몽타주 얼굴을 만들 수 있는 유전자 알고리즘을 적용하였습니다.
제작 편의 효율성을 올리기 위해서 자동 인상변환 기술과 나이변환 기술 등 인공지능 기술이 적용된 부분이 있습니다.
장기 미제 사건이 오랜 시간이 흘러 증거자료가 추가로 발견되는 등 재수사를 할 때, 당시 목격자를 재소환하기 어려운 경우가 많은데요. 이런 경우에 예전에 만들었던 몽타주를 10년, 20년 뒤인 현재 모습으로 추정하도록 하여 수사에 도움을 줄 수 있습니다.
[앵커]
유전자 알고리즘, 자동 인상변환 기술, 나이변환 기술을 활용해서 용의자를 측정할 수 있는 몽타주를 3차원으로 만들어 낸다고 말씀해주셨는데요. 그중에서도 유전자 알고리즘이란 무엇인지 궁금하네요.
[인터뷰]
유전자 알고리즘은 모든 생물체가 부모 세대의 유전자 선택, 교배, 그리고 돌연변이를 통해 자식 세대를 만드는 것과 같은 원리입니다. 쉽게 말해 폴리스케치 첫 화면에 등장하는 여러 얼굴에서 목격자가 전체적으로 비슷한 인상의 얼굴을 여러 개 선택하면 선택된 얼굴들이 부모 세대가 되는 거고요. 선택된 부모 세대의 유전 조합으로 새로운 자식 세대의 얼굴들을 생성하는 겁니다.
얼굴 형상을 표현할 수 있는 특징 벡터를 얼굴마다 약 30개 정도를 표현할 수 있는데, 이 특징 벡터들이 선택된 부모 세대로부터 일정 부분을 교환하거나, 작은 부분에 대해서 임의로 벡터값을 변경시킴으로써, 유전자의 교배 및 돌연변이를 발생시키게 됩니다. 이런 단계를 여러 차례 거쳐 비슷한 얼굴로 만들어지게 되는 거고요. 이렇게 만들어진 얼굴을 초기 몽타주로 정하고, 이를 바탕으로 조금 더 기억이 나는 부분부터 눈, 코, 입 등 세부 부분을 수정하는 방식으로 진행합니다. 이렇게 되면 목격자가 얼굴을 정확하게 기억하지 못하더라도 몽타주 생성을 할 수 있고, 작업 시간도 단축됩니다.
[앵커]
아까 나이변환 기술도 말씀해주셨는데요. 현재 모습을 추정한다는 게 굉장히 신기한데 어떤 원리인가요?
[인터뷰]
한국인의 얼굴 표본을 데이터베이스로 만들어 연령대별로 얼굴 부위별 주름 정도, 얼굴형 변화, 피부색 변화 등을 분석한 후, 나이 변화에 따른 변화를 반영할 수 있는 통계적 모델을 생성했습니다. 얼굴형, 주름, 피부색 등의 변화를 추정할 수 있도록 각 변화에 대한 나이변환 모델을 만들어서 주어진 얼굴 사진에서 부위별 나이를 추정하고, 이후 변환하고자 하는 나이를 입력하면 통계 모델에서 변화량을 추론하게 됩니다.
이 변화량을 현재 얼굴에 반영함으로써, 원하는 나이의 얼굴형과 주름을 포함한 피부 변화를 얻을 수 있게 됩니다. 예를 들어 35세이면, 1살 단위로 더 어리게, 또는 더 나이가 들게 할 수 있습니다. 만 5세 수준에서 만 80세까지 다양한 연령대의 모습을 폭넓게 추정할 수 있습니다.
[앵커]
한국인의 얼굴 표현을 비교로 해서 만들었기 때문에 국내 수사에서 더더욱 유용하게 쓰이는 것 같다는 생각이 드는데요. 개발된 지 얼마 안 됐다고 들었는데 현재 많이 쓰이고 있나요?
[인터뷰]
우리나라 경찰청에서 몽타주 작성을 컴퓨터 기반으로 작성하기 시작한 것은 1995년부터로 알고 있습니다. 그 이후로 많이 활용하고 있는데 그전에는 직접 손으로 종이에 그리는 방식으로 했는데, 수정에 어려움이 있었고, 작업 시간도 오래 걸렸었죠. 컴퓨터 기반으로 작업하게 되다 보니, 많은 부분에서 효율적으로 됐습니다.
하지만 당시 프로그램은 미국에서 만든 거라 한국인 얼굴을 표현하기에는 데이터베이스에서부터 여러 가지 한계가 존재했었습니다. 그래서 한국형 몽타주 프로그램을 만들기 시작했고, 1998년경에 초기 프로그램이 개발되어, 이후 계속 조금씩 고도화를 진행하였습니다.
당시에는 매우 유용하게 활용됐는데 데이터베이스에 문제점이라든지 점점 합성에 있어 부자연스러운 느낌을 해소할 필요가 있어서, 기술은 계속 고도화되고 있고 기술의 업그레이드에 한계가 있어서 최신 기술의 개발로 인한 시스템 업그레이드 필요성이 높아졌습니다. 이에 경찰청에서 수요 제기하여 당시 국가 과제로 나왔고, 제가 책임자로 현재의 폴리스케치를 개발하게 된 겁니다. 폴리스케치는 2011년부터 2014년까지 연구개발을 거치고, 1년 반 정도의 보강 개발을 거친 후 2016년부터 공식적으로 경찰청에서 활용하고 있습니다.
[앵커]
제가 기사를 찾아보니까 폴리스케치에서 38년 전에 실종된 아들을 극적으로 찾아낸 70대 노모의 사례를 보기도 했어요. 이렇게 직접 개발한 프로그램이 일상 현장에서 쓰이고 있는 모습을 보면 참 보람을 많이 느끼실 것 같은데 언제 가장 보람을 느끼시는지 궁금하고요 앞으로 계획도 한 말씀 부탁할게요.
[인터뷰]
네. 실제로 저희가 개발된 기술을 통해서 38년 만에 가족 상봉을 이루었던 부분에서 굉장히 보람을 느꼈고요. 저희가 개발한 나이 변화를 통해서 분단에 오랜 기간 아픔을 겪고 있는 이산가족들에게 가상의 가족사진을 만들 기획을 진행해서 소중한 선물을 할 수 있게 되었던 기회가 있었습니다. 굉장히 큰 보람을 느꼈습니다.
그리고 여전히 많은 실종 아동이 오랜 기간 가정의 품으로 돌아가지 못해서 안타까운데요. 저희가 지금 실종된 아동과 함께 국내 장기 실종 아동에 현재 모습을 추종하는 잡업을 진행하고 있습니다.
초기 대응을 잘할 수 있도록 인공지능 기반 복합인지 기술도 개발하고 있어서 실종 발생 초기에 여러 CCTV로부터 빠른 발견을 가능하고 기존에 나이 변환 기술에 DNA 정보를 결합하여 새로운 나이 변환 기술을 통해서 더욱 정확한 현재 모습을 예측해서 하루 빨리 가족의 품으로 돌아갈 수 있도록 도움이 되는 기술을 개발하고 싶습니다.
[앵커]
보통 몽타주라고 하면 범인의 이미지만 떠오르곤 했는데 앞으로 이제 잃어버린 가족을 찾는 소중한 일에 도움이 된다고 하니까 폴리스케치에 발전에 더욱더 응원하겠습니다. 오늘 말씀 고맙습니다.
* 해당기사 보기