1. 딥페이크에 관하여

  • Deep Fake Image
  • Deep Fake Image
  • Deep Fake Image
  • Real Image

딥페이크(Deepfake)란?

Definition

컴퓨터 인공지능 (Artificial Intelligence, AI) 기술의 하나인 딥 러닝 (Deep Learning) 과 가짜 (Fake)의 합성어 (Deep + fake)로 보는 사람을 속이기 위해 만들어낸 실제하지 않는 사진, 영상 및 음성을 의미합니다. 딥페이크는 미국 온라인 커뮤니티 Reddit 에서 ‘18년 처음 사용되었고, AI 기술의 발달에 따라 눈으로 구별하기 어려운 수준의 사람, 동물 및 사물 이미지를 자연스럽게 구현하는 수준에 이르렀으며, 이를 통한 사실 왜곡의 우려가 날로 더해가고 있습니다.

딥페이크식별해야 할까요?

Why

딥페이크는 Generative Adversarial Network (GAN) 기반의 이미지 합성 기술을 활용하여, 유명 연예인을 비롯하여 각국의 지도자들을 대상으로 그들의 얼굴을 음란물의 신체와 합성하거나, 입모양과 음성을 조작하여 가짜 사진/영상을 배포하는 것에서 시작되었습니다. 기술의 발전으로 모바일 앱 등으로 더욱 쉽고 간편하게 고품질의 위변조가 가능해졌으며, 그 대상이 일반인으로까지 확장되고 있어 중대한 이슈로 떠오르고 있습니다. 국내에서는 지난 ‘20년 3월 N번방 사건을 통해 딥페이크 기술이 악용되어 연예인 및 일반인의 얼굴이 음란물에 합성, 유포된 피해 사례가 확인되었습니다. 또한 문재인 대통령, 박영선 장관 등 정치인이 딥페이크로 재현되어 공유되었고, 미국에서는 오바마 전 대통령이 트럼프 전 대통령을 비판하는 가짜 영상이 언론과 SNS를 통해 배포되는 등 진짜와 가짜 정보의 경계가 흐릿해지고 있습니다.

글로벌 리서치기관인 가트너 리포트 'Top Strategic Predictions'에 의하면, '20년에는 AI 기반 위변조 컨텐츠 생성 기술의 발전으로 디지털 불신을 초래할 것이며, ‘22년에는 대부분의 선진국민이 진짜 정보보다 가짜 정보를 더 많이 접하게 될 것이라고 예측했습니다. 또한, 미국 MIT 경영대학원 시난 아랄 교수는 실제 연구를 통해 가짜 뉴스가 진짜 뉴스 대비 6배 빨리 퍼진다는 것을 확인하였으며, 특히 지난 '16년 미 대선에서 온라인상 배포된 러시아 발 가짜뉴스로 인해 총기 사건까지 일어난 '피자 게이트' 사건을 언급하며, "가짜 뉴스가 유권자 투표 행위에 영향을 미쳤다는 사실을 충분히 추정할 수 있다"고 하였습니다.

아이엠피터 News [팩트체크] 북한 군인에게 90도 인사하는 간첩 문재인?
좌측에 남한사람 때문에 태워지는 인공기… 라는 글귀는 원래 국민생명안전 약속식 때 '안전 때문에 눈물짖는…' 이라는 글귀를 조작한 사례 (AI가 아닌 이미지 편집툴로 조작한 'Cheapfake' 사례)

특히, 2021년 서울/부산시장 보궐선거 및 2022년 대통령 선거를 앞둔 현 상황에서, 딥페이크는 우리 사회에 큰 위협으로 다가올 수 있습니다. 이에 저희는 진짜와 가짜의 판단이 어려운 딥페이크가 진실로 둔갑하여 언론과 SNS에 배포되는 것을 방지하기 위해 전문가 집단과의 협업을 통해 AI기반 딥페이크 검출 모델을 개발하였습니다. 저희는 일반 시민 여러분들의 제보를 바탕으로 인터넷에 무분별하게 유통되는 딥페이크를 검출하고, 진실된 정보의 유통을 위한 '2021 딥페이크 식별 캠페인'을 진행합니다. 본 캠페인의 목적은 다음의 세 가지입니다:

01

딥페이크의 발전으로 인한 위험성을 널리 알리고,

02

가짜 뉴스에 대한 경각심을 가질 수 있도록 피해 사례를 공유하며,

03

온라인상 배포되는 딥페이크를 검출하여 오직 진실된 정보를 유통합니다.

본 캠페인을 통해 모여진 데이터는 AI 및 딥페이크 검출 연구에 큰 도움이 될 것이며, 나아가 딥페이크 및 이로 인한 가짜 뉴스 방지에 유의미하게 사용될 것입니다. 여러분들의 많은 관심과 성원 부탁 드립니다.

딥페이크 검출을 위한 각국의 노력

해외에서는 이미 공공기관, 사기업, 학계 등에서 딥페이크에 대응하기 위한 사회적 노력을 시작했습니다.

  • 01

    딥페이크 검출 챌린지 및 캠페인

  • -'19년, 미국 국방부 산하 방위고등연구계획국 (DARPA)은 딥페이크 및 시각적 위험 대응 관련 'MediFor (Media Forensics)' 연구 프로그램 진행 이미지 / 영상 위변조 검출 및 데이터 무결성 유지 플랫폼 개발에 세계 유수 연구원의 참여 독려

    -'20년 3월, 미국 Facebook을 주축으로 Amazon, Microsoft등 IT 기업들과 버클리대, MIT, 코넬대 등 산·학 협업을 통해 딥페이크 검출 대회 (DFDC: Deepfake Detection Challenge) 개최 100만달러 상금 대상으로 2천여 연구원 참여, 약 3만 5천여개의 AI 모델 제출 1위 선정 모델의 경우 최고 65.18% 검출율 기록

    - '20년 11월, 비영리단체 AI Foundation 은 미국 대선을 앞두고 Reality Defender 2020 을 기획하여 딥페이크의 위험성을 알리고자 노력

  • 02

    딥페이크 및 가짜 뉴스 방지 법안 현재 여러 국가에서 딥페이크로 인한 가짜 정보의 유통을 막기 위한 법률을 제정하고 있습니다.

  • 미국 국기

    미국 버지니아주 ('19.7)

    딥페이크 포르노 유포 금지법 발효. 리벤지 포르노에 딥페이크를 포함하여, 이를 유포할 경우 징역 1년 및 2,500 USD 벌금형

    싱가포르 국기

    싱가포르 ('19.10)

    온라인상의 거짓과 조작으로부터 보호법 (POFMA) 발효. 악의적으로 거짓 정보를 퍼뜨린 개인의 경우, 최장 징역 10년 및 최대 10만 싱가포르달러 벌금형

    한국 국기

    한국 ('20.6)

    성폭력범죄의 처벌 등에 관한 특례법 (성폭력처벌법) 제 14조2 (허위 영상물 등의 반포 등) 시행. 딥페이크 허위 영상물 제작.반포 시 5년 이하 징역 또는 5,000만원 벌금형

2. 딥페이크 악용 사례

  • 03

    다음은 최근 널리 알려진 딥페이크 사례 입니다.

  • Oliver Taylor 가짜 뉴스 보도 이미지

    [로이터]

    Oliver Taylor 가짜 뉴스 보도 ('20.6)

    More

    Katie Jones 가짜 SNS 통한 스파이 활동 이미지

    [AP뉴스]

    Katie Jones 가짜 SNS 통한 스파이 활동 ('19.6)

    More

    대통령 연영상까지 가짜로 오인, 아프리카 가봉선 군부 쿠데타 이미지

    [Povo 뉴스]

    대통령 연설영상까지 가짜로 오인, 아프리카 가봉선 군부 쿠데타 ('19.1)

    More

[로이터]
Oliver Taylor 가짜 뉴스 보도 ('20.6)
로이터는 Jerusalem Post, Israel Times 등 중동 미디어를 통해 팔레스타인 인권 운동가에 대한 비난 기사를 기고한 유대인 출신 프리랜서 올리버 테일러가 실존하지 않는 가상 인물임을 확인했습니다.
Oliver Taylor 가짜 뉴스 보도 ('20.6)
가상의 인물을 앞세운 미디어 왜곡 사례는 이번 사례가 처음으로, 향후 정치나 사회적 이슈에 대한 검증 니즈가 증가할 것으로 예상됩니다. 특히 ’21년 보궐선거, ’22년 대통령 선거를 앞둔 우리나라는 딥페이크를 이용한 가짜 뉴스, 거짓 정보가 자칫 만연할 수 있으므로 사용자 및 언론사는 인터넷 상의 정보 해석에 한층 유의해야 하겠습니다.
[AP뉴스]
Katie Jones 가짜 SNS 통한 스파이 활동 ('19.6)
AP 통신은 딥페이크 이미지를 링크드인의 프로파일에 사용한 러시아의 온라인 간첩 활동을 보도했습니다.
Katie Jones 가짜 SNS 통한 스파이 활동 ('19.6)
케이티 존스 라는 인물은 미국 미시건대학교 문학 및 과학을 전공한 국제전략문제연구소 이력을 가진 인물로 설정되어 있었고, 미국 트럼프 대통령 휘하 비서, 상원의원 부관 등 정부 요직의 인물과 1촌 관계를 맺고 주요 정보를 탈취하려고 시도했습니다. 링크드인 외에도 페이스북, 트위터 등 소셜 네트워크 서비스에서 딥페이크가 악용될 경우 국가 차원의 주요 정보가 유출될 수 있음을 보여준 사례입니다.
실제 사용된 링크드인 프로필 분석 결과
[Povo 뉴스]
대통령 연설 영상까지 가짜로 오인,
아프리카 가봉에서 군부 쿠데타 ('19.1)
알리 봉고 가봉 대통령이 오랜 투병 생활 후 복귀하여, 2019년을 앞두고 국민들께 새해 인사 영상을 공개했습니다.
대통령 연설 영상까지 가짜로 오인,아프리카 가봉에서 군부 쿠데타
그러나 대통령의 부자연스러운 행동과 어눌한 말투로 인해 해당 영상의 진위 여부에 대한 논란이 일었고, 군대에서는 '대통령이 쓰러져 있는데 멀쩡한 상태인 척 하는 조작 영상인 것 같다'고 주장하며 쿠데타를 일으켰습니다. 그러나 이는 조작된 가짜 영상이 아닌 가봉 대통령의 실제 영상이었고, 쿠데타는 실패로 돌아갔습니다. 이는 진짜와 가짜 정보의 구분이 어려운 디지털 불신의 시대가 이미 도래했음을 증명하는 사례이며, 가짜 뉴스를 검증할 수 있는 사회적 도구 없이는 군사적 행동까지 이어질 수 있음을 보여준 사례입니다.

3. 제보|확인

여러분의 참여를 기다립니다.

온라인상 배포되는 딥페이크를 검출하고 진실된 정보를 유통하기 위해 여러분의 참여가 필요합니다. 네티즌, AI 연구원, IT 전문가 및 언론인 여러분의 관심과 성원을 부탁드립니다. 아래 '제보하기' 를 통해 딥페이크로 의심되는 사진 (이미지 파일) 이나 사진이 게시된 URL 을 보내주시면 저희가 개발한 AI 엔진으로 분석하여 그 결과를 전달드릴 예정이며 제보자 여러분께는 추첨을 통해 소정의 경품을 전달 드립니다.

4. 딥페이크 대응 연합 소개

저희는 딥페이크의 식별 및 검출을 위해 함께 협력 중입니다.

딥페이크 대응 연합 관련 문의사항이 있으시거나, 참여를 원하시는 기관이 있으시다면 메일로 연락 바랍니다.