Image generation model이 발전함에 따라 보안 문제들이 대두되었다. 따라서 이러한 이미지들이 위조 이미지인지 진짜인지 구분하는 것이 중요해졌다.
본 논문에서는 이 문제들을 해결하기 위한 효과적인 방안으로 deep neural network 인 deep forgery discriminator(DeepFD)을 제안하였다.
새로운 GAN 모델의 가짜 이미지들은 기존의 데이터를 통해 학습 시킨 discriminator 모델에서 구분하기 어려운 경우가 많다. 이러한 문제를 해결하기 위해 다른 GAN에서 생성한 이미지를 contrastive loss를 사용해 공통적으로 구분되는 특징을 학습한다.
본 논문의 contribution은 다음과 같다.
상기된 이미지는 DeepFD의 flowchart를 나타낸다. 해당 flowchart에서는 2가지 단계의 학습이 진행된다. 먼저 contrastive loss에 기초하여 discriminative feature인 $D_1$ 을 학습하기 위해 여러 GAN에서 만들어진 딥페이크 이미지와 진짜 이미지들을 모은다. 그 후, discriminator인 $D_2$ 는 가짜 이미지를 구분하기 위해 $D_1$ 과 concatenate 될 것이다. 테스트 단계에서 $D_1$ 와 $D_2$ 를 통해 이미지가 진짜인지 가짜인지 구분하는 것은 간단하다.
$D_1$ 과 $D_2$ 의 네트워크 아키텍쳐의 디테일은 다음과 같다.
Classifier $D_2$ 는 $D_1$ 의 4번째 layer에 concatenate 된다.
$M$ 개의 GAN에서 얻은 학습 데이터셋을 $X_{fake} = [x^{k=1}{i=1},x^{k=1}{i=2},...,x^{k=1}{i=N_1},...,x^{k=M}{i=N_M}]$ 이라고 가정하자($N_k$ 의 생성된 이미지).
진짜 이미지와 가짜 이미지가 포함된 학습 이미지 개수의 합은 $N_T=N_r+N_f=N_r + \sum^M_{k=1}N_k$ 이다. 레이블 $y=[y_1,y_2,...,y_{N_T}]$ 은 진짜($y=1$)와 가짜($y=0$)로 이루어진다. Pairwise information 을 learning architecture로 통합하기 위해, $C(N_T,2)$ pair(covariance) 이 pairwise information인 $P=[p_{i=0,j=0},p_{i=0,j=1},...,p_{i=0,j=N_r},...,p_{i=N_f,j=N_r}]$ 에 있다.