Abstract

• Deep Network Generated(DNG) 이미지를 구분하는 방법을 제안함.
• DNG 이미지와 진짜 이미지 간의 차이를 각 color components에 따라 구함.
• DNG 이미지를 식별하기 위해 color 이미지 통계를 캡쳐하는 feature set를 제안함.
• 또한 본 논문에서는 training-testing data가 이미지 source나 생성 모델, 진짜 이미지만으로의 detection에서 match 되었나 mismatch 되었나와 같은 몇몇 detection situation을 평가함.
• GAN 모델이 무엇인지 알 수 없을 때에 좋은 성능을 뽑아냄.

Introduction

GAN이 등장하며 머신러닝 기법을 적용해 생성된 이미지들의 퀄리티가 매우 높아졌으며, 진짜 이미지와 생성된 이미지의 구분이 쉽지 않아졌다. 이를 통해 가짜 뉴스 등이 만들어지기도 한다. 따라서 많은 딥페이크 문제들이 대두되었다.

본 논문에서는 카메라 이미징과 DNG 이미지의 차이를 고려해, 두 이미지 간의 상이 함을 확인하였고 색차 성분의 residual domain에서 더욱 구분이 쉽다는 것을 분석하였다.

따라서 본 논문의 contribution을 요약하자면

• DNG 이미지들은 카메라 이미징과 차이가 있기에 그 두 이미지간의 격차를 나타내고 분석하였다. 몇몇 color space의 adjacent pixels 사이의 correlation을 측정하여 두 이미지의 통계적 속성이 HSV 및 YCbCr color space간의 색차 구성 요소에서 차이가 난다는 것을 찾아내었다(차이는 residual domain에서 더 뚜렷함).
• 본 논문에서는 DNG 이미지 identification의 효과적인 feature set을 제안하였다. Feature set은 여러 color component의 residual 이미지에서 뽑아낸 co-occurrence matrices를 포함한다. 이는 차원이 낮고, 적은 training set으로도 좋은 성능을 발휘한다.
• 본 논문에서 다양한 detection 시나리오에서의 identification performance를 평가하였다. 제안된 method는 기존의 method와 비교하여 볼 때에 좋은 성능을 보였다. 특히 GAN 모델을 알 수 없을 경우에도 좋은 결과를 뽑아내었다.

DNG Image Identification

Analysis from the Perspective of Color

The generation pipeline DNG images

DNG 이미지를 진짜 이미지와 구분하기 위해서는 GAN이 이미지를 생성하고 남은 결함을 찾아야 한다. GAN 모델 중 생성자의 마지막 layer에서, 몇몇 feature map이 3-channel(R, G, B)의 tensor으로 변화한다. 이 과정에서 convolution operation이 DNG 이미지에 고유 속성을 입힌다. 반면 카메라로 찍은 진짜 이미지의 pixel은 본질적으로 다른 방식으로 correlated 되어야 한다. 즉 진짜 이미지와 DNG 이미지는 본질적으로 다를 수 있다는 것이다.

Discernibility of color component

GAN은 이미지를 RGB 공간에서 생성하기에 다른 color space의 properties에는 주의를 덜 기울이게 된다. 따라서 본 논문에서는 이미지를 RGB, HSW, YCbCr 등의 공간에서 분석하였다. 또한 어떤 color component가 DNG 이미지를 구분하는데 효과적인지 실험하는 metric을 사용하였다.