Abstract

• 이전의 Image-to-Image translation task의 접근방법에서는 여러 도메인에 대한 학습을 진행할 때에 다수의 모델이 생성되어야만 했음.
• StarGAN에서는 동시에 여러 도메인의 데이터를 학습할 수 있고, 이것이 StarGAN에서 생성되는 이미지의 퀄리티를 높였음(결국 여러 모델들이 아닌 하나의 모델에 많은 데이터가 들어가기 때문에).

Star Generative Adversarial Networks

Multi-Domain Image-to-Image Translation

StarGAN의 최종 목표는 여러 도메인의 특징을 학습하는 generator G를 학습시키는 것이다. 따라서 G가 입력 이미지인 x를 타겟 도메인 c에 대한 출력 이미지인 y로 만들도록 학습한다($G(x,c)$→$y$). 컨디션인 c는 랜덤하게 생성되는데, 이는 G가 이미지 변환의 유연성을 가질 수 있게 하기 위해서이다.

Auxiliary classifier을 통해 discriminator이 여러 도메인을 컨트롤 할 수 있도록 한다.(source 와 domain label에 대한 확률분포를 생성한다)

Adversarial Loss : 생성된 이미지가 진짜 이미지와 구분되지 않도록 한다.

• $G(x,c)$ : $G$ 는 이미지의 생성자로써, input image인 $x$ 와 target domain label인 $c$ 를 입력 받아 이미지를 생성한다.
• $D_{src}(x)$ : $D$ 는 판별자로써, 진짜와 가짜 이미지를 판별한다. 본 논문에서는 $D_{src}(x)$ 를 $D$ 가 내보낸 source의 확률분포로 정의한다.
• 결국 $G$ 는 loss 값을 최소화 하려고 하며 $D$ 는 loss 값을 최대화 하려고 한다.

Domain Classification Loss

• input image인 $x$ 와 target domain label인 $c$ 를 통해 $x$ 를 output image인 $y$ 로 변환하는 것이 목표이다. 즉 생성된 이미지가 적절하게 domain $c$ 로 분류되도록 하는 것이다. → auxiliary classifier을 $D$ 위에 추가해 $D$ 와 $G$ 를 최적화할 때 classification loss를 부과한다.