GAN

DL·ML
[GAN] Minibatch Discrimination
Introduction Minibatch Discrimination은 mode collapse(the Helvetica Scenario)를 해결하기 위한 방법 중 하나이다. Salimans et al.(2016)에 의해 제안되었다. 자세한 내용은 Improved Techniques for Training GANs를 참조하면 된다. GAN은 다른 deep learning model처럼 cost function이 낮아지는 값을 찾는 것이 아니라, generator와 discriminator가 Nash equilibrium을 가지는 지점을 찾는 것이 중요하다. 따라서 일반적인 gradient descent algorithm은 잘 converge하지 못한다. 따라서 위 논문에서는 여러가지 heuristic한 방..
→2023.01.21
DL·ML
[GAN] mode collapse
Introduction mode collapse는 generator가 several different input $z$를 same output point로 mapping하는 문제를 의미한다. 지금 내가 하고 있는 프로젝트에서 generator에 gaussian distribution(0,1)을 따르는 $z$를 넣었을 때 variance가 큰 결과값이 나오길 기대했다. 하지만 실제로 얻은 것은 다음과 같다. 목표했던 퀄리티의 image를 얻을 수 없기도 했지만, Figure 1에서 볼 수 있는 것처럼 거의 비슷한 이미지가 나온다. 학습 과정에서 사용한 gaussian distribution은 mean = 0에 std = 0.02를 사용하니까, 이 generated image에서는 $N(0,1)$을 사용하므..
→2023.01.10

• 이전
• 1
• 다음