보호되어 있는 글입니다.

Introduction language model의 loss를 정의하는 것은 어려운 일이다. 단순한 token의 차이로는 좋은 loss를 얻기 어렵고, BLEU나 ROUGE로 측정하고 있지만 이 경우에도 단순 비교를 통해서 얻기 때문에 정확하지 않은 점이 많다. RLHF(Reinforcement Learning from Human Feedback)은 이런 점을 개선하여 사람의 feedback으로부터 모델이 학습할 수 있도록 한다. RLHF는 task alignment를 위해 사용하는 방법으로, pretrained LM에 대해 사용한다. 다양한 instruction에 대해서 반응할 수 있는 형태여야 한다. 그 다음, 사람의 preference를 반영한 reward model을 만든다. Reward Mode..

visual genome dataset은 문제가 많다. . API 지원도 2023년부로 중단되었다. relationship의 index가 밀리는 문제 이거 때문에 학습이 잘 안 됐었는데 뒤쪽으로 갈 수록 VG-SGG.h5에서 얻은 vg-sgg['img_to_first_rel'][img_idx]와 vg_sgg['img_to_last_rel'][img_idx]의 relation list와 img_idx가 안 맞기 시작해서 나중엔 4개까지 차이가 난다. 이거 때문에 학습이 잘 안 되어서 고민이 많았는데, 이런 식이다. 하나의 relationship의 두 개의 bounding box를 그리라고 한 건데, 뭘 그린 box인지 알 수 없다. 각각 label은 813158 cup과 813164 plate로 출력된다...

https://arxiv.org/abs/1809.07041 Exploring Visual Relationship for Image Captioning It is always well believed that modeling relationships between objects would be helpful for representing and eventually describing an image. Nevertheless, there has not been evidence in support of the idea on image description generation. In this paper, we arxiv.org 논문을 재구현한다. Semantic Relationship Graph Res4b22 ..

https://arxiv.org/abs/2010.11929 An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale While the Transformer architecture has become the de-facto standard for natural language processing tasks, its applications to computer vision remain limited. In vision, attention is either applied in conjunction with convolutional networks, or used to rep arxiv.org Abstract 이 논문이 나온 21년도 ..

https://arxiv.org/abs/1809.07041 Exploring Visual Relationship for Image Captioning It is always well believed that modeling relationships between objects would be helpful for representing and eventually describing an image. Nevertheless, there has not been evidence in support of the idea on image description generation. In this paper, we arxiv.org Abstract GCN과 LSTM을 결합한 architecture를 이용하여 sema..

https://arxiv.org/abs/1905.00067 MixHop: Higher-Order Graph Convolutional Architectures via Sparsified Neighborhood Mixing Existing popular methods for semi-supervised learning with Graph Neural Networks (such as the Graph Convolutional Network) provably cannot learn a general class of neighborhood mixing relationships. To address this weakness, we propose a new model, MixHop, arxiv.org Summary ..

Introduction Minibatch Discrimination은 mode collapse(the Helvetica Scenario)를 해결하기 위한 방법 중 하나이다. Salimans et al.(2016)에 의해 제안되었다. 자세한 내용은 Improved Techniques for Training GANs를 참조하면 된다. GAN은 다른 deep learning model처럼 cost function이 낮아지는 값을 찾는 것이 아니라, generator와 discriminator가 Nash equilibrium을 가지는 지점을 찾는 것이 중요하다. 따라서 일반적인 gradient descent algorithm은 잘 converge하지 못한다. 따라서 위 논문에서는 여러가지 heuristic한 방..

Introduction mode collapse는 generator가 several different input $z$를 same output point로 mapping하는 문제를 의미한다. 지금 내가 하고 있는 프로젝트에서 generator에 gaussian distribution(0,1)을 따르는 $z$를 넣었을 때 variance가 큰 결과값이 나오길 기대했다. 하지만 실제로 얻은 것은 다음과 같다. 목표했던 퀄리티의 image를 얻을 수 없기도 했지만, Figure 1에서 볼 수 있는 것처럼 거의 비슷한 이미지가 나온다. 학습 과정에서 사용한 gaussian distribution은 mean = 0에 std = 0.02를 사용하니까, 이 generated image에서는 $N(0,1)$을 사용하므..