IR Reasoner (CVPRW 2023, IR OD)

 

 

Motivation

Figure 1: GT and visualization of class activation maps.

Methods

Figure 2: Overall architecture of the Reasoner model.

 

reasoner module이라고 거창하게 써 있는데 그냥 YOLO에 transformer variation 붙인 형태이다.

 

 

Experiments

 

 

당연히 뒤에 transformer를 붙였으니 성능은 올라가고 fps는 낮아질 것이다.

 

Fig 3, 4, 5는 cherry-picked인 것 같다.

 

 

Discussion

근데 왜 ViT를 안쓰는거야? 

→ 연구실 선배가 ViT는 scability가 좋은거지, 모델이 무겁고 데이터가 적은 OD 상황에서는 맞지 않는다고 조언해주심. 

 

 

---

References

[1] M. M. Gündoğan, T. Aksoy, A. Temizel and U. Halici, "IR Reasoner: Real-time Infrared Object Detection by Visual Reasoning," 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), Vancouver, BC, Canada, 2023, pp. 422-430, doi: 10.1109/CVPRW59228.2023.00048. 

Footnotes