DL·ML
HyperSeg (arXiv preprint, seg)
Abstract HyperSeg는 image, video scenario 모두에서 동작하는 VLM-based universal segmentation model이다. HyperSeg에서는 hybrid entity recognition module과 fine-grained visual perceiver module을 사용한다. Motivation기존 MLLM-based segmentation 방법론들은 한정된 domain 내에서만 동작한다는 limitation이 있다. HyperSeg에서는 text prompt와 visual prompt(box, mask, etc)를 모두 사용하는 task를 해결한다. 또한 여러 visual domain의 문제를 풀기 위해서 세 가지 방법론을 사용한다: 1. 기존 enc..
Jaccrad Index(IoU)와 F1/Dice, Coutour Accuracy(F)
segmentation task에서 주로 사용하는 metric으로 Jaccard Index(IoU)와 F-score가 있다. 본 글에서는 각각을 이해하고 특징을 살펴본다.Jaccard IndexJaccard index는 [1]에서 처음 정의되어 사용되었으며, Intersection over Union(IoU)로도 불린다. 이는 다음과 같이 정의된다:$$ \frac{TP}{TP+FP+FN}$$ 즉 Jaccard index는 다음과 같이 이해될 수도 있다:$$\frac {A\cap B}{A\cup B}$$ 만약 $A$와 $B$와 완전히 겹쳐져 있으면 1이 나오고, intersect하는 구역이 전혀 없을 경우 0이 나올 것이다. F1 / Dice scoreF1 score는 [2]에서 정의되었으며, 다음과 같..
VISA (ECCV 2024, RVOS)
https://arxiv.org/abs/2407.11325v1 VISA: Reasoning Video Object Segmentation via Large Language ModelsExisting Video Object Segmentation (VOS) relies on explicit user instructions, such as categories, masks, or short phrases, restricting their ability to perform complex video segmentation requiring reasoning with world knowledge. In this paper, we introducarxiv.orgAbstractreasoning video object ..
VideoLISA (NeurIPS 2024,VOS)
Abstract기존의 LISA를 video domain에 확장하여 사용한다. → temporal dimension에 적용하기 위해서 Sparse Dense Sampling strategy를 video LLM에 적용한다.One-Token-Seg-All approach를 제안한다. ReasonVOS benchmark를 제안한다. MotivationSparse Dense Sampling strategyvideo는 당연히 expensive한데, 여기서 활용하는 intuition은 adjacent frames는 temporal redundancy를 가지고 있다는 것이다. 이를 이용하는 방법으로 Sparse Dense Sampling strategy를 제안한다. dense frame을 uniform하게 sampli..
MoRA (arXiv preprint, STVG)
https://arxiv.org/abs/2411.09921 Motion-Grounded Video Reasoning: Understanding and Perceiving Motion at Pixel LevelIn this paper, we introduce Motion-Grounded Video Reasoning, a new motion understanding task that requires generating visual answers (video segmentation masks) according to the input question, and hence needs implicit spatiotemporal reasoning and groundingarxiv.org AbstractMotion-G..
VTP(EMNLP 2024, STVG)
AbstractWeakly-supervised Spatio-Temporal Video Grounding(WS-STVG) task는 기존의 STVG task와 비슷하나, densely annotated training data 없이 수행하는 방법을 의미한다. VTP(Video-Text Prompting)을 제안하여 candidate feature를 생선한다. 이는 tube를 만들기 위해서 video prompt를 red circle과 같은 visual marker로 추가하는 형태이다.candidate feature끼리 비슷하게 보이는 경우에는 constrastive VTP(CVTP)를 제안하여 해결했다. Motivationweakly supervised STVG는 heavily annotated data..