전체 글

The Linear Explanation of Adversarial ExamplesGoodfellow et al.은 이 논문에서 adversarial example이 가능한 것은 high-dimensional space에서 linear behavior를 보이기 때문이라고 설명한다. linearity는 model의 model의 train을 용이하게 하지만 vulnerability를 크게 만든다.  linear model에서의 adversarial example의 existence는 다음과 같이 보일 수 있다. 일반적인 경우 input feature의 precision은 1/255로 제한되고 그 이하의 값은 discard된다. 따라서 feature의 precision보다 작은 perturbation $η, ..

IntroductionAdversarial attack은 machine learning algorithm이 올바르지 않은 행동을 하도록 만드는 공격을 의미한다. 특히 Deep neural network의 경우에는 adversarial attack에 대해 vulnerable하다고 알려져 있는데, 각종 핵심 기능에 사용되는 DNN 모델의 특성 상 security가 강하게 요구된다. 따라서 이를 방어하는 방법을 adversarial defense라고 하고 이 모든 분야를 합쳐 adversarial machine learning이라고 한다.  처음 이 vulnerability가 제안된 것은 Szegdy et al.[2] 의 dnn에서의 image classification task이다. image에 target..

3일차에는 Yosemite national park를 방문했다. 새벽에 Uber를 타고 한국인 가이드를 만나 이동했다. 가이드는 젊은 한국인 남성이었는데, 원래 mechanical engineering쪽 일을 하다가 가이드를 하게 되었다고 했다. 무슨 이유였는지는 기억나지 않는다. 가는 중에 사진을 찍지는 않았는데, 들판과 언덕이 광활하게 펼쳐져 있었다. Windows XP의 desktop image가 이 San Franciso의 언덕을 찍은 것이라고 한다. 이외에도 내가 지금까지 알고 있던 것들이 미국의 로컬인 것들이 꽤 있었는데, 묘한 기분이 들었다. 신기하기도 하고, 박탈감 같은 느낌이 들기도 하고.. Yosemite에 도착해서는 꽤 오래 걸려 입장하였다. 줄이 길지는 않았는데 줄어드는 속도가 꽤 ..

2일 차에는 San Franciso를 방문했다. California에서 Los Angeles와 San Franciso는 가장 큰 도시들 중 하나이다. San Franciso는 LA보다는 더 위에 있는데 지도상으로는 가까워 보여도 차량으로 5시간 정도 이동한 것으로 기억한다. 셔틀을 기다리던 중 멋진 카우보이 모자를 쓰고 있는 키 큰 남자가 있어 말을 걸었다. 스타일이 좋다고 칭찬하니 기쁜 듯 자기 친구가 직접 만든 옷이라며 단추의 디테일을 보여주었다. 사진을 찍지는 못했지만 클래식한 스타일의 가죽제 멋진 옷이었다. 셔틀이 안 와서 놓칠 뻔했는데 그 남자의 도움으로 탈 수 있었다. 나중에 보니 그는 안 오고 그의 동행으로 보이던 긴 머리 남자만 동승했다. 그 사람에게도 말을 걸고 싶었으나 introvert..

* 240628-240707 * 1일 차 - LA 공항 도착 및 코리아타운 체크아웃 - downtown LA 미국은 개인적으로 가깝고도 멀게 느껴지는 나라인데, 언어나 정서 문화적으로는 가깝지만 그 실재는 멀게 느껴지고는 했던 것이다. 이번의 물리적 체험은 체화하지 않고는 와닿지가 않던 미국을 제대로 배우는 경험이었다.사실 미국에서도 LA는 특히 가깝게 생각되는 것이 내 소년기를 Los Santos에서 보냈기 때문이었다. 첫 문구는 로만의 welcome to America를 기대했으나 문구가 길어 좋지 않은 느낌이 있었다.LA 공항을 거쳐 Uber를 타고 코리아타운에 도착한 뒤 찍은 사진이다. 코리아타운과 리틀 도쿄를 비롯한 immigrant들의 거주지역과 히스패닉이 중심인 LA는 의외로 미국=영어 공식..

Motivation  LLaVA에서 충분히 explore되지 않았던 부분을 다룬다. LMM(Large Multimodal Models)를 general-purpose assistant로 만들기 위해 가장 좋은 training design choice가 무엇인지 확인한다. 먼저 LLaVA의 vision-language connector는 linear projection으로 사용되었는데, 이것이 좋은 성능을 보임을 증명하고 개선한다. 그 후 LMM의 open problem에 대해서 explore하는데 이는 구체적으로 다음과 같다: 1) Scaling to high-resolution image inputs; high-resolution image로 scaling하는 것은 image를 diving into g..