본문 바로가기

papers/Vision

AN IMAGE IS WORTH 16X16 WORDS:TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE 2025. 7. 23. 19:08 ICML 2021 논문이다.트랜스포머가 자연어처리 태스크에 적용되어 기존 모델들이 가진 순차적인 처리, 장거리 의존성, 병렬처리 등의 한계를 해결하고 있었다. 딥러닝 연구에서 어떤 모델이 비전이나 자연어처리 같은 태스크에 자리를 잡으면 태스크를 바꿔서 적용하려는 시도가 있는데, 비전트랜스포머(ViT) 연구는 트랜스포머를 비전 태스크에 적용하고자 진행되었다. 구조는 꽤나 간단하다. 이미지를 고정된 크기의 패치로 나누고 각 패치를 layer를 추가하여 평탄화(flatten)한다. 이미지는 rgb 멀티채널 이기때문에 각 채널을 concat하고 선형사상(mlp)하여 트랜스포머에 입력가능하도록 한다. 그리고 위치 관계 추출에 능한 CNN과 구조가 다르기 때문에, 위치정보인 position embedding을 덧붙..
Unsupervised Visual Representation Learning by Context Prediction 2025. 3. 7. 14:01 이 논문은 공간적인 맥락(spatial context)을 이용해 시각 표현(visual representation)을 학습했다. 레이블이 없는 대규모 이미지 집합에서 랜덤한 쌍의 패치를 각 이미지에서 추출해 콘볼루션 네트워크를 학습하여 첫번째 패치에 대한 두번째 패치의 위치를 예측하였다. 이 태스크를 잘하기 위해서는 객체와 세부 사항을 학습시켜야 했다. 저자들은 이미지 내의 맥락을 이용한 특징 표현이 이미지 전체의 시각적인 유사성을 파악할 것이라는 가설을 증명한다. 예를들어 Pascal VOC 2011 탐지 데이터셋에서 고양이, 사람, 새 같은 객체를 비지도로 검출하는 작업을 했다. 더욱이 저자들의 모델은 RCNN 프레임워크에서도 사용 가능해 랜덤하게 초기화된 콘볼루션보다 성능 이점이 있다. 연구 ..
U-Net: Convolutional Networks for Biomedical Image Segmentation 2025. 2. 19. 20:50 U-Net 논문이다. 논문을 정리하기 전에 대략적으로 먼저 읽어보니 FCN에서 사용한 skip connection의 개념과 upsampling의 개념을 활용하였고 매우 적은양의 바이오 의료데이터라는 데이터의 도메인을 잘 이해하고 data augmentation 전략을 잘 수립한 것이 모델의 성능을 끌어올리는데 도움이 된듯하다.논문의 구성은 간단해 보이지만 지금 시점에서 10만회가 넘는 피인용수를 기록하고 있다.간단해 보인다는 것은 잘 정리 되었다는 뜻! 내가 보기에도 정리되지 못한 실험과 막연한 글쓰기로 리젝당한 경험이 있기에 롤 모델로 삼고 싶은 실험과 글쓰기 사례이다.contract path로 context를 포착하고 symmetric expanding path로 정확하게 위치를 포착한다(locali..
Fully Convolutional Networks for Semantic Segmentation 2025. 2. 13. 11:48 이 연구는 CNN 모델의 마지막에 Fully Connected Network를 덧붙여 분류문제로 해결하던 것을 개선하여 마지막 레이어도 Convolution 층을 덧붙여 end to end로 convolution 하도록 Fully Convolutional Networks(FCN)을 개발하였다. 픽셀단위의 위치 정보도 모델이 학습할 수 있도록 개선한 모델이다. 저자들은 의미(semantic information)를 깊은 층에서 coarse(엉긴, 조잡한?) 레이어와 세부적이고 정확한 segmentation을 얕은(shallow) 층에서 추출하는 레이어를 조합한 구조를 제안한다. CNN은 이미지 분류뿐아니라 bounding box 객체탐지, key point 예측, local correspondence 같..
You Only Look Once: Unified, Real-Time Object Detection 2024. 12. 18. 00:03 YOLO 모델은 네이버에서 인턴하던 19.12월 - 20.2월 사이에 당시 연구원들이 많이 보고 활용하고 있던걸로 기억하는 모델이다.도입부에서 저자는 YOLO 모델은 사람이 시각적으로 빠르고 정확하게 여러가지 일을 한다는 점에 착안하였다고 한다.이미지에서 객체가 어디에 있는지, 어떤 클래스의 객체인지 판별하는 모델중 동영상과 같은 real-time 분류가 가능한 속도의 모델이다. 초당 45개의 이미지 처리가 가능하고 작은 크기의 모델인 Fast YOLO는 초당 155 프레임의 처리가 가능하다. YOLO detection 모델은 (1) 이미지를 리사이징하고 (2) 컨볼루션 네트워크를 거쳐 (3) 모델의 신뢰도를 따라 계값을 설정한다.당시에 비슷한 역할의 모델로는 전체 이미지를 나눠서 작동하는 슬라이딩 윈..
Deep Residual Learning for Image Recognition 2024. 12. 10. 15:20 잔차학습의 개념을 이용해 깊은 층의 신경망(Resnet)을 학습한 연구이다. 저자는 Kaiming He로 구글 스칼라를 검색해보니 피인용수가 60만회가 넘는다. 84년생으로 매우 젊고 여러 기업들을 거쳐 현재는 MIT에 있는듯하다.저자들은 층(layer)를 학습하는데 있어 입력 층을 참조하는 방식으로 기존 수식을 변경하였다. 이 방법으로 더 깊은 층의 모델을 학습하였고 이미지넷(ImageNet) 데이터셋에서는 VGGnets 보다 깊은 152개의 층으로 3.57%의 에러율을 기록했다(with ensemble).이 연구의 대단한점은 개념이 정말 간단하다! 몇개의 층(block) 마다 입력을 더해주는 것이다. 모델은 층을 통과해도 이전 층과 신규 층의 차이(residual)만 학습하도록 유도해 더 깊은 층을 ..
Learning Deep Features for Discriminative Localization 2024. 11. 30. 01:02 이 논문 2015년 작성되었고 24년 11월 기준 12,000회가 넘는 인용을 기록하고 있다. Class Activation Mapping(CAM)으로 유명한 연구이고 CNN모델의 마지막 Fully connected layer를 제외한 컨볼루션에 Global Average Pooling(GAP)을 적용해 localization에 성과를 내었다. 저자들은 다양한 태스크의 실험을 했다. CNN모델은 localization에 강점이 있는데, 컨볼루션 층 다음 마지막 층에 분류를 위한 FCL가 연결되면 이 능력을 상실한다. 이를 유지하기 위해 FCL을 제거하고 GAP를 사용하는데, 이는 원래 오버피팅을 방지하기 위한 방법이다. 연구진은 이 네트워크가 regularizer 역할뿐 아니라 localization 능..
Fast R-CNN 2023. 10. 15. 12:39 이 논문은 RCNN(Region-based CNN) -> Fast R-CNN -> Faster R-CNN으로 이어지는 객체 검출(object detection)에 관한 연구를 다뤘다. 2015년 경에 연달아 해당 논문들을 게제하며 이전 논문들에서 갖고 있는 문제들을 해결했다. Fast R-CNN에서는 RCNN방법에 비해 더 나은 성능(mAP)를 보이면서 VGG16 모델을 9배 빠르게 학습하고 213배 빠르게 테스트할 수 있다. SPPnet에 비해서도 속도가 빠르고 성능이 좋다.이 연구의 기여는 다음 그림 네가지이다.이전 연구에서는 CNN으로 학습한 피쳐에 SVM을 분류기로 사용하여 모델의 처음부터 끝까지 학습이 되지 않는 2stage 문제가 있었고, 클래스 분류와 객체의 영역(bounding box)을..

티스토리툴바