2025/03 NICE: Non-linear Independent Component Estimation 2025. 3. 21. 14:46 나는 논문을 번역하여 정리하며 모르는 부분을 찾아서 공부한다. 보통 블로깅하기 전에 한번 빠르게 읽는데, 이 논문은 영어 번역이 어렵기보다는 사용되는 개념이 익숙하지 않았다. 초록은 아래와 같다. NICE는 고차원 확률밀도(high-dimensional densities)를 모델링하는 딥러닝 기반 프레임워크로, 데이터의 비선형 결정론적 변환(non-linear deterministic transformation)을 학습해 단순한 factorized distribution을 따르는 잠재공간(latent space)으로 변환하는 방식이다. 저자들은 Jacobian 행렬의 행렬식을 계산하기 위해 이 변환을 파라미터화하면서도 딥런이 기반의 간단한 블록을 도입해 비선형 변환 능력을 유지시켰다. 학습의 기준은 l.. Unsupervised Visual Representation Learning by Context Prediction 2025. 3. 7. 14:01 이 논문은 공간적인 맥락(spatial context)을 이용해 시각 표현(visual representation)을 학습했다. 레이블이 없는 대규모 이미지 집합에서 랜덤한 쌍의 패치를 각 이미지에서 추출해 콘볼루션 네트워크를 학습하여 첫번째 패치에 대한 두번째 패치의 위치를 예측하였다. 이 태스크를 잘하기 위해서는 객체와 세부 사항을 학습시켜야 했다. 저자들은 이미지 내의 맥락을 이용한 특징 표현이 이미지 전체의 시각적인 유사성을 파악할 것이라는 가설을 증명한다. 예를들어 Pascal VOC 2011 탐지 데이터셋에서 고양이, 사람, 새 같은 객체를 비지도로 검출하는 작업을 했다. 더욱이 저자들의 모델은 RCNN 프레임워크에서도 사용 가능해 랜덤하게 초기화된 콘볼루션보다 성능 이점이 있다. 연구 .. 이전 1 다음
