본문 바로가기

papers/Deep learning

NICE: Non-linear Independent Component Estimation 2025. 3. 21. 14:46 나는 논문을 번역하여 정리하며 모르는 부분을 찾아서 공부한다. 보통 블로깅하기 전에 한번 빠르게 읽는데, 이 논문은 영어 번역이 어렵기보다는 사용되는 개념이 익숙하지 않았다. 초록은 아래와 같다. NICE는 고차원 확률밀도(high-dimensional densities)를 모델링하는 딥러닝 기반 프레임워크로, 데이터의 비선형 결정론적 변환(non-linear deterministic transformation)을 학습해 단순한 factorized distribution을 따르는 잠재공간(latent space)으로 변환하는 방식이다. 저자들은 Jacobian 행렬의 행렬식을 계산하기 위해 이 변환을 파라미터화하면서도 딥런이 기반의 간단한 블록을 도입해 비선형 변환 능력을 유지시켰다. 학습의 기준은 l..
Distilling the Knowledge in a Neural Network 2025. 1. 30. 16:53 이 논문은 제프리 힌튼과 제프 딘 등이 참여한 논문으로 지식증류(knowledge distillation) 기법을 다룬 연구이다. 모델 학습할때는 최대한 많은 데이터를 크고 깊은 모델에 학습시키면 좋은 성능의 결과가 나오겠지만, 실제 서비스에 배포할때 큰 모델을 사용하면 비용과 추론시간(latency)의 문제가 생긴다는 문제점을 해결한다.직관적으로 논문을 설명하자면 학습은 크게, 서비스는 작게 하면 효과적이다. 이에 큰 모델(cumbersome model, 추후에는 teacher model)을 학습해 지식을 증류(distilled model, student model)한다.이 연구에서는 soft target이라는 개념을 도입한다. 딥러닝 학습과정 중 클래스 분류를 위한 Cross entropy 비용함수를..
XGBoost: A Scalable Tree Boosting System 2024. 11. 7. 10:20 XGBoost 논문에 대한 리뷰이다. 논문 공부는 원문 읽기와 Youtube 영상, ChatGPT와의 질의응답으로 커버가 되는 듯하다. 이번 글에서는 논문의 2장에 해당하는 알고리즘 부분에 집중해서 리뷰할 예정이다. 완벽히 이해는 못한 상태라 우선 글로 적고 나중에 채워나가려 한다.저자들은 이 연구의 기여에 대해 4가지로 강조한다. 단순히 알고리즘만 제안한 것이 아니라 하드웨어 차원에서 최적화를 수행하는 방안(cache-aware block structure)을 제시하였다.- We design and build a highly scalable end-to-end tree boosting system.- We propose a theoretically justified weighted quantile sk..
ADAM: A METHOD FOR STOCHASTIC OPTIMIZATION 2024. 10. 16. 19:04 이 논문은 2015년 ICLR에 발표된 연구이다. 딥러닝 Loss function 최적화 알고리즘의 정석으로 자리잡은 Adam 옵티마이저에 대한 논문이다.Adam 알고리즘은 lower-order 모멘텀 바탕의 adaptive 측정을 기본으로한 일계도함수(first-order gradient-based optimization)를 활용한 확률적 목적함수 최적화이다. 기울기의 diagonal rescaling에 불변하고 데이터나 파라미터가 커도 잘 적용된다. 논문을 이미 한번 읽은 상황이긴해도 diagonal rescaling에 불변하다는 것이 무슨 의미인지 이해가 잘 안가 chatgpt에게 물어봤다. 결과적으로는 서로 다른 가중치를 알고리즘이 보정한다는 것이다. 그리고 Adam은 온라인 학습같이 시간에 따라..
Layer normalization 2024. 9. 17. 23:01 Layer normalization (레이어놈)은 Batch normailzation (배치놈)의 단점을 극복하기 위해 고안된 방법이다. 2016년 발표된 논문으로 12000회 이상 인용되었고 Transformer 구조에도 포함된 정규화 방법이다. 매우 유명한 방법이라는 이야기이다.배치놈은 Internal Covariate Shift 문제를 해결하기 위한 배치 단위의 정규화 방법이다. 모델을 학습할 때 입력 값은 가중치가 곱해지고 bias 더해진 뒤 활성화 함수를 거쳐 출력이 된다. 다음 층에서는 이전 층의 출력으로 다시 학습해야 하는데, 값이 계산되는 과정(입력->출력)을 거치면서 값들의 분포가 조금씩 달라지게 된다. 이러한 변화는 일종의 snowball로서 층이 깊다면 처음 입력에 비해 값들의 분포..
Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift 2023. 9. 16. 10:55 Batch normalization 논문으로 거의 5만회에 가깝게 인용되었다.배치 놈에 대한 이해는 혁펜하임님의 유툽 영상을 보면 쉽게 이해가 된다. 최고!딥러닝 모델을 학습할 때 각 층의 입력 분포(파라미터)가 매번 바뀌기 때문에 어려움이 있었다. LR을 낮추게 되어 학습 속도를 늦추게 되고 기울기가 saturation 되는 문제 때문에 초기 값을 설정하는데 과하게 어려운 문제가 있었다. (기울기가 너무 낮으면 전달되는 값이 급격히 작아지므로) 저자들은 이 문제를 internal covariate shift라 하고 미니배치 단위로 들어가는 layer 입력을 정규화(normalize)하여 해결하고자 하였다. 이 방법(BN)으로 LR을 크게 설정하고 초기 입력값도 크게 신경쓰지 않아도 되었다. 실험결과..

티스토리툴바