본문 바로가기

전체 글

ADAM: A METHOD FOR STOCHASTIC OPTIMIZATION 2024. 10. 16. 19:04 이 논문은 2015년 ICLR에 발표된 연구이다. 딥러닝 Loss function 최적화 알고리즘의 정석으로 자리잡은 Adam 옵티마이저에 대한 논문이다.Adam 알고리즘은 lower-order 모멘텀 바탕의 adaptive 측정을 기본으로한 일계도함수(first-order gradient-based optimization)를 활용한 확률적 목적함수 최적화이다. 기울기의 diagonal rescaling에 불변하고 데이터나 파라미터가 커도 잘 적용된다. 논문을 이미 한번 읽은 상황이긴해도 diagonal rescaling에 불변하다는 것이 무슨 의미인지 이해가 잘 안가 chatgpt에게 물어봤다. 결과적으로는 서로 다른 가중치를 알고리즘이 보정한다는 것이다. 그리고 Adam은 온라인 학습같이 시간에 따라..
Layer normalization 2024. 9. 17. 23:01 Layer normalization (레이어놈)은 Batch normailzation (배치놈)의 단점을 극복하기 위해 고안된 방법이다. 2016년 발표된 논문으로 12000회 이상 인용되었고 Transformer 구조에도 포함된 정규화 방법이다. 매우 유명한 방법이라는 이야기이다.배치놈은 Internal Covariate Shift 문제를 해결하기 위한 배치 단위의 정규화 방법이다. 모델을 학습할 때 입력 값은 가중치가 곱해지고 bias 더해진 뒤 활성화 함수를 거쳐 출력이 된다. 다음 층에서는 이전 층의 출력으로 다시 학습해야 하는데, 값이 계산되는 과정(입력->출력)을 거치면서 값들의 분포가 조금씩 달라지게 된다. 이러한 변화는 일종의 snowball로서 층이 깊다면 처음 입력에 비해 값들의 분포..
Effective Approaches to Attention-based Neural Machine Translation 2024. 7. 28. 21:38 논문을 읽은 지는 몇달 되었는데, 오랜 기간후에 정리를 한다.연구 당시에는 신경망 기계번역(Neural Machine Translation)방법론에서는 원천 문장에서 선택적으로 집중하는 방식으로 모델의 성능을 개선하고 있었다. 이에 더해 attention 방법을 바탕으로 한 구조에 대해 연구가 진행되고 있는데, 본 논문에서는 모든 원천 단어를 기준으로하는 global 접근과 전체 단어중 일부를 살펴보는 local 접근 방식의 attentional 메카니즘에 대해 연구했다. 영-독 번역 테스크에서는 local 방식으로 기존방식에 비해 5.0 BLEU 테스크를 초과하여 얻었다.기존의 NMT는 모든 단어를 읽은 뒤 문장의 끝을 나타내는 토큰을 만난 뒤로 번역된 단어를 생성하는 방식이다. NMT는 정교한 디코..
투영 projection 2024. 3. 20. 10:24 러너게인 블로그의 선형대수학을 공부하고 정리하기 위한 개인적인 글이다. 공부한 내용을 자꾸 잊어버린다.. 다시 블로그에 출력하면서 정리해보자. 자세하고 친절한 설명은 러너게인 블로그 본문을 참고바란다. 투영이란 어떤 벡터를 다른 공간(벡터)으로 투영하는 것으로 그림자가 바닥에 생기는 상황을 생각하면 된다. 해의 개수보다 방정식의 수가 많은 경우, 즉 Overdetermined case인 선형방적식에서 정확한 해를 구할 수 없는경우 근사해를 구하는 것이다. 투영행렬은 $P^2 = P, P^T = P$의 성질을 갖고 있다. 투영행렬의 식은 다음과 같다. $P = A(A^TA)^{-1}A^T$이다. 위 식을 유도하는 과정을 통해 투영행렬의 성질을 이해해보자. 우선 Overdetermined case는 $Ax=..
Human-level control through deep reinforcement learning 2024. 2. 19. 01:12 이 연구는 구글 딥마인드사가 개발한 강화학습 인공지능에 대해 작성하였다. 특히 Atari 게임에서 인공지능이 구석을 공략하는 사람들이 쓰는 일종의 게임 공략을 하는 모습으로 유명하다. 강화학습의 이론은 주어진 환경을 어떻게 최적화를 하는가를 다룬다. 현실 문제에 강화학습을 반영할 때 고차원의 입력을 효율적으로 표현(representation)해야하고 이전의 경험들을 새로운 상황에서 적용시켜야 한다. 사람이나 동물은 강화학습이나 계층적인 감각 처리 시스템(hierarchical sensory processing systems)을 조합하여 문제를 해결하는 것 처럼 보인다. 이 연구 이전에 강화학습 에이전트는 사람이 피쳐를 직접 가공해야하는 분야나 저차원의 데이터에 국한되었었는데, 저자들은 딥러닝(Q-netw..
End-To-End Momory Networks 2023. 11. 17. 14:50 저자들은 이전 연구에서 recurrent attention model을 도입하고 Memory Networks(MN)라고 이름붙였다. 이번 논문에서는 MN 모델을 end-to-end로 학습가능하도록 개선했다. 이를 통해 QA (question answering) 태스크와 언어 모델(language modeling)에 적용할 수 있었다. 저자들이 제안한 모델을 여러 층을 쌓아(multiple computational hops) 결과를 개선하였다. 논문 저술 당시의 인공지능 연구의 도전 과제는 장기의존성 문제를 처리하기 위해 여러개의 계산 단계로 구성가능하도록 모델을 만드는 것이었다. 당시에는 외부의 저장소(explicit storage)와 어텐션(attention)을 이용하는 것이 연구되었다. 저장소는 신경..
Fast R-CNN 2023. 10. 15. 12:39 이 논문은 RCNN(Region-based CNN) -> Fast R-CNN -> Faster R-CNN으로 이어지는 객체 검출(object detection)에 관한 연구를 다뤘다. 2015년 경에 연달아 해당 논문들을 게제하며 이전 논문들에서 갖고 있는 문제들을 해결했다. Fast R-CNN에서는 RCNN방법에 비해 더 나은 성능(mAP)를 보이면서 VGG16 모델을 9배 빠르게 학습하고 213배 빠르게 테스트할 수 있다. SPPnet에 비해서도 속도가 빠르고 성능이 좋다. 이 연구의 기여는 다음 그림 네가지이다. 이전 연구에서는 CNN으로 학습한 피쳐에 SVM을 분류기로 사용하여 모델의 처음부터 끝까지 학습이 되지 않는 2stage 문제가 있었고, 클래스 분류와 객체의 영역(bounding box)..
Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift 2023. 9. 16. 10:55 Batch normalization 논문으로 거의 5만회에 가깝게 인용되었다.배치 놈에 대한 이해는 혁펜하임님의 유툽 영상을 보면 쉽게 이해가 된다. 최고!딥러닝 모델을 학습할 때 각 층의 입력 분포(파라미터)가 매번 바뀌기 때문에 어려움이 있었다. LR을 낮추게 되어 학습 속도를 늦추게 되고 기울기가 saturation 되는 문제 때문에 초기 값을 설정하는데 과하게 어려운 문제가 있었다. (기울기가 너무 낮으면 전달되는 값이 급격히 작아지므로)  저자들은 이 문제를 internal covariate shift라 하고 미니배치 단위로 들어가는 layer 입력을 정규화(normalize)하여 해결하고자 하였다. 이 방법(BN)으로 LR을 크게 설정하고 초기 입력값도 크게 신경쓰지 않아도 되었다.  실험결과..

티스토리툴바