티스토리

Friday is awesome.

검색하기

블로그 홈

Friday is awesome.

t4716.tistory.com/m

축구왕농구킹 님의 블로그입니다.

구독자: 0

방명록 방문하기

주요 글 목록

XGBoost: A Scalable Tree Boosting System XGBoost 논문에 대한 리뷰이다. 논문 공부는 원문 읽기와 Youtube 영상, ChatGPT와의 질의응답으로 커버가 되는 듯하다. 이번 글에서는 논문의 2장에 해당하는 알고리즘 부분에 집중해서 리뷰할 예정이다. 완벽히 이해는 못한 상태라 우선 글로 적고 나중에 채워나가려 한다.저자들은 이 연구의 기여에 대해 4가지로 강조한다. 단순히 알고리즘만 제안한 것이 아니라 하드웨어 차원에서 최적화를 수행하는 방안(cache-aware block structure)을 제시하였다.- We design and build a highly scalable end-to-end tree boosting system.- We propose a theoretically justified weighted quantile sk.. 공감수 4 댓글수 3 2024. 11. 7.
ADAM: A METHOD FOR STOCHASTIC OPTIMIZATION 이 논문은 2015년 ICLR에 발표된 연구이다. 딥러닝 Loss function 최적화 알고리즘의 정석으로 자리잡은 Adam 옵티마이저에 대한 논문이다.Adam 알고리즘은 lower-order 모멘텀 바탕의 adaptive 측정을 기본으로한 일계도함수(first-order gradient-based optimization)를 활용한 확률적 목적함수 최적화이다. 기울기의 diagonal rescaling에 불변하고 데이터나 파라미터가 커도 잘 적용된다. 논문을 이미 한번 읽은 상황이긴해도 diagonal rescaling에 불변하다는 것이 무슨 의미인지 이해가 잘 안가 chatgpt에게 물어봤다. 결과적으로는 서로 다른 가중치를 알고리즘이 보정한다는 것이다. 그리고 Adam은 온라인 학습같이 시간에 따라.. 공감수 2 댓글수 3 2024. 10. 16.
Layer normalization Layer normalization (레이어놈)은 Batch normailzation (배치놈)의 단점을 극복하기 위해 고안된 방법이다. 2016년 발표된 논문으로 12000회 이상 인용되었고 Transformer 구조에도 포함된 정규화 방법이다. 매우 유명한 방법이라는 이야기이다.배치놈은 Internal Covariate Shift 문제를 해결하기 위한 배치 단위의 정규화 방법이다. 모델을 학습할 때 입력 값은 가중치가 곱해지고 bias 더해진 뒤 활성화 함수를 거쳐 출력이 된다. 다음 층에서는 이전 층의 출력으로 다시 학습해야 하는데, 값이 계산되는 과정(입력->출력)을 거치면서 값들의 분포가 조금씩 달라지게 된다. 이러한 변화는 일종의 snowball로서 층이 깊다면 처음 입력에 비해 값들의 분포.. 공감수 1 댓글수 2 2024. 9. 17.
Effective Approaches to Attention-based Neural Machine Translation 논문을 읽은 지는 몇달 되었는데, 오랜 기간후에 정리를 한다.연구 당시에는 신경망 기계번역(Neural Machine Translation)방법론에서는 원천 문장에서 선택적으로 집중하는 방식으로 모델의 성능을 개선하고 있었다. 이에 더해 attention 방법을 바탕으로 한 구조에 대해 연구가 진행되고 있는데, 본 논문에서는 모든 원천 단어를 기준으로하는 global 접근과 전체 단어중 일부를 살펴보는 local 접근 방식의 attentional 메카니즘에 대해 연구했다. 영-독 번역 테스크에서는 local 방식으로 기존방식에 비해 5.0 BLEU 테스크를 초과하여 얻었다.기존의 NMT는 모든 단어를 읽은 뒤 문장의 끝을 나타내는 토큰을 만난 뒤로 번역된 단어를 생성하는 방식이다. NMT는 정교한 디코.. 공감수 0 댓글수 0 2024. 7. 28.
투영 projection 러너게인 블로그의 선형대수학을 공부하고 정리하기 위한 개인적인 글이다. 공부한 내용을 자꾸 잊어버린다.. 다시 블로그에 출력하면서 정리해보자. 자세하고 친절한 설명은 러너게인 블로그 본문을 참고바란다. 투영이란 어떤 벡터를 다른 공간(벡터)으로 투영하는 것으로 그림자가 바닥에 생기는 상황을 생각하면 된다. 해의 개수보다 방정식의 수가 많은 경우, 즉 Overdetermined case인 선형방적식에서 정확한 해를 구할 수 없는경우 근사해를 구하는 것이다. 투영행렬은 $P^2 = P, P^T = P$의 성질을 갖고 있다. 투영행렬의 식은 다음과 같다. $P = A(A^TA)^{-1}A^T$이다. 위 식을 유도하는 과정을 통해 투영행렬의 성질을 이해해보자. 우선 Overdetermined case는 $Ax=.. 공감수 0 댓글수 0 2024. 3. 20.
Human-level control through deep reinforcement learning 이 연구는 구글 딥마인드사가 개발한 강화학습 인공지능에 대해 작성하였다. 특히 Atari 게임에서 인공지능이 구석을 공략하는 사람들이 쓰는 일종의 게임 공략을 하는 모습으로 유명하다. 강화학습의 이론은 주어진 환경을 어떻게 최적화를 하는가를 다룬다. 현실 문제에 강화학습을 반영할 때 고차원의 입력을 효율적으로 표현(representation)해야하고 이전의 경험들을 새로운 상황에서 적용시켜야 한다. 사람이나 동물은 강화학습이나 계층적인 감각 처리 시스템(hierarchical sensory processing systems)을 조합하여 문제를 해결하는 것 처럼 보인다. 이 연구 이전에 강화학습 에이전트는 사람이 피쳐를 직접 가공해야하는 분야나 저차원의 데이터에 국한되었었는데, 저자들은 딥러닝(Q-netw.. 공감수 0 댓글수 0 2024. 2. 19.
End-To-End Momory Networks 저자들은 이전 연구에서 recurrent attention model을 도입하고 Memory Networks(MN)라고 이름붙였다. 이번 논문에서는 MN 모델을 end-to-end로 학습가능하도록 개선했다. 이를 통해 QA (question answering) 태스크와 언어 모델(language modeling)에 적용할 수 있었다. 저자들이 제안한 모델을 여러 층을 쌓아(multiple computational hops) 결과를 개선하였다. 논문 저술 당시의 인공지능 연구의 도전 과제는 장기의존성 문제를 처리하기 위해 여러개의 계산 단계로 구성가능하도록 모델을 만드는 것이었다. 당시에는 외부의 저장소(explicit storage)와 어텐션(attention)을 이용하는 것이 연구되었다. 저장소는 신경.. 공감수 1 댓글수 1 2023. 11. 17.
Fast R-CNN 이 논문은 RCNN(Region-based CNN) -> Fast R-CNN -> Faster R-CNN으로 이어지는 객체 검출(object detection)에 관한 연구를 다뤘다. 2015년 경에 연달아 해당 논문들을 게제하며 이전 논문들에서 갖고 있는 문제들을 해결했다. Fast R-CNN에서는 RCNN방법에 비해 더 나은 성능(mAP)를 보이면서 VGG16 모델을 9배 빠르게 학습하고 213배 빠르게 테스트할 수 있다. SPPnet에 비해서도 속도가 빠르고 성능이 좋다. 이 연구의 기여는 다음 그림 네가지이다. 이전 연구에서는 CNN으로 학습한 피쳐에 SVM을 분류기로 사용하여 모델의 처음부터 끝까지 학습이 되지 않는 2stage 문제가 있었고, 클래스 분류와 객체의 영역(bounding box).. 공감수 0 댓글수 0 2023. 10. 15.
Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift Batch normalization 논문으로 거의 5만회에 가깝게 인용되었다.배치 놈에 대한 이해는 혁펜하임님의 유툽 영상을 보면 쉽게 이해가 된다. 최고!딥러닝 모델을 학습할 때 각 층의 입력 분포(파라미터)가 매번 바뀌기 때문에 어려움이 있었다. LR을 낮추게 되어 학습 속도를 늦추게 되고 기울기가 saturation 되는 문제 때문에 초기 값을 설정하는데 과하게 어려운 문제가 있었다. (기울기가 너무 낮으면 전달되는 값이 급격히 작아지므로) 저자들은 이 문제를 internal covariate shift라 하고 미니배치 단위로 들어가는 layer 입력을 정규화(normalize)하여 해결하고자 하였다. 이 방법(BN)으로 LR을 크게 설정하고 초기 입력값도 크게 신경쓰지 않아도 되었다. 실험결과.. 공감수 0 댓글수 0 2023. 9. 16.
Nationality Classification Using Name Embeddings 임베딩을 통한 이름의 국적분류(nationality classification)에 대해 CIKM 17에서 발표된 연구이다. 이름에는 인구학적인 정보 (demographic information)이 있어 사회학, 바이오 연구에 사용된다. 당시 존재하던 연구에서는 이름의 철자중 일부를 추출하여 (substring) 작은 규모의 데이터에서 연구가 진행되었다. 전 인류의 이름이라는 관점에서는 데이터셋에 의존하기 때문에 대표성이 떨어지는 한계가 있었다. 57M contact 리스트에서 39개의 그룹으로 전 세계 인구의 90%를 포함하는 국적 분류기를 설계했다. 국적 분류에서 기존 실험보다 더 나은 F1 score (0.795)를 달성했고 소셜 미디어 실험에서 다른 6개 분야의 트위터 셀럽에 대해 적용하였다. 예컨.. 공감수 0 댓글수 0 2023. 9. 9.
Dallas Texas UKC 2023 홍보부스 운영을 위해 댈러스 텍사스에 왔다. 2016년 교환학생을 롱뷰 텍사스에서 했었는데, 그 이후로 오랜만이다. 미국에서는 자동차는 신체 일부와 같이 필수적이라는 것을 느꼈다. 이전 2022년 워싱턴 DC 출장에서는 일과가 마친 후 공유자전거로 여기 저기 다닐 수 있었는데, 댈러스 특히 행사장인 공항 옆에 Hyatt regency 호텔에서는 차 없이 아무것도 할 수 없었다. 홍부 부스 세팅 시간이 되기 전에 바베큐를 먹으로 다운타운으로 향한다. DART를 타고 댈러스 다운타운으로 1시간 가량 간다. 이전에 교환학생시절에 American Airline 센터에서 댈러스 매버릭스 경기를 봤었는데 구장 근처를 지나가기도 한다. 댈러스 공항 근처에 있는 호텔에 묵으며 미국은 정말 자동차의 나라.. 공감수 0 댓글수 0 2023. 8. 5.
Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling 이 논문은 RNN(순환신경망) 계열 모델을 비교한 논문이다. 전통적인 tanh 모델과 Gating mechanism을 사용한 LSTM(Long Short-Term Memory), GRU(Gated Recurrent Unit)를 비교한다. Polyphonic 음악 모델링, 스피치 신호 모델링 데이터를 통해 학습속도, 에러율등을 비교했다. RNN의 구조및 수식은 간단하므로 생략한다. 이번 글을 통해 LSTM과 GRU의 아키텍처를 이해해보자. 수식과 다른 블로그에서 첨부한 그림을 같이보면 이해가 쉽다. LSTM은 장기 의존성 문제가 있는 긴 시퀀스의 작업을 잘 학습하고 GRU는 최근(2014년)에 기계 번역의 문맥 학습에 사용되었다. 1997년 처음 제시된 모델이고 구조에 작은 변형들이 있어 저자는 2013년.. 공감수 0 댓글수 0 2023. 7. 16.
Visualizing and Understanding Convolutional Networks 이 논문은 CNN이 왜 잘 작동하는가, 어떻게 성능을 개선할 수 있는지에 대해 연구한 것으로 2013년에 발표되었다. 저자들의 이름 앞자를 따서 ZFNet으로 부른다. 피쳐 추출시 어떤 원리로 동작하는지를 이해할 수 있도록 시각화 기법을 도입하였다. 그리고 이미지넷2012 대회에서 우승한 Krizhevsky의 AlexNet보다 나은 성능의 모델을 제시한다. 저자들은 피쳐의 활성화를 역으로 픽셀 공간으로 사영(project)하는 시각화방법인 multi-layered deconvolutional network(deconvnet)을 제안한다. 모델의 일부 층을 제거(ablation)하는 실험을 통해 모델의 세부 계층이 성능에 어떤 영향을 미치는지 실험한다. 그리고 이미지의 일부분을 가리는 실험을 통해 특정 부.. 공감수 0 댓글수 0 2023. 5. 1.
Convolutional Neural Networks for Sentence Classification 이 논문은 현재 MIT 교수로 있으신 Yoon Kim 교수님이 2014년에 진행한 연구이다. 이미지 도메인에 주로 활용되는 CNN으로 여러가지 문장분류 태스크에 적용해 좋은 성능을 거두었다. 알파고가 나오기 전의 논문으로 국내에서 4차산업혁명과 인공지능 붐이 나타나기 전의 논문이다. 논문이 공개된지 10년정도로 현재 인공지능 연구의 수준이 실험의 규모나 다양성에서 비약적인 발전을 이뤘다는 것이 새삼스레 느껴진다. Abstract 저자들은 사전학습한 단어벡터에 CNN 모델을 학습시켜 문장단위의 분류 태스크를 해결하였다. 저자는 간단한 모델과 하이퍼파라미터 튜닝, 정적 벡터(static vector)로 여러 벤치마크에서 괜찮은 벤치마크 결과를 달성했다(7개 중 4개 태스크에서 SOTA 달성). 태스크에 특화.. 공감수 0 댓글수 0 2023. 4. 15.
아무도 흔들 수 없는 나의 구원 (3장, 예수 그리스도는 누구신가?) 우리는 죄가 있기 때문에 사망한다. 아래 말씀에 나오는 사망은 현생에서의 죽음을 넘어 영원한 죽음을 의미한다. 로마서 5장 12절 이러므로 한 사람으로 말미암아 죄가 세상에 들어오고 죄로 말미암아 사망이 왔나니 이와 같이 모든 사람이 죄를 지었으므로 사망이 모든 사람에게 이르렀느니라 성경은 예수님이 우리의 구원자라고 한다. 3장을 통해 예수님이 왜 우리의 구원자인지 알아보자. 3장에서는 예수님은 하나님인 동시에 사람이심을 말한다. 예수님이 신이 아니거나 사람이 아니라면 우리의 구원자로써 자격이 없다. 1. 예수님은 세상에 계실때에도 참 하나님이셨다.이것을 예수님은 스스로 어떻게 증거하셨는가? 요한복음 14:8-9 빌립이 이르되 주여 아버지를 우리에게 보여 주옵소서 그리하면 족하겠나이다 예수께서 이르시되 .. 공감수 0 댓글수 0 2023. 4. 14.
아무도 흔들 수 없는 나의 구원 (2장) 아무도 흔들 수 없는 나의 구원 2장 '하나님은 누구신가?'과 이재철 목사님의 하나님은 누구신가 설교를 섞어 하나님은 어떤 분이신지를 정리하였다. 이재철 목사님 설교의 흐름 위주에 책의 내용을 추가하여 정리하였다. 먼저, 하나님이 누구신지 알 수 없음을 잊지말라. (토마스 성인) We need to be humble to realize that we cannot fully know God until we rid of our flesh and meet him for ourselves. On a daily basis, we should make effort to know him deeper. 우리는 하나님을 완전히 알 수 없음을 깨달아야 한다. 영이신 하나님을 뵐때까지 그분을 알기 위해 애쓸 때 매일매일 그.. 공감수 0 댓글수 0 2023. 4. 8.
OverFeat:Integrated Recognition, Localization and Detection using Convolutional Networks 딥러닝 비전 태스크에서 1-stage 학습 모델의 시초격인 모델인 OverFeat을 제시한 논문을 공부한 글이다. 논문의 원문을 번역하고 간단한 설명을 덧붙였다. Abstract 저자들은 classification, localization, detection을 통합적으로 하는 CNN기반의 프레임워크를 제시한다. 다차원 슬라이딩 윈도우(multiscale) 접근법을 통해 ConvNet을 효율적으로 구현한다. 객체의 경계(object boundary)를 예측함으로써 localization 태스크를 한다. Detection 태스크의 성능(confidence)를 향상하기 위해 Bounding boxes를 누적하는 방법을 쓴다. 세가지 태스크를 단일한 네트워크(single shared network)를 통해 학습.. 공감수 0 댓글수 0 2023. 4. 6.
아무도 흔들 수 없는 나의 구원 (1장) 'disciples' 카테고리에는 옥한흠 목사님이 저술하신 제자훈련 교재인 '제자훈련 II 아무도 흔들 수 없는 나의 구원'를 정리 및 묵상한다. 우리는 신이 발딛을 곳이 없는, 합리성이 고도로 발달한 세상에 살고있다. 신앙이 인간에게 필요한가? 기독교는 왜 믿어야할까? 요즘 세상에도 교회는 힘이있는가? 기존 신자는 습관적이고 자연스럽게 하나님을 믿겠지만 새신자나 불신자에게 기독교의 정수를 전하기는 어렵다. 위 질문에 다하기 위해 성경으로 돌아가자. 성경 책을 펴고 묵상과 기도로 답을 구하자. 제자훈련 교재 2권 구원의 진리를 복음과 교리, 생활의 삼중관계에서 연구하고 묵상한다고 서문에 나와있다. 복음은 하나님의 말씀이다. 교리를 구글에 검색해보면 종교의 본질적인 가르침, 종.. 공감수 0 댓글수 0 2023. 4. 3.
Rich feature hierarchies for accurate object detection and semantic segmentation 이 글은 2013년 11월에 게시된 RCNN 모델을 통한 객체검출(object detection) 연구에 대한 정리 블로그이다. 2014년 CVPR 에서 발표했다고 한다. 논문의 전문은 레퍼런스로 달아놓은 아카이브에서 확인할 수 있다. 이전 논문 리뷰글도 글을 읽고 이해하는게 쉽지 않았는데, 이 논문 역시 어려웠다. 비전(vision) 태스크를 잘 모르고 10년전에 사용한 데이터 셋과 모델들, 익숙하지 않은 논문의 메뉴 구조등에 기인한 것 같다. 총 21장의 길이를 자랑하지만 11쪽에서 결론짓고 나머지 열장은 실험에 대한 appendix를 추가하였다. 그렇지만 역시 많은 블로그들이 연구에 대한 정리를 잘 했고 많이 도움 받은 블로그를 레퍼런스에 적었다. 저자들은 결론 부분에서 논문의 두가지 핵심 인사이트.. 공감수 1 댓글수 0 2023. 3. 2.
Going deeper with convolutions 2014년 이미지넷 분류대회에서 우승한 구글넷 모델에 대한 논문이다. 내용은 둘째치고 논문을 읽다보면 부족한 영어실력 때문인지 쉽게 읽히는 글이 있고 어렵게 읽히는 경우가 있다. 이 논문은 익숙하지 않은 단어나 문장 구조가 나와 논문을 읽으면서 내용을 파악하기 어려웠다(사실 실력이 부족해서...). 글 하단에 레퍼런스에 달아 놓은 블로그에 논문에 대해 매우 자세하게 설명하고 있어 읽어 보기를 추천한다. 저자들은 컴퓨터 비전 분야에서 딥 뉴럴넷 구조(deep neural network architecture)를 효율적으로 쌓는데 집중한다. Inception이라고 이름 붙인 모듈을 여러 층으로 쌓으면서도 연산량을 일정한 수준에서 관리할 수 있도록 1x1 콘볼루션으로 연산을 효율화했다. 층이 깊어지면 기울기 .. 공감수 0 댓글수 1 2023. 2. 22.
On the Properties of Neural Machine Translation: Encoder–Decoder Approaches 조경현 교수님이 2014년도에 쓴 논문이다. 당시 주류 번역 방법이던 확률적 기계번역과 신경망 기반의 번역 모델의 성능을 비교하였다. 논문에서 신경망 기계번역이 해결해야할 다음 과제를 제안하고 정성적인 품질이 낮지 않으면서도 문장의 문법적인 구조를 파악할 수 있는 신경망 모델을 제안하였다. 신경망 기계번역(neural machine translation)은 인코더와 디코더로 구성한다. 인코더는 가변길이의 입력을 고정된 길이의 벡터 표현으로 만들고 디코더는 이 벡터에서 가변길이의 번역 타겟을 생성한다. 신경망 기계번역 모델은 통계적 기계 번역(statistical machine translation, SMT)에 비해 상대적으로 메모리가 적게든다(500mb vs 10gb). 그리고 SMT와 다르게 모든 컴포.. 공감수 0 댓글수 0 2023. 2. 1.
C언어 비트 연산자 이 글은 널널한 개발자님의 C언어 비트 연산자의 위력을 정리한 글이다. 포인터라는 개념은 컴퓨터 구조나 운영체제를 잘 알고있다면 쉽게 이해될 것이다. C언어의 꽃이 포인터라면, 가장 강력한 기능은 비트연산자이다. 짝수, 홀수를 구분해야 하는 상황이라면 2진수의 마지막 자리수가 1인지 0인지만 확인하면 된다. #include int main() { printf("6 - 3: %d\n", 6 - 3); printf("6 - 3: %d\n"), // 컴퓨터의 이진수 뺄셈법: 1의 보수 + 1 0x00000006 + (~0x00000003 + 1)); // (2의 보수를 더하고 자리올림을 버림) // 나눗셈 연산 이용해 변수가 짝수인지 판별 int nInput = 9; if (nInput % 2) puts("홀.. 공감수 0 댓글수 0 2023. 1. 25.
어플에서 확인안되는 자동결제 취소 방법 구글 플레이에 올라가 있는 어플 상세 내역이나 어플안에서 자동 결제를 삭제하는 버튼을 찾기 어려운 경우가 있다. 이를 해결하는 방법을 업로드한다. 1. Play 스토어에 들어간다 -> 검색창 옆에 로그인한 설정을 클릭한다(그림에서 초록색 동그라미) 2. 결제 및 정기 결제 클릭 3. 정기 결제 클릭 4. 정기 결제 관리에서 해당 결제를 클릭하고 구독을 해제 어플이 결제 취소를 찾기 어렵게 해서 정기결제가 자동으로 되도록 하는 방법으로 돈을 버는 방법인 듯하다. 간단하게 구독 취소해서 마음 편해집시다..! 공감수 0 댓글수 0 2023. 1. 1.
출산율에 관하여 (대학원) 출산율이 낮은 것이 나라의 미래에 매우 큰 문제라고 한다. 국가가 나서서 수십조의 예산을 쏟고 다양한 정책을 내놓는다. 실제로 출산율 유지나 상승에 긍정적인 영향을 미치는 영향도 있겠지만 석사를 마치고 연구소에 취업한 뒤에 돌아보니 아쉬움이 남는다. 대학원 석사를 공부하면서 동료들을 보면 출산과 육아를 병행하는 분이 있기도 했지만 극소수이다. 학위과정에서 결혼을 결심하기는 쉽지 않다. 출산은 불가능에 가깝다. 여성의 경우에는 커리어 단절이 거의 확정적이다. 우리나라에는 학업을 이어가면서도 육아를 할 수 있는 정책적인 지원이나 사회적인 대책이 거의 없는 것 같다. 누구나 더 많이 공부하고 싶고 더 전문성을 발휘하고 싶은 세상인데, 문제라고만 하고 실질적인 해결책은 없이 희생만 강요받는 듯하다. 아마도 현실.. 공감수 0 댓글수 0 2023. 1. 1.
GloVe 강필성 교수님의 Papers You Must Read(PYMR) 리스트 공부 중 skipgram 다음으로 공부한 논문을 간단하게 노트한다. 정리는 위키닥스에 이해하기 쉽게 정리되어있어 참고하였다. word2vec은 단어를 분산표현하여 단어간에 의미적인 유사성을 계산할 수 있다는 특징이 있다. 단점으로는 학습시 window의 크기에 영향을 받기 때문에 전체적인 문맥(context)를 반영하기 어렵다는 것이다. GloVe는 word2vec의 단점을 보완하고 빈도수 기반의 장점을 함께 도모할 수 있는 방법론이다. 첨부한 위키닥스에 GloVe의 아이디어를 한줄로 표현하였다. '중심 단어와 주변단어 벡터의 내적이 전체 코퍼스의 동시 등장 확률이 되도록 만드는 것'이다. 논문에서는 중심 단어와 주변단.. 공감수 0 댓글수 0 2022. 12. 24.
Efficient Estimation of Word Representations in Vector Space - 2 (CBOW, Skip-gram, 실험 및 결과) 이번 글에서는 이 논문에서 제시하는 단어 벡터 표현 방법인 CBOW, Skip-gram에 대해 정리해본다. New Log-linear Models 저자는 계산복잡도를 최소화하기 위한 단어의 분산표현(distributed representations) 방법을 제시한다. 언어학에서 분산표현은 비슷한 문맥에서 등장하는 단어는 유사한 의미를 갖는다는 것이다. 이전 글을 통해 단어 표현의 가장 큰 계산요소는 비선형(non-linear) 히든 층을 연산하는 것이었다. 히든 층이라는 개념이 딥러닝에서 중요하지만 저자는 더 간단한 모델로 더 많은 양의 데이터를 표현하기 위한 방법을 제안한다. 기존 신경망 모델은 연속적인 단어 벡터를 간단하게 학습한 뒤에 N-gram NNLM을 단어 분산벡터 기반하여 학습한다. 기존 방.. 공감수 0 댓글수 0 2022. 12. 8.
Efficient Estimation of Word Representations in Vector Space - 1 (연구 소개, 도입) word2vec으로 유명한 워드 임베딩 모델 CBOW, skip-gram에 대해 발표한 논문이다. 이 논문의 실험은 GPU를 통한 딥러닝 모델학습이 일상화되기 전 시점의 연구로 CPU에서 계산하여 진행하였다. 저자들은 CPU로 대규모 데이터를 학습하고 실험하느라 꽤나 고생 했을 듯하다... 선배 연구자들이 고생한 덕분에 오늘날 더 다양한 연구를 할 수 있는 것이다! 힘을 내자. Abstract 저자는 대규모 데이터셋에서 단어들을 벡터(continuous vector)로 표현하기 위한 두가지 모델을 제시한다. 단어 유사도 비교 태스크를 통해 모델들의 성능을 비교하고 이전 연구의 신경망 모델과 비교했다. 계산 복잡도에서 이득을 얻으면서도 성능을 개선시켰다. 저자들이 만든 semantic, syntatic 비.. 공감수 0 댓글수 0 2022. 12. 6.
Zero-Shot Learning Through Cross-Modal Transfer -3 (모델, 실험, 결과) 이번 블로그에서는 Zero-Shot Learning Through Cross-Modal Transfer 논문의 마지막 부분을 정리한다. Zero-Shot Learning Model 이미지 x가 주어졌을때 클래스(seen, unseen) y를 조건부확률로 예측한다. 일반적인 분류기는 학습하지 않은 클래스를 예측할 수 없기에 저자는 binary visibility random variable을 도입한다. 식은 이미지가 unseen 클래스일 확률이다. 이상치 탐지 점수의 경계(threshold of outlier detection score)에 의해 계산된다. 이 점수는 단어 공간에 매핑된 학습이미지의 매니폴드 상에서 계산되는데, Gaussian mixture 상의 경계에 있는 한계 값을 사용한다. Seen .. 공감수 1 댓글수 0 2022. 12. 2.
Zero-Shot Learning Through Cross-Modal Transfer -2 (관련 연구, 워드 표현, 제로 샷 모델) 이번 글에서는 관련연구와 연구의 메인아이디어에 해당하는 부분을 정리한다. Related Work Zero-Shot Learning fMRI 스캔을 매핑하여 특징을 구분한 연구가 있다. MRI 스캔하지 않은 단어들의 의미적인 특징을 예측하고 제로 샷 클래스를 구분하였다. 테스트 환경에서 seen, unseen 클래스들을 구분하지는 않았는데, 본 논문의 저자는 이 부분을 확장해 연구에 적용하였다. One-Shot Learning 원샷 러닝은 클래스별 객체를 매우 적은 수로 학습하는 것이다. 이 방법은 특징 표현(feature representations)이나 모델의 파라미터, 혹은 유사한 콘텍스트를 공유한다. 확률모델을 이용한 전이학습으로 low level 이미지 특징을 학습하려는 딥러닝 연구가 있었다. 본.. 공감수 0 댓글수 0 2022. 12. 2.
Zero-Shot Learning Through Cross-Modal Transfer -1 (초록, 도입) Zero-Shot Learning Through Cross-Modal Transfer 논문은 단어의 분산표현에 이미지를 매핑시키는 zero-shot 모델 학습을 통해 seen, unseen 클래스를 구분하고 이미지를 추론하는 논문이다. 초록 (Abstract) 논문에서는 이미지를 학습하지 않고도 객체를 인식하는 모델을 소개한다. Unseen 분류를 위해 대규모의 비지도(unsupervised) 텍스트 코퍼스가 필요하한데, Unseen 이미지를 분류하고 추론하는 논문의 zero-shot framework은 객체의 특징을 이해하기 위한 언어의 분산된 정보(distributional information)의 의미론적인 기반에 걸쳐 있는 것으로 본다. 이전의 zero-shot 학습 모델은 보지 않은 클래스(un.. 공감수 0 댓글수 0 2022. 11. 30.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.