GloVe
2022. 12. 24. 10:40
강필성 교수님의 Papers You Must Read(PYMR) 리스트 공부 중 skipgram 다음으로 공부한 논문을 간단하게 노트한다. 정리는 위키닥스에 이해하기 쉽게 정리되어있어 참고하였다. word2vec은 단어를 분산표현하여 단어간에 의미적인 유사성을 계산할 수 있다는 특징이 있다. 단점으로는 학습시 window의 크기에 영향을 받기 때문에 전체적인 문맥(context)를 반영하기 어렵다는 것이다. GloVe는 word2vec의 단점을 보완하고 빈도수 기반의 장점을 함께 도모할 수 있는 방법론이다. 첨부한 위키닥스에 GloVe의 아이디어를 한줄로 표현하였다. '중심 단어와 주변단어 벡터의 내적이 전체 코퍼스의 동시 등장 확률이 되도록 만드는 것'이다. 논문에서는 중심 단어와 주변단..
