강필성 교수님의 Papers You Must Read(PYMR) 리스트 공부 중 skipgram 다음으로 공부한 논문을 간단하게 노트한다.
정리는 위키닥스에 이해하기 쉽게 정리되어있어 참고하였다.
word2vec은 단어를 분산표현하여 단어간에 의미적인 유사성을 계산할 수 있다는 특징이 있다.
단점으로는 학습시 window의 크기에 영향을 받기 때문에 전체적인 문맥(context)를 반영하기 어렵다는 것이다.
GloVe는 word2vec의 단점을 보완하고 빈도수 기반의 장점을 함께 도모할 수 있는 방법론이다.
첨부한 위키닥스에 GloVe의 아이디어를 한줄로 표현하였다.
'중심 단어와 주변단어 벡터의 내적이 전체 코퍼스의 동시 등장 확률이 되도록 만드는 것'이다.
논문에서는 중심 단어와 주변단어를 내적한 값과 위 표와 같이 계산하는 동시등장확률의 차이로 손실함수를 구성하였다.
벡터로 표현한 중심단어와 주변단어를 내적하여 스칼라 값으로 계산해 유사도를 구하고 실제 문맥에서의 동시등장확률을 계산해
두 차이를 구함으로써 단어가 벡터로 잘 표현되도록 학습한다고 이해했다.
더 자세한 사항은 논문과 참고 문헌을 확인하면 된다.
Reference
https://wikidocs.net/22885
GloVe: Global Vectors for Word Representation