Efficient Estimation of Word Representations in Vector Space - 1 (연구 소개, 도입)
2022. 12. 6. 17:35
word2vec으로 유명한 워드 임베딩 모델 CBOW, skip-gram에 대해 발표한 논문이다. 이 논문의 실험은 GPU를 통한 딥러닝 모델학습이 일상화되기 전 시점의 연구로 CPU에서 계산하여 진행하였다. 저자들은 CPU로 대규모 데이터를 학습하고 실험하느라 꽤나 고생 했을 듯하다... 선배 연구자들이 고생한 덕분에 오늘날 더 다양한 연구를 할 수 있는 것이다! 힘을 내자. Abstract 저자는 대규모 데이터셋에서 단어들을 벡터(continuous vector)로 표현하기 위한 두가지 모델을 제시한다. 단어 유사도 비교 태스크를 통해 모델들의 성능을 비교하고 이전 연구의 신경망 모델과 비교했다. 계산 복잡도에서 이득을 얻으면서도 성능을 개선시켰다. 저자들이 만든 semantic, syntatic 비..
