Skip-gram Efficient Estimation of Word Representations in Vector Space - 2 (CBOW, Skip-gram, 실험 및 결과) 2022. 12. 8. 00:23 이번 글에서는 이 논문에서 제시하는 단어 벡터 표현 방법인 CBOW, Skip-gram에 대해 정리해본다. New Log-linear Models 저자는 계산복잡도를 최소화하기 위한 단어의 분산표현(distributed representations) 방법을 제시한다. 언어학에서 분산표현은 비슷한 문맥에서 등장하는 단어는 유사한 의미를 갖는다는 것이다. 이전 글을 통해 단어 표현의 가장 큰 계산요소는 비선형(non-linear) 히든 층을 연산하는 것이었다. 히든 층이라는 개념이 딥러닝에서 중요하지만 저자는 더 간단한 모델로 더 많은 양의 데이터를 표현하기 위한 방법을 제안한다. 기존 신경망 모델은 연속적인 단어 벡터를 간단하게 학습한 뒤에 N-gram NNLM을 단어 분산벡터 기반하여 학습한다. 기존 방.. Efficient Estimation of Word Representations in Vector Space - 1 (연구 소개, 도입) 2022. 12. 6. 17:35 word2vec으로 유명한 워드 임베딩 모델 CBOW, skip-gram에 대해 발표한 논문이다. 이 논문의 실험은 GPU를 통한 딥러닝 모델학습이 일상화되기 전 시점의 연구로 CPU에서 계산하여 진행하였다. 저자들은 CPU로 대규모 데이터를 학습하고 실험하느라 꽤나 고생 했을 듯하다... 선배 연구자들이 고생한 덕분에 오늘날 더 다양한 연구를 할 수 있는 것이다! 힘을 내자. Abstract 저자는 대규모 데이터셋에서 단어들을 벡터(continuous vector)로 표현하기 위한 두가지 모델을 제시한다. 단어 유사도 비교 태스크를 통해 모델들의 성능을 비교하고 이전 연구의 신경망 모델과 비교했다. 계산 복잡도에서 이득을 얻으면서도 성능을 개선시켰다. 저자들이 만든 semantic, syntatic 비.. 이전 1 다음
