Effective Approaches to Attention-based Neural Machine Translation
2024. 7. 28. 21:38
논문을 읽은 지는 몇달 되었는데, 오랜 기간후에 정리를 한다.연구 당시에는 신경망 기계번역(Neural Machine Translation)방법론에서는 원천 문장에서 선택적으로 집중하는 방식으로 모델의 성능을 개선하고 있었다. 이에 더해 attention 방법을 바탕으로 한 구조에 대해 연구가 진행되고 있는데, 본 논문에서는 모든 원천 단어를 기준으로하는 global 접근과 전체 단어중 일부를 살펴보는 local 접근 방식의 attentional 메카니즘에 대해 연구했다. 영-독 번역 테스크에서는 local 방식으로 기존방식에 비해 5.0 BLEU 테스크를 초과하여 얻었다.기존의 NMT는 모든 단어를 읽은 뒤 문장의 끝을 나타내는 토큰을 만난 뒤로 번역된 단어를 생성하는 방식이다. NMT는 정교한 디코..
