NMT Effective Approaches to Attention-based Neural Machine Translation 2024. 7. 28. 21:38 논문을 읽은 지는 몇달 되었는데, 오랜 기간후에 정리를 한다.연구 당시에는 신경망 기계번역(Neural Machine Translation)방법론에서는 원천 문장에서 선택적으로 집중하는 방식으로 모델의 성능을 개선하고 있었다. 이에 더해 attention 방법을 바탕으로 한 구조에 대해 연구가 진행되고 있는데, 본 논문에서는 모든 원천 단어를 기준으로하는 global 접근과 전체 단어중 일부를 살펴보는 local 접근 방식의 attentional 메카니즘에 대해 연구했다. 영-독 번역 테스크에서는 local 방식으로 기존방식에 비해 5.0 BLEU 테스크를 초과하여 얻었다.기존의 NMT는 모든 단어를 읽은 뒤 문장의 끝을 나타내는 토큰을 만난 뒤로 번역된 단어를 생성하는 방식이다. NMT는 정교한 디코.. On the Properties of Neural Machine Translation: Encoder–Decoder Approaches 2023. 2. 1. 23:51 조경현 교수님이 2014년도에 쓴 논문이다. 당시 주류 번역 방법이던 확률적 기계번역과 신경망 기반의 번역 모델의 성능을 비교하였다. 논문에서 신경망 기계번역이 해결해야할 다음 과제를 제안하고 정성적인 품질이 낮지 않으면서도 문장의 문법적인 구조를 파악할 수 있는 신경망 모델을 제안하였다. 신경망 기계번역(neural machine translation)은 인코더와 디코더로 구성한다. 인코더는 가변길이의 입력을 고정된 길이의 벡터 표현으로 만들고 디코더는 이 벡터에서 가변길이의 번역 타겟을 생성한다. 신경망 기계번역 모델은 통계적 기계 번역(statistical machine translation, SMT)에 비해 상대적으로 메모리가 적게든다(500mb vs 10gb). 그리고 SMT와 다르게 모든 컴포.. Neural Machine Translation by jointly learning to align and translate 2022. 7. 24. 21:15 Attention mechanism에 대해 이해를 더하고자 찾아 본 논문이다. 조경현 교수님이 저자로 포함되어 있고 2015년 ICLR에 발표되었다. 기계번역(NMT)에서는 하나의 신경망 학습을 고도화 하는 방식으로 발전했다. 입력 문장을 고정된 길이의 벡터로 인코딩하고 번역문을 디코드하는 인코더-디코더를 활용하고 있다. 이 논문에서는 고정된 길이의 벡터(fixed-length vector)가 기본적인 인코더-디코더의 성능 향상을 가로막고 있다고 추측한다. 고정된 길이의 벡터로 입력 문장을 압축하는 방법은 문장의 길이가 길어질 경우 성능 저하가 크기 때문이다. 이를 해결하기 위한 방법으로 입력 문장(source sentence)에서 예측을 위한 타겟 단어(target word)와 관련성이 높은 부분을 자.. 이전 1 다음
