목록layer normalization (1)

생각하는감자

Transformer

기존 seq2 seq모델에는 한계점이 있었다. 인코더가 결과적으로 하나의 context vector를 만드는 과정에서 동일한 layer를 time step 횟수만큼 거쳐서 정보가 전달되어야 한다. 결과적으로 정보가 같은 모듈을 반복적으로 통과해 가면서 변질되고 유실될 수 있다는 것이다. 이를 보정하기 위해서 어텐션이 고안된 것이기도 하다. Transformer는, 어텐션을 RNN을 보정하기 위한 용도가 아니라 이것만으로 인코더와 디코더를 만들어보자라는 아이디어를 가지고 구현되었다. 즉, 기존 seq2seq의 구조인 인코더-디코더를 따르지만 이를 모두 attention만으로 구현한 모델인 것이다. RNN을 사용하지 않고, 인코더-디코더 구조를 설계하였지만 RNN보다 우수한 성능을 보여준다. Transfor..
NLP 2023. 1. 15. 18:35
이전 Prev 1 Next 다음