목록sequence to sequence model (1)

생각하는감자

seq2seq with Attention

Attention을 간단히 얘기하면,,,, 더 중요한 것에 집중한다!!! 어텐션 끝😅🤣 Sequence to Sequence Model (seq2seq) seq2seq 모델은 sequence를 입력으로 받아서 sequence를 출력으로 생성하는 모델이다. 많은 자연어처리 task들에서 기본모델로 활용되고 있다. 챗봇이나 기계번역로 예를 들어 보면, 입력값이 문장으로 즉, 순서가 있는 단어의 나열로 들어가게 되며 출력되는 값도 마찬가지이다. 인코딩은 context정보를 그 단어를 중심으로 하는 벡터에 더 입혀서 유의미한 벡터로 만들어주는 과정을 의미한다. 이때 단어의 문장상의 위치(조사, 주어 등)의 정보가 단어 벡터에 같이 입혀지는 형태라고 볼 수 있다. 위의 그림에서 h1에는 He라는 단어의 정보가 들..
NLP 2023. 1. 12. 14:08
이전 Prev 1 Next 다음