목록GRU (1)

생각하는감자

LSTM, GRU

Vanishing Gradient 문제 RNN의 구조에는 gradient 가 사라진다는 치명적인 문제점이 있다. 대부분의 연산이 곱셈으로 이루어져 있으며 처음 sequence에 해당하는 단어의 정보를 그다음 time step에 넘어가서도 계속 가지고 있으면서 새로운 input을 받고 그 단어의 정보 또한 누적하여 축적한다고 생각하면 쉬운데, 이렇게 되면 전체 input sequence의 첫 부분에 해당하는 정보가 sequence의 마지막 부분에 도달하면 변질되거나 사라지는 경우가 있다. 즉, 오래 전의 정보를 제대로 활용할 수 없다는 문제가 있다는 것이다. 예를 들어, Jane walked into the room. John walked in too. It was late in the night. Jan..
NLP 2023. 1. 7. 16:59
이전 Prev 1 Next 다음