목록CBOW (1)

생각하는감자

[밑바닥부터 시작하는 딥러닝2] 3장 - word2vec

통계기반보다 훨씬 더 강력한 추론 기반 기법은, 추론을 하는 기법이고 이 과정에서 신경망을 사용하게 된다. 이때 word2vec이 등장하게 된다. 추론 기반 기법과 신경망 먼저, 통계 기반 기법의 문제점은 대규모 말뭉치를 다룰 때 발생한다. 현업에서 다루게 될 말뭉치의 어휘수는 매우 큰 단위인데, 어휘가 100만개라고 했을때, 만들어지는 행렬은 100만 X 100만 이기 때문에, 이런 거대한 행렬에 SVD를 적용하는 것은 현실적이지 못하다. 또한, 통계 기반 기법에서는 1회의 처리로만 단어의 분산 표현을 얻는다. 하지만, 추론 기법에서는 미니배치로 학습하게 되는데, 이것은 말뭉치의 어휘 수가 많아 계산량이 커진 작업인 경우에도 신경망을 학습시킬 수 있다는 것을 의미한다. GPU를 이용한 병렬 계산도 가능..
NLP 2023. 6. 1. 13:04
이전 Prev 1 Next 다음