목록self supervised pretraining (1)

생각하는감자

BERT

BERT = Bidirectional Encoding Representations from Transformers BERT를 알기 위해선, Transformer의 개념을 이해하는 것이 필요하다:) 2018년 구글이 공개한 사전 훈련된 모델로 수많은 NLP task에서 높은 성능을 보여주었다. BERT의 성능이 높을 수 있었던 것은 파라미터를 재조정하였기 때문이다. 먼저 레이블이 없는 방대한 양의 데이터를 이용하여 모델을 사전학습 시키고 그 후에 레이블이 있는 다른 task에서 추가 훈련과 함께 하이퍼파라미터를 재조정하는 과정을 거친다. 이러한 과정을 거친 모델은 그 성능이 매우 높게 나오고 파라미터 재조정을 위한 추가 훈련 과정을 Fine Tuning이라고 부른다. ELMo ELMo는 Transforme..
NLP 2023. 1. 16. 15:15
이전 Prev 1 Next 다음