Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | ||
| 6 | 7 | 8 | 9 | 10 | 11 | 12 |
| 13 | 14 | 15 | 16 | 17 | 18 | 19 |
| 20 | 21 | 22 | 23 | 24 | 25 | 26 |
| 27 | 28 | 29 | 30 | 31 |
Tags
- 밑바닥부터 시작하는 딥러닝
- 정칙행렬
- sigmoid
- SVD
- 자연어처리
- word embedding
- NMT
- one-hot vector
- Transformer
- 딥러닝
- 벡터간 유사도
- NLP
- ReLU
- DataFrame
- 동시발생 행렬
- RNN
- 밑바닥부터 시작하는 딥러닝2 2장
- word2vec
- PPMI
- 판다스
- machine translation
- 선형대수학
- Linear Algebra
- 신경망 학습
- 데이터프레임
- 연립일차방정식
- 프로그래머를 위한 선형대수
- 역행렬
- Python
- pandas
Archives
- Today
- Total
목록gpt 구조 (1)
생각하는감자
GPT
GPT는 Generative Pre-trained Transformer의 약자이다. OpenAI사가 개발했으며 3세대까지 존재한다. GPT1 위의 그림은 GPT1의 구조이다. GPT가 개발된 배경은 대부분의 task들은 label이 있는 데이터를 사용하였는데, 이러한 데이터를 구축하는 것부터가 많은 비용이 들기 때문에, label 되지 않은 데이터를 사용해보자는 생각에서 시작되었다. Similarity 부분에서는 두 문장이 비슷한 문장인지 아닌지를 비교한다. 비슷한 주제인지 파악할 때 사용되며 결과로 나온 두 vector를 합하여 Fully Connected Layer을 거치게 된다. Entailment부분은 2개의 문장이 하나가 참이면 두번째 문장도 필연적으로 참이어야하는지, 아니면 관련없는 문장인지 ..
NLP
2023. 1. 20. 23:42