Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | ||
| 6 | 7 | 8 | 9 | 10 | 11 | 12 |
| 13 | 14 | 15 | 16 | 17 | 18 | 19 |
| 20 | 21 | 22 | 23 | 24 | 25 | 26 |
| 27 | 28 | 29 | 30 | 31 |
Tags
- 딥러닝
- 정칙행렬
- 프로그래머를 위한 선형대수
- 밑바닥부터 시작하는 딥러닝2 2장
- sigmoid
- 판다스
- DataFrame
- 신경망 학습
- 벡터간 유사도
- machine translation
- NMT
- 자연어처리
- SVD
- 역행렬
- 연립일차방정식
- 데이터프레임
- 밑바닥부터 시작하는 딥러닝
- PPMI
- Linear Algebra
- one-hot vector
- ReLU
- 선형대수학
- NLP
- 동시발생 행렬
- pandas
- Python
- word embedding
- word2vec
- RNN
- Transformer
Archives
- Today
- Total
목록Glove (1)
생각하는감자
Word Embedding (3) - GloVe
GloVe : Global Vectors for Word Representation GloVe는 동일한 word pair에 대해 반복적인 계산을 하지 않기 위해 만들어졌다. 모든 word들의 입력 및 출력 벡터들의 모든 조합의 내적 값들을 다 계산해놓은 co-accurrence matrix를 먼저 만들고 이 행렬이 Ground Truth 에 해당하는 행렬과 근사적으로 같아야 한다는 것이 GloVe의 아이디어이다. 수식으로 표현하면 다음과 같다. i 는 모든 입력 단어이고 j 는 모든 출력단어이다. 이 부분부터 보자면, 해당 계산은 ground truth similarity를 의미한다. log함수의 특징 중 하나는 값이 크면 클수록 증가폭이 작아진다는 것인데, log 함수를 사용한 이유는, 값이 커진다고 ..
NLP
2023. 1. 5. 18:14