일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | ||||
4 | 5 | 6 | 7 | 8 | 9 | 10 |
11 | 12 | 13 | 14 | 15 | 16 | 17 |
18 | 19 | 20 | 21 | 22 | 23 | 24 |
25 | 26 | 27 | 28 | 29 | 30 | 31 |
- 역행렬
- 연립일차방정식
- 밑바닥부터 시작하는 딥러닝
- 프로그래머를 위한 선형대수
- word2vec
- pandas
- one-hot vector
- 밑바닥부터 시작하는 딥러닝2 2장
- 데이터프레임
- SVD
- NMT
- sigmoid
- word embedding
- machine translation
- 선형대수학
- 자연어처리
- NLP
- Transformer
- DataFrame
- 판다스
- 딥러닝
- 벡터간 유사도
- Python
- 동시발생 행렬
- 신경망 학습
- ReLU
- 정칙행렬
- RNN
- PPMI
- Linear Algebra
- Today
- Total
목록NMT (2)
생각하는감자

번역이라는 것은 source language의 text를 동일한 의미를 가지도록 하는 target language text로 변환하는 것을 의미한다. Target language로 변환하는 과정에서 번역가들은 source language의 단어와 문법, 어법 등에 주의해야 한다. 위의 그림은 Machine Translation의 발전 과정을 간단하게 나타낸 그림이다. Statistical Machine Translation (SMT) input을 tree dependency architecture로 만들고 확률 기반으로 target 을 예측하는 모델이다. 주어진 vocab에서 어떤 단어가 등장할 확률이 가장 높은 것을 찾아서 출력한다. P(x|y)는 Translation Model이고, P(y)는 Lan..

RNN 가장 기본적인 구조 RNN의 여러 형태 1) one-to-one input 길이(개수) = output 길이(개수) = 1 전통적인 구조로, Fully Connected Neural Network와 동일하다. 2) one-to-many input 길이(개수) = 1, ouput 길이(개수) > 1 Image Captioning에 쓰이는 구조 → input : image → output : 입력된 이미지를 설명하는 문장 Encoder level에서는 Z가 X(이미지)의 정보를 모두 가지고 있어야 하고, Decoder level 에서는 Z에 있는 정보를 잘 해석해서 단어들의 sequence(=문장)으로 만들어야 한다. 3) many-to-one input 길이(개수) > 1, output 길이(개수)..