생각하는감자

통계기반보다 훨씬 더 강력한 추론 기반 기법은, 추론을 하는 기법이고 이 과정에서 신경망을 사용하게 된다. 이때 word2vec이 등장하게 된다. 추론 기반 기법과 신경망 먼저, 통계 기반 기법의 문제점은 대규모 말뭉치를 다룰 때 발생한다. 현업에서 다루게 될 말뭉치의 어휘수는 매우 큰 단위인데, 어휘가 100만개라고 했을때, 만들어지는 행렬은 100만 X 100만 이기 때문에, 이런 거대한 행렬에 SVD를 적용하는 것은 현실적이지 못하다. 또한, 통계 기반 기법에서는 1회의 처리로만 단어의 분산 표현을 얻는다. 하지만, 추론 기법에서는 미니배치로 학습하게 되는데, 이것은 말뭉치의 어휘 수가 많아 계산량이 커진 작업인 경우에도 신경망을 학습시킬 수 있다는 것을 의미한다. GPU를 이용한 병렬 계산도 가능..

통계학에 대한 이해가 많이 부족하다고 느꼈던 하루...... 통계를 마주했던 건 학부때 전선과목으로 간결하게만 들었던 수업이었기 때문에 지금은 기억이 나지 않는 개념들이 많고, 너무 기본적인것들만 배웠어서 인공지능에 필요한 수학이 부족한 것 같다... 다른 과목들은 어떻게 공부해야하고, 어떤 자료를 봐야할지 대략적인 감은 있는 상태이지만, 통계학은 감이 잡히지 않아서.. 일단 무작정 시작하고 보기!!! Hogg의 수리통개학개론 책을 사용할 예정! 100%독학은 힘들 것 같다는 생각이 들어, 유튜브를 찾아본 결과 Hogg 수리통계학 강의를 올려주시는 분이 계셔서 그걸 보면서 정리해보고자 한다..

자연어처리란? NLP(Natural Language Processing), 자연어처리는 말 그대로 우리가 사용하는 말을 컴퓨터가 이해하도록 처리하는 기술 분야이다. 우리가 사용하는 언어는 문장의 뜻이 애매할 수도 있고, 같은 의미를 가지고 있더라도 다양하게 표현할 수 있으며, 세월의 변화에 따라 말의 의미가 변형되거나 새로운 단어가 생겨날 수 있다는 특징이 있다. 이와 다르게 컴퓨터언어는 기계적이고 고정되어 있다는 특징이 있다. 컴퓨터에게 자연어를 이해시키는 테스크는 쉽지 않은 기술이 필요하지만, 컴퓨터가 자연어를 이해할 수 있게 된다면 많은 사람들에게 도움이 되는 일들을 컴퓨터에게 시킬 수 있게 된다. 자연어처리를 응용한 예로는 검색엔진이나 기계번역, 질의응답 시스템, 감정분석 등이 있다. 단어의 의미..

Central Limit Theorem(CLT) - 중심극한정리 중심극한 정리란, independently identically disfributed 되어있는 랜덤샘플 여러개를 뽑아서 평균을 내면, 평균의 분포는 샘플의 개수가 많으면 많을 수록 정규분포에 가까워진다는 이론이다. CLT가 흥미로운 점은, 랜덤샘플의 조건인 iid(independently identically distributed) 를 따르는 샘플들의 분포는 어떤 분포를 따르던지 상관 없이, iid한 샘플들이라면, 샘플개수가 중분하다면 무조건 정규분포를 따르게 된다는 점이다. 정규분포(=가우시안 분포)라는 것은, 종모양을 띄고 있고, 그 중심이 평균인 분포이다. 중심 극한 정리가 중요한 이유는, 중심 극한 정리에서는 표본 평균들의 분포가 모..

딥러닝은 층을 깊게 만든 신경망이다. 층을 깊게 만든다는 것의 중요성에 대한 명확한 근거는 마려되어있지 않지만, 몇가지 실험과 연구를 통해 그 중요성을 파악할 수 있다. 먼저, ILSVRC 라는 이미지 인식 대회의 결과에서 파악할 수 있는데, 이 대회에서 상위를 차지한 기법 대부분이 딥러닝 기반이며, 층의 깊이에 비례해 정확도가 좋아지는 결과를 볼 수 있다. 층을 깊게 할 때의 이점 신경망의 매개변수 수가 줄어든다. 층이 깊은 신경망은 그렇지 않은 신경망보다 적은 매개변수로 동일하거나 그 이상의 표현력을 달성할 수 있다. 합성곱 연산에서의 필터 크기로 생각해보면 이해하기 쉽다. 5 x 5 필터로 구성된 입력데이터가 있을 때, 출력데이터는 5*5 연산을 수행하므로 매개변수 수가 25개 이다. 위의 합성곱 ..