복습용

이 글은 하단의 Reference에 있는 강의, 교재를 보고 정리한 것입니다. 11.0 Intro 지금까지 다룬 Fully connected layer, word2vec, CNN 등은 항상 신호가 단방향으로 흐르는 피드포워드라는 유형의 신경망이었다. 이런 유형의 신경망은 그 구조가 단순하여 이해하기 쉽다는 장점이 있다. 그러나 시계열 데이터를 잘 다루지 못한다는 단점이 있다. 더 정확히는 단순한 피드포워드 신경망에서는 시계열 데이터의 성질(패턴)을 충분히 학습할 수 없다. 그래서 순환 신경망Recurrent Neural Network(RNN)을 도입하게 된다. 이번 장에서는 언어 모델의 확률적 관점에서의 기술 RNN구조 RNN구현 RNNLM RNNLM의 구현과 평가 에 대해 다룬다. 11.1 Probab..

이 글은 하단의 Reference에 있는 강의, 교재를 보고 정리한 것입니다. 10.0 Intro 이 장에서는 word2vec을 개선하는 것을 목표로 한다. 이는 구체적으로 계산 병목이 발생하는 부분의 구조를 바꾸는 것으로 embedding layer 도입 negative sampling기법 사용 을 통해 수행된다. 10.1 Word2vec의 개선 방향 이전 장에서 다룬 Word2vec의 CBOW 모델은 맥락으로 2개의 단어를 사용할 때 다음 과 같은 구조다. 이 구조는 어휘 수가 작은 corpus에 대해서는 별 문제없이 계산이 수행되나 어휘 수가 100만 정도 되는 corpus를 다룰 때는 다음 와 같은 구조가 되고 계산 병목이 발생한다. 계산 병목이 발생하는 부분은 구체적으로 다음과 같다. 입력층으로..

이 글은 하단의 Reference에 있는 강의, 교재를 보고 정리한 것입니다. 8.0 Intro 이 글에서는 자연어 처리 분야에서 컴퓨터가 자연어를 이해하게 만드는 방법 파이썬으로 텍스트를 처리하는 방법 에 대해 다룬다. 8.1 What is Natural Language Processing?(NLP) 영어, 일본어, 한국어 등 일상에서 의사소통을 위해 사용하는 말을 자연어Natural language라 한다. 그러니, 자연어 처리란 '우리가 하는 말을 컴퓨터가 이해하도록 만드는 작업' 정도로 정의할 수 있다. 이것이 어려운 이유는 컴퓨터가 이해할 수 있는 것은 명확한 규칙에 따라 해석될 수 있는 코드들 뿐이기 때문이다. 그 의미가 모호하거나 변화하는 자연어는 이런 코드와는 상당히 다른 성격을 갖고 있으..