복습용

이 글은 하단의 Reference에 있는 강의, 교재를 보고 정리한 것입니다. 11.0 Intro 지금까지 다룬 Fully connected layer, word2vec, CNN 등은 항상 신호가 단방향으로 흐르는 피드포워드라는 유형의 신경망이었다. 이런 유형의 신경망은 그 구조가 단순하여 이해하기 쉽다는 장점이 있다. 그러나 시계열 데이터를 잘 다루지 못한다는 단점이 있다. 더 정확히는 단순한 피드포워드 신경망에서는 시계열 데이터의 성질(패턴)을 충분히 학습할 수 없다. 그래서 순환 신경망Recurrent Neural Network(RNN)을 도입하게 된다. 이번 장에서는 언어 모델의 확률적 관점에서의 기술 RNN구조 RNN구현 RNNLM RNNLM의 구현과 평가 에 대해 다룬다. 11.1 Probab..