복습용

이 글은 하단의 Reference에 있는 강의, 교재를 보고 정리한 것입니다. 11.0 Intro 지금까지 다룬 Fully connected layer, word2vec, CNN 등은 항상 신호가 단방향으로 흐르는 피드포워드라는 유형의 신경망이었다. 이런 유형의 신경망은 그 구조가 단순하여 이해하기 쉽다는 장점이 있다. 그러나 시계열 데이터를 잘 다루지 못한다는 단점이 있다. 더 정확히는 단순한 피드포워드 신경망에서는 시계열 데이터의 성질(패턴)을 충분히 학습할 수 없다. 그래서 순환 신경망Recurrent Neural Network(RNN)을 도입하게 된다. 이번 장에서는 언어 모델의 확률적 관점에서의 기술 RNN구조 RNN구현 RNNLM RNNLM의 구현과 평가 에 대해 다룬다. 11.1 Probab..

이 글은 하단의 Reference에 있는 강의, 교재를 보고 정리한 것입니다. 10.0 Intro 이 장에서는 word2vec을 개선하는 것을 목표로 한다. 이는 구체적으로 계산 병목이 발생하는 부분의 구조를 바꾸는 것으로 embedding layer 도입 negative sampling기법 사용 을 통해 수행된다. 10.1 Word2vec의 개선 방향 이전 장에서 다룬 Word2vec의 CBOW 모델은 맥락으로 2개의 단어를 사용할 때 다음 과 같은 구조다. 이 구조는 어휘 수가 작은 corpus에 대해서는 별 문제없이 계산이 수행되나 어휘 수가 100만 정도 되는 corpus를 다룰 때는 다음 와 같은 구조가 되고 계산 병목이 발생한다. 계산 병목이 발생하는 부분은 구체적으로 다음과 같다. 입력층으로..

이 글은 하단의 Reference에 있는 강의, 교재를 보고 정리한 것입니다. 9.0 Intro 앞 장에 이어 이번 장의 주제도 단어의 분산 표현이다. 저번 장에서는 '통계 기반 기법'을 통해 단어의 분산 표현을 얻었으나, 이번 장에서는 '추론 기반 기법'을 이용해 단어의 분산 표현을 얻는 법에 대해 살펴본다. 최종적인 이번 장의 목표는 간단한 word2vec 구현하기다. 9.1 추론 기반 기법과 신경망 단어를 벡터로 표현하는 가장 대표적인 두 방법으로는 통계 기반 기법과 추론 기반 기법이 있다. 이 절에서는 통계 기반 기법의 문제점을 알아보고 추론 기반 기법의 이점을 설명한다. 9.1.1 통계 기반 기법의 문제 이전 장에서 다룬 통계 기반 기법에서는 주변 단어의 빈도를 기초로 단어를 표현했다. 그러나 ..

이 글은 하단의 Reference에 있는 강의, 교재를 보고 정리한 것입니다. 8.0 Intro 이 글에서는 자연어 처리 분야에서 컴퓨터가 자연어를 이해하게 만드는 방법 파이썬으로 텍스트를 처리하는 방법 에 대해 다룬다. 8.1 What is Natural Language Processing?(NLP) 영어, 일본어, 한국어 등 일상에서 의사소통을 위해 사용하는 말을 자연어Natural language라 한다. 그러니, 자연어 처리란 '우리가 하는 말을 컴퓨터가 이해하도록 만드는 작업' 정도로 정의할 수 있다. 이것이 어려운 이유는 컴퓨터가 이해할 수 있는 것은 명확한 규칙에 따라 해석될 수 있는 코드들 뿐이기 때문이다. 그 의미가 모호하거나 변화하는 자연어는 이런 코드와는 상당히 다른 성격을 갖고 있으..

이 글은 하단의 Reference에 있는 강의, 교재를 보고 정리한 것입니다. 7.0 Intro 이번 장에서는 합성곱 신경망(Convolutional Neural Network)에 대해 다룬다. 이미지 인식에서 주로 사용되는 기법이다. 7.1 Overall Structure 합성곱 신경망은 기존의 신경망을 구성하는 Layer들에 추가로 Convolutional Layer, Pooling Layer를 추가로 이용해 만든다. 우선, 기존의 신경망은 인접하는 Layer간 모든 뉴런이 완전연결(Fully-Connected)되어있다는 특징이 있었고, 이 완전 연결된 계층을 Afiine 계층이라는 이름으로 구현했다. 이를 그림으로 표현해보면 다음과 같다. CNN은 다음 과 같이 Conv layer, Pooling ..

이 글은 글 하단의 Reference에 있는 강의, 교재를 보고 정리한 것입니다. 6.0 Intro 앞장에서는 신경망 학습에 대해서 배웠다. 그 때 기울기 산출은 수치 미분을 사용해 구했다. 수치 미분은 단순해서 구현하기 쉽지만 시간이 오래 걸린다는 단점이 있다. 그래서 이 장에서는 가중치 매개변수의 기울기를 효율적으로 계산하는 오차역전파법(Back propagation)에 대해 다룬다. 오차역전파법에 대해 이해하는 방법은 크게 두가지가 있다. 하나는 수식을 통한 것, 다른 하나는 그래프를 통한 것이다. 이 장에서는 그래프를 중심으로 다룬다. 오차역전파법을 그래프로 설명한다는 아이디어는 Stanford Univ open course CS231n의 Fei-Fei Li 교수에게서 참고했다고 한다. 다음의 오..

이 글은 글 하단의 Reference에 있는 강의, 교재를 보고 정리한 것입니다. 5.0 Intro 이번 장에서는 신경망 학습에 대해 다룬다. 신경망 학습은 구체적으로는 가중치 매개변수의 최적값을 학습하는 것이다. 가중치 매개변수의 최적값은 손실 함수를 기준으로 하며 이 값을 가급적 작게 만드는 방법으로 gradient descent를 소개한다. 5.1 Classification of data(데이터의 종류) 머신러닝에서는 데이터를 크게 두가지 종류로 구분한다. 훈련 데이터(training data) 시험 데이터(test data) 훈련 데이터는 가중치 매개변수의 값을 학습하는데 사용되는 데이터다. 또한, 모델과 훈련 데이터간 오류를 in-sample-error라 한다. 학습은 주로 이 in-sample..

이 글은 글 하단의 Reference에 있는 강의, 교재를 보고 정리한 것입니다. 4.0 Intro 앞서 학습한 perceptron은 이론상 2개의 layer로 모든 함수를 표현할 수 있지만, 그것이 복잡하고 사람이 직접 가중치를 설정해야 한다는 문제가 있었다. 하지만 지금부터 다룰 신경망(Neural Network)은 가중치 매개변수의 값을 데이터로부터 적절하게 학습할 수 있다. 이번 장에서는 다음 것들에 대해 학습한다. 신경망의 개요 신경망의 입력 데이터 처리과정 매개변수를 학습하는 방법은 다음 장에서 다룬다. 4.1 Perceptron to NN(Neural Network) 신경망은 perceptron과 닮은 점이 많다. 언뜻 밑의 을 보면 그냥 multilayer percetron(MLP)이 NN..