복습용

이 글은 하단의 Reference에 있는 강의, 교재를 보고 정리한 것입니다. 11.0 Intro 지금까지 다룬 Fully connected layer, word2vec, CNN 등은 항상 신호가 단방향으로 흐르는 피드포워드라는 유형의 신경망이었다. 이런 유형의 신경망은 그 구조가 단순하여 이해하기 쉽다는 장점이 있다. 그러나 시계열 데이터를 잘 다루지 못한다는 단점이 있다. 더 정확히는 단순한 피드포워드 신경망에서는 시계열 데이터의 성질(패턴)을 충분히 학습할 수 없다. 그래서 순환 신경망Recurrent Neural Network(RNN)을 도입하게 된다. 이번 장에서는 언어 모델의 확률적 관점에서의 기술 RNN구조 RNN구현 RNNLM RNNLM의 구현과 평가 에 대해 다룬다. 11.1 Probab..

이 글은 하단의 Reference에 있는 강의, 교재를 보고 정리한 것입니다. 10.0 Intro 이 장에서는 word2vec을 개선하는 것을 목표로 한다. 이는 구체적으로 계산 병목이 발생하는 부분의 구조를 바꾸는 것으로 embedding layer 도입 negative sampling기법 사용 을 통해 수행된다. 10.1 Word2vec의 개선 방향 이전 장에서 다룬 Word2vec의 CBOW 모델은 맥락으로 2개의 단어를 사용할 때 다음 과 같은 구조다. 이 구조는 어휘 수가 작은 corpus에 대해서는 별 문제없이 계산이 수행되나 어휘 수가 100만 정도 되는 corpus를 다룰 때는 다음 와 같은 구조가 되고 계산 병목이 발생한다. 계산 병목이 발생하는 부분은 구체적으로 다음과 같다. 입력층으로..

이 글은 하단의 Reference에 있는 강의, 교재를 보고 정리한 것입니다. 8.0 Intro 이 글에서는 자연어 처리 분야에서 컴퓨터가 자연어를 이해하게 만드는 방법 파이썬으로 텍스트를 처리하는 방법 에 대해 다룬다. 8.1 What is Natural Language Processing?(NLP) 영어, 일본어, 한국어 등 일상에서 의사소통을 위해 사용하는 말을 자연어Natural language라 한다. 그러니, 자연어 처리란 '우리가 하는 말을 컴퓨터가 이해하도록 만드는 작업' 정도로 정의할 수 있다. 이것이 어려운 이유는 컴퓨터가 이해할 수 있는 것은 명확한 규칙에 따라 해석될 수 있는 코드들 뿐이기 때문이다. 그 의미가 모호하거나 변화하는 자연어는 이런 코드와는 상당히 다른 성격을 갖고 있으..

이 글은 하단의 Reference에 있는 강의, 교재를 보고 정리한 것입니다. 7.0 Intro 이번 장에서는 합성곱 신경망(Convolutional Neural Network)에 대해 다룬다. 이미지 인식에서 주로 사용되는 기법이다. 7.1 Overall Structure 합성곱 신경망은 기존의 신경망을 구성하는 Layer들에 추가로 Convolutional Layer, Pooling Layer를 추가로 이용해 만든다. 우선, 기존의 신경망은 인접하는 Layer간 모든 뉴런이 완전연결(Fully-Connected)되어있다는 특징이 있었고, 이 완전 연결된 계층을 Afiine 계층이라는 이름으로 구현했다. 이를 그림으로 표현해보면 다음과 같다. CNN은 다음 과 같이 Conv layer, Pooling ..

이 글은 글 하단의 Reference에 있는 강의, 교재를 보고 정리한 것입니다. 4.0 Intro 앞서 학습한 perceptron은 이론상 2개의 layer로 모든 함수를 표현할 수 있지만, 그것이 복잡하고 사람이 직접 가중치를 설정해야 한다는 문제가 있었다. 하지만 지금부터 다룰 신경망(Neural Network)은 가중치 매개변수의 값을 데이터로부터 적절하게 학습할 수 있다. 이번 장에서는 다음 것들에 대해 학습한다. 신경망의 개요 신경망의 입력 데이터 처리과정 매개변수를 학습하는 방법은 다음 장에서 다룬다. 4.1 Perceptron to NN(Neural Network) 신경망은 perceptron과 닮은 점이 많다. 언뜻 밑의 을 보면 그냥 multilayer percetron(MLP)이 NN..

3.0 Intro Chapter 2에서 다룬 linear model의 핵심 idea는 x를 w와 선형결합한 signal이었다. linear regression과 linear classification은 모두 이를 바탕으로 한 model이었다. 이 때 linear classification은 'Hard' binary classification이었고 0이라는 Hard한 threshold를 기준으로 binary한 결과값을 출력했다. logistic regression은 'Soft' binary classification으로써 binary response에 대한 probability를 출력하는 model이다. 3.1 Logistic Regression Intro에서 이야기한 바와 같이 Logistic regre..

perceptron은 신경망의 기원이 되는 알고리즘으로, 신경망과 딥러닝으로 나아가는데 배경이 되는 알고리즘이다. 오래된 알고리즘이지만 제대로 이해해보자. 1.1 Perceptron의 정의 perceptron은 다음 요소들에 의해 정의되는 알고리즘 모델이다. 입력(x) 가중치(w) 출력(y) 임계값(t) 이 때 입력은 n차원의 벡터일 수 있고, 가중치 w는 이 입력과 동일한 차원을 가져야 한다. 이 때 출력은 입력과 가중치의 내적인 x*w가 설정한 임계값 t를 넘을 경우 1, 임계값 t를 넘지 않을 경우 0이 된다. 다음 은 이런 perceptron을 그림으로 나타낸 것이다. x의 weighted sum이라는 용어는 x와w의 내적을 말한다. 1.2 Perceptron으로 논리 회로 만들기 이렇게 기본적으..