복습용

이 글은 글 하단의 Reference에 있는 강의, 교재를 보고 정리한 것입니다. 6.0 Intro 앞장에서는 신경망 학습에 대해서 배웠다. 그 때 기울기 산출은 수치 미분을 사용해 구했다. 수치 미분은 단순해서 구현하기 쉽지만 시간이 오래 걸린다는 단점이 있다. 그래서 이 장에서는 가중치 매개변수의 기울기를 효율적으로 계산하는 오차역전파법(Back propagation)에 대해 다룬다. 오차역전파법에 대해 이해하는 방법은 크게 두가지가 있다. 하나는 수식을 통한 것, 다른 하나는 그래프를 통한 것이다. 이 장에서는 그래프를 중심으로 다룬다. 오차역전파법을 그래프로 설명한다는 아이디어는 Stanford Univ open course CS231n의 Fei-Fei Li 교수에게서 참고했다고 한다. 다음의 오..

이 글은 글 하단의 Reference에 있는 강의, 교재를 보고 정리한 것입니다. 5.0 Intro 이번 장에서는 신경망 학습에 대해 다룬다. 신경망 학습은 구체적으로는 가중치 매개변수의 최적값을 학습하는 것이다. 가중치 매개변수의 최적값은 손실 함수를 기준으로 하며 이 값을 가급적 작게 만드는 방법으로 gradient descent를 소개한다. 5.1 Classification of data(데이터의 종류) 머신러닝에서는 데이터를 크게 두가지 종류로 구분한다. 훈련 데이터(training data) 시험 데이터(test data) 훈련 데이터는 가중치 매개변수의 값을 학습하는데 사용되는 데이터다. 또한, 모델과 훈련 데이터간 오류를 in-sample-error라 한다. 학습은 주로 이 in-sample..

이 글은 글 하단의 Reference에 있는 강의, 교재를 보고 정리한 것입니다. 4.0 Intro 앞서 학습한 perceptron은 이론상 2개의 layer로 모든 함수를 표현할 수 있지만, 그것이 복잡하고 사람이 직접 가중치를 설정해야 한다는 문제가 있었다. 하지만 지금부터 다룰 신경망(Neural Network)은 가중치 매개변수의 값을 데이터로부터 적절하게 학습할 수 있다. 이번 장에서는 다음 것들에 대해 학습한다. 신경망의 개요 신경망의 입력 데이터 처리과정 매개변수를 학습하는 방법은 다음 장에서 다룬다. 4.1 Perceptron to NN(Neural Network) 신경망은 perceptron과 닮은 점이 많다. 언뜻 밑의 을 보면 그냥 multilayer percetron(MLP)이 NN..

3.0 Intro Chapter 2에서 다룬 linear model의 핵심 idea는 x를 w와 선형결합한 signal이었다. linear regression과 linear classification은 모두 이를 바탕으로 한 model이었다. 이 때 linear classification은 'Hard' binary classification이었고 0이라는 Hard한 threshold를 기준으로 binary한 결과값을 출력했다. logistic regression은 'Soft' binary classification으로써 binary response에 대한 probability를 출력하는 model이다. 3.1 Logistic Regression Intro에서 이야기한 바와 같이 Logistic regre..

2.1 Binary Classification 이 챕터에서 쭉 다루게 되는 Linear Model이란 line들의 집합으로 이루어진 model로, 많은 문제들에 대해 종종 good choice가 된다. start로써 나쁘지 않다. Chapter3에서는 크게 두가지의 중요한 문제에 대해 이런 linear model을 적용해볼 것이다. classification regression 2.1.1 Binary classifcation binary classification을 위한 linear model을 정의해보자. d+1차원의 input vector x를 받아 출력을 내는 우리의 가설 h(x)에 대해 $$ h(x)=sign(w^Tx) $$ 로 정의할 수 있다. 이 때 w는 d+1의 weight column ve..

perceptron은 신경망의 기원이 되는 알고리즘으로, 신경망과 딥러닝으로 나아가는데 배경이 되는 알고리즘이다. 오래된 알고리즘이지만 제대로 이해해보자. 1.1 Perceptron의 정의 perceptron은 다음 요소들에 의해 정의되는 알고리즘 모델이다. 입력(x) 가중치(w) 출력(y) 임계값(t) 이 때 입력은 n차원의 벡터일 수 있고, 가중치 w는 이 입력과 동일한 차원을 가져야 한다. 이 때 출력은 입력과 가중치의 내적인 x*w가 설정한 임계값 t를 넘을 경우 1, 임계값 t를 넘지 않을 경우 0이 된다. 다음 은 이런 perceptron을 그림으로 나타낸 것이다. x의 weighted sum이라는 용어는 x와w의 내적을 말한다. 1.2 Perceptron으로 논리 회로 만들기 이렇게 기본적으..

1.0 Intro-반드시 알아야 하는 리눅스 상의 커맨드/기능 이 프로젝트1을 하면서 반드시 알아야 하는 리눅스 상의 커맨드를 정리해보았다. 1.0.1 ls - 지금 directory에 있는 파일들의 목록을 보여주는 커맨드 그냥 ls 커맨드 자체만 쳐주면 현재 디렉토리에 무슨 파일들이 있는지를 보여준다. 여기서 파일이란 우리가 실제로 다루는 파일과 디렉토리를 모두 포함한 개념이다. 예를 들어 밑의 그림0을 보면 vagrant 디렉토리에 dinocpu라는 파일/디렉토리 가 있는 것을 확인할 수 있다. (실제로 project에서 dinocpu는 디렉토리이다. ) 1.0.2 cd: change directory -현재 위치한 directory를 바꾼다. 예를 들어 위의 에서 현재 vagrant 폴더에 위치해있..

이 문서는 1.1 문서의 1.1.2에서 소개한 m*n*3으로 구성된 RGB format을 기준으로 다루었다. indexed image format에 대해서는 다른 방법을 써야할 수도 있다.(1.1문서: https://hezma.tistory.com/80) 1.4 매트랩에서 이미지의 RGB 추출하기 이번 목표는 매트랩의 컬러 영상에서 주어진 사진을 불러와서 출력해보기 R G B 성분 각각을 추출해서 띄워보기 원래의 이미지를 빨간 사진, 파란 사진, 초록 사진으로 분해하여 출력해보는 것이다. 즉 합쳐지면 원래의 사진이 되는 3개의 R G B 사진 띄우기가 목표다. 예제로써 다음 사진을 사용했다. 우선 같은 카테고리의 1.1과 1.2를 읽거나 매트랩에서 이미지가 어떤 구조로 되어있는지 알고 이 글을 읽기를 권..