IT 기록/머신러닝14 [머신러닝]06-2.Softmax Classifier의 cost 함수 ※본 포스팅은 직접 강의하는 내용이 아닌, 김성훈 교수님의 머신러닝 강의를 정리하기 위한 포스팅입니다.김성훈 교수님의 강의는 모두를 위한 머신러닝/딥러닝(http://hunkim.github.io/ml)에서 들을 수 있습니다. Sigmoid 함수 적용 우리는 지난 시간 여러 값으로 분류하는 예측모델(ex.공부 시간, 출석에 따른 학점 예측)을 식으로 나타내는 것까지 공부했다. 그림(그래프)으로 표현 했던 것을 세 개의 독립적인 Binary Classification 수식으로 나타내면 아래와 같았다. 그리고 연산을 통해 2.0, 1.0, 0.1이라는예측 값을 얻을 수 있다. 예측 값 중 2.0이 가장 큰 값이기 때문에, 결과 값은 A라고 예측 할 수 있다. 하지만 우리가 원하는 것은 Sigmoid 함수를 .. 2018. 8. 7. [머신러닝]06-1.Softmax Regression 기본 개념 소개 ※본 포스팅은 직접 강의하는 내용이 아닌, 김성훈 교수님의 머신러닝 강의를 정리하기 위한 포스팅입니다.김성훈 교수님의 강의는 모두를 위한 머신러닝/딥러닝(http://hunkim.github.io/ml)에서 들을 수 있습니다. Multinomial Classification우리는 Linear Regression으로 예측을 시작했다. Linear Regression은 100, 200, -10 등 하나의 실수의 값을 예측한다. Linear Regression은 유용한 예측 모델이지만, Binary한 예측(합격/불합격, 발병여부 등)에는 적합하지 않다. 그래서 그 예측 값을 0~1 사이의 수로 압축해서 나타내었다. 이를 통해 0과 1이라는 Binary한 값으로 예측할 수 있게 되었다.(Logistic Regr.. 2018. 8. 2. [머신러닝]05-2.Logistic Regression의 cost 함수 ※본 포스팅은 직접 강의하는 내용이 아닌, 김성훈 교수님의 머신러닝 강의를 정리하기 위한 포스팅입니다.김성훈 교수님의 강의는 모두를 위한 머신러닝/딥러닝(http://hunkim.github.io/ml)에서 들을 수 있습니다. Linear Regression의 Cost functionLinear Regression에서는 가설, cost 함수, 그래프가 아래와 같이 그려졌었다. Linear Regression의 가설 : Linear Regression의 cost 함수 : 이 경우에는 경사하강법(Gradient descent algorithm)을 사용하여 최소값을 찾을 수 있었다. 기울기가 최소가 되는 그 지점의 값이 최소값이다. Linear Regression의 경우 하나의 최소 기울기를 가지기 때문에 경.. 2018. 7. 30. [머신러닝]05-1.Logistic Classification의 가설 함수 정의 ※본 포스팅은 직접 강의하는 내용이 아닌, 김성훈 교수님의 머신러닝 강의를 정리하기 위한 포스팅입니다.김성훈 교수님의 강의는 모두를 위한 머신러닝/딥러닝(http://hunkim.github.io/ml)에서 들을 수 있습니다. ClassificationLinear하지 않고, Binary한 값을 예측하기 위한 모델(둘 중에 하나를 고르는 것)이다. 대표적으로 아래와 같은 모델들이 있다.이메일 스팸 구분 : 스팸 메일 or 정상적인 메일(햄 메일)페이스북 피드 : 타임라인에 특정 피드 보여주기 or 숨기기(친구들이 만들어내는 피드는 수없이 많지만, 사용자가 관심 가질만한 피드인지를 구분해 타임라인에 보여줄지 말지를 결정)신용카드 도난 여부 확인 : 정상 사용 or 도난 사용인지(평소 사용 패턴을 분석하여 구.. 2018. 7. 28. [머신러닝]04-3.TensorFlow로 파일에서 데이터 읽어 오기 ※본 포스팅은 직접 강의하는 내용이 아닌, 김성훈 교수님의 머신러닝 강의를 정리하기 위한 포스팅입니다.김성훈 교수님의 강의는 모두를 위한 머신러닝/딥러닝(http://hunkim.github.io/ml)에서 들을 수 있습니다. 지난 강의에서 여러 개의 입력 값이 있을 때 Linear Regression을 Tensorflow로 구현하는 방법을 공부했다. 입력 데이터가 많아지니, 소스 코드에 직접 써서 학습하기가 어렵다. 1,000개, 10,000개가 넘어가면 사실상 불가능해진다. 그래서 데이터를 텍스트로 정리를 한다. 보통 csv 파일을 많이 사용한다. 참고) CSV(comma-separated values)는 몇 가지 필드를 쉼표(,)로 구분한 텍스트 데이터 및 텍스트 파일이다. 확장자는 .csv 4-3.. 2018. 7. 24. [머신러닝]04-2.multi-variable linear regression TensorFlow 구현 ※본 포스팅은 직접 강의하는 내용이 아닌, 김성훈 교수님의 머신러닝 강의를 정리하기 위한 포스팅입니다.김성훈 교수님의 강의는 모두를 위한 머신러닝/딥러닝(http://hunkim.github.io/ml)에서 들을 수 있습니다. 실습예제 X1(quiz 1) X2 (quiz 2) X3 (midterm1) Y(final) 73 80 75 152 93 8893 185 89 91 90 180 96 98 100 196 73 6670 142 quiz1, quiz2, midterm1의 성적으로 Final score 예측하기 4-1.기존의 방식대로 연산# Lab 4 Multi-variable linear regression import tensorflow as tf tf.set_random_seed(777) # for .. 2018. 7. 23. [머신러닝]04-1.여러개의 입력(feature)의 Linear Regression ※본 포스팅은 직접 강의하는 내용이 아닌, 김성훈 교수님의 머신러닝 강의를 정리하기 위한 포스팅입니다.김성훈 교수님의 강의는 모두를 위한 머신러닝/딥러닝(http://hunkim.github.io/ml)에서 들을 수 있습니다. 여러개의 입력 값으로 Linear RegressionX1(quiz 1) X2 (quiz 2) X3 (midterm1) Y(final) 73 80 75 152 93 88 93 185 89 91 90 180 96 98 100 196 73 66 70 142 학습목표 : Quiz1, Quiz2, Midterm의 성적이 있을 때 Final score를 예측하는 것 Hypothesis Cost functioncost function의 핵심은 우리가 예측한 값과 실제 값의 차이이와 같이, 입력.. 2018. 7. 16. [머신러닝]03-2.Linear Regression의 cost 최소화 Tensorflow 구현 ※본 포스팅은 직접 강의하는 내용이 아닌, 김성훈 교수님의 머신러닝 강의를 정리하기 위한 포스팅입니다. 김성훈 교수님의 강의는 모두를 위한 머신러닝/딥러닝(http://hunkim.github.io/ml)에서 들을 수 있습니다. 3-1.Cost 함수 그래프 보기 # Lab 3 Minimizing Cost import tensorflow as tf import matplotlib.pyplot as plt tf.set_random_seed(777) # for reproducibility X = [1, 2, 3] Y = [1, 2, 3] W = tf.placeholder(tf.float32) # Our hypothesis for linear model X * W hypothesis = X * W # cost/.. 2018. 7. 11. [머신러닝]03-1.Linear Regression의 cost 최소화 알고리즘 ※본 포스팅은 직접 강의하는 내용이 아닌, 김성훈 교수님의 머신러닝 강의를 정리하기 위한 포스팅입니다.김성훈 교수님의 강의는 모두를 위한 머신러닝/딥러닝(http://hunkim.github.io/ml)에서 들을 수 있습니다. Linear Regression의 cost 함수 목표는 cost를 최소화하는 값 W와 b를 찾는 것이다. cost 함수는 어떻게 생겼을까?cost 함수의 그래프를 그리면 위와 같은 모습이 된다.이 그래프에서 cost 함수를 최소화하는 W와 b를 찾기위해 경사하강법 알고리즘(Gradient descent algorithm)을 사용한다. Gradient descent algorithm(경사하강법 알고리즘)cost 함수를 최소화하는 알고리즘다양한 최소화 문제에 사용됨cost(W,b) 함.. 2018. 7. 9. 이전 1 2 다음
