본문 바로가기

자기개발/Programming

머신러닝(Machine Learning) 기초 - 13 : 선형 회귀 분석(Linear Regression) - 기울기 하강 (Gradient Descent) 2
자기개발/Programming 2021. 7. 16. 머신러닝(Machine Learning) 기초 - 13 : 선형 회귀 분석(Linear Regression) - 기울기 하강 (Gradient Descent) 2 상기 공식을 통해 오차(loss)가 기울기(gradient)에 따라 어떻게 변화하는지 관찰할 수 있었다. * N 은 데이터 포인트 개수 * m 은 현 기울기 예측 값 * b는 현 y 절편 예측 값 일단 기울기(m)와 y 절편 값 (b)를 모두 계산할 수 있다면 두 값이 어떻게 되었을 때 오차(loss)가 최솟값이 되는지를 구할 수 있게 된다. 이를 파이썬 코드로 나타내면 하기와 같다. 이제 구배(gradient)를 계산하는 방법을 알게 되었으므로 해당 방향으로 "스텝"을 밟아야 한다. 하지만 이 스텝이 너무 과하거나 작은 건 아닌지 고려해 보는 것이 중요하다 (최소 오차를 초과해서는 안된다) 이를 위해 사용하는 방법으로 경배(gradient)에 학습력(learning rate)를 곱하여 '오버슈트'를 방..
머신러닝(Machine Learning) 기초 - 12 : 선형 회귀 분석(Linear Regression) - 기울기 하강 (Gradient Descent)
자기개발/Programming 2021. 7. 14. 머신러닝(Machine Learning) 기초 - 12 : 선형 회귀 분석(Linear Regression) - 기울기 하강 (Gradient Descent) 지난 포스팅에서 오차(loss)값에 대해 알아봤는데 말 그대로 오차값은 적으면 적을수록 모델에 정확도가 높아지니 최솟값을 찾아 해당 값을 입력 해줘야한다. 입력값을 조정(기울기 값, y 절편 값)하여 오차(loss)를 최솟값을 찾을 수 있는데 마치 언덕 아래로 내려가다가 바닥에 이르면 멈추는 것과 같다. 이러한 작업을 기울기 하강(gradient descent)라고 한다. 경사도(Gradient)는 기울기(slope)를 뜻하며 오차값(loss)을 최소로 하는 값을 찾는데 이때 미적분을 사용한다. 다만 해당 개념을 이해하는 정도로만 알고 넘어가도 문제없다. y 절편값에 따라 변하는 기울기 값은 하기 공식으로 구할 수 있는데, N은 데이터 포인트 개수를 뜻하며 m은 현 기울기 예측값 b는 y 절편 예측값이다..
머신러닝(Machine Learning) 기초 - 11 : 선형 회귀 분석(Linear Regression) - 오차(Loss)에 대해서
자기개발/Programming 2021. 7. 10. 머신러닝(Machine Learning) 기초 - 11 : 선형 회귀 분석(Linear Regression) - 오차(Loss)에 대해서 선(line)의 기울기 및 y 절편을 할당할 때 우리는 어떤 것이 최적인지에 대해 고려하고 정의해야 한다. 이때 사용되는 개념인 오차(Loss)는 에러(error)라고도 칭하며 각 데이터 포인트와 최적선(line of best fit)간 의 차이를 나타낸다. 오차(loss)는 한 지점(point)로 부터 최적선(line of best fit) 간 거리의 제곱으로 생각할 수 있으며 거리 제곱 (단순 거리 대신)를 실시하여 선 위와 아래의 포인트가 동일한 방식으로 총 오차(loss)에 기여하게 하는 방법이다. 위 예제에서는 : * A 포인트, 제곱 거리는 9 (3²) 이며 * B 포인트 제곱 거리는 1 (1²)이다. 하여 해당 모델의 총합 오차(Loss)는 10이 되며 만일 동일한 데이터 분포에서 총합 오차..
머신러닝(Machine Learning) 기초 - 10 : 선형 회귀 분석(Linear Regression) - 포인트와 라인 (Points and lines)
자기개발/Programming 2021. 7. 8. 머신러닝(Machine Learning) 기초 - 10 : 선형 회귀 분석(Linear Regression) - 포인트와 라인 (Points and lines) 지난 포스팅에서 흩뿌려져 있는 여러 데이터 포인트들을 관통하는 하나의 line of best fit을 찾았던 것처럼 프로그램에서 동일한 수준의 추측을 하기 위해서는 데이터들의 위치/지점을 통해 선(line)이 어떻게 보일지 결정해야 한다. 선 (line)은 기울기와 y 절편 (y-intercept)를 찾아야하는데 다른 말로 y = mx + b 와 같은 방정식에서 m은 기울기, b는 절편을 의미하며 기울기는 선(line)의 경사진 정도를, 절편은 선(line)이 y축 어느 지점을 지나가는지를 뜻한다. 선형 회귀 분석을 행할 때 우리의 목적은 주어진 데이터에 대해 '최적의' m과 b를 얻는 것이며 하기에 주어진 예제와 같이 월, 그리고 매출액에 대한 선형 회귀 법을 적용할 수 있다. 해당 line of be..
머신러닝(Machine Learning) 기초 - 9 : 선형 회귀 분석(Linear Regression) - introduction
자기개발/Programming 2021. 7. 6. 머신러닝(Machine Learning) 기초 - 9 : 선형 회귀 분석(Linear Regression) - introduction 머신러닝의 사용 목적은 모델을 생성하여 실 데이터를 활용, 다른 입력값을 갖고 예측하는 데 있다. 가장 간단한 모델은 데이터 간 최적의 선(line)을 찾는것이며 수많은 데이터를 대표하는 선(line)을 찾는 것을 선형 회귀 분석 (Linear Regression)이라고 일컫는다. 최적의 선(line of best fit)을 찾게되면 새로운 입력값 (unknowns)이 입력되었을 때 결괏값(output)을 '예측'할 수 있게 되는데, 예로 - 주택 시세와 면적 비교. 집 크기를 고려했을때 판매 가격 예측 - 국가 세율과 GDP의 관계. GDP 를 기준으로 그 나라의 세금률 예측 만약 야구 선수들의 키와 몸무게를 나타내는 그래프가 있다고 해보자 해당 그래프를 이용하여 데이터를 설명하기 위해서 라인을 그려보..
머신러닝(Machine Learning) 기초 - 8 : Regression 과 Classification에 대해
자기개발/Programming 2021. 7. 3. 머신러닝(Machine Learning) 기초 - 8 : Regression 과 Classification에 대해 머신러닝 기법 리캡 머신러닝은 여러 가지 기법의 조합으로 다른 상황에서 각기 다른 문제에 답 하는 로직을 기초로 하며 이전 포스팅에서 큼지막한 개념으로 지도, 비지도 학습으로 구분 하였다. 지도 학습(Supervised learning)은 라벨링을 통해 학습 - 실습 단계로 구분하고 비지도 학습(Unsupervised learning) 은 별도의 라벨링/ 사전 학습이 부재된다. 추가로 어떤 결괏값을 도출하는지에 따라 추가적인 분류가 가능하다 : 회귀 법(regression)과 분류법(classification) 이번 포스팅에서는 regression과 classification을 비교해보겠다. 1. 회귀 법(Regression) 회귀 분석은 연속적인 결괏값을 출력을 예측하는 데 사용된다. 출력 값은 라벨링..
머신러닝(Machine Learning) 기초 - 7 : 회귀법(Regression), 유클리디언 거리 (Euclidean distance), 맨하탄 거리 (Manhattan distance) & 해밍 거리(Hamming distance)
자기개발/Programming 2021. 7. 1. 머신러닝(Machine Learning) 기초 - 7 : 회귀법(Regression), 유클리디언 거리 (Euclidean distance), 맨하탄 거리 (Manhattan distance) & 해밍 거리(Hamming distance) 1. 유클리디언 거리 (Euclidean distance) 두 포인트 간 거리는 구하는 방법 중 가장 흔하게 사용되는 기법이 '유클리디언 거리 법'이다. 두 포인트 사이의 유클리디언 거리는 구하는 방법은 각각의 동일 차원 축 (x, y...) 간 거리를 뺀 값을 제곱하고 모두 더한 뒤 루트를 씌워준다 (하기 공식 참고) 수학 시간 때 배운 '피타고라스 정의'와 동일하지만 한 가지 차이점은 x, y, z를 넘어 고차원적인 계산에도 사용된다는 점이다 (해당 포스팅에서는 점(point)을 사용해 설명했지만 실제 사용은 포인트, 라인, 플래인 등 고차원적인 거리를 나타낸다) 2. 맨해튼 거리 (Manhattan distance) 맨하탄 거리 법은 유클리디언과 아주 유사하다. 다른 점은 각 차원 축 간 차를 구하..
머신러닝(Machine Learning) 기초 - 6 : 지도학습, 회귀법(Regression) 점 간 거리에 대하여
자기개발/Programming 2021. 6. 29. 머신러닝(Machine Learning) 기초 - 6 : 지도학습, 회귀법(Regression) 점 간 거리에 대하여 그래프 상 점(point)은 데이터를 의미하며 해당 데이터 간 거리를 이용한 회귀 법에는 3가지 방식이 있다. 1. Euclidean Distance (유클리드 거리법) 2. Manhattan Distance (맨해튼 거리 법) 3. Hamming Distance (해밍 거리 법) 각 거리를 구하는 공식을 들여다보기 전 데이터 포인트들을 어떤 식으로 코드화 할 것인지에 대해 먼저 알아보자. 연습을 위해 리스트(list)를 사용하며 리스트 내 각 아이템은 해당 포인트의 차원 (2차원, 3차원...)을 나타낸다. 예를 들어 포인트 (5, 8)은 파이썬에서 하기와 같이 나타낼 수 있다. pt1 = [5,8) 2차원뿐 아니라 5차원 포인트 등 차원 수에 한정되지 않는다 (5차원 포인트 [4, 8, 15, 16,..

티스토리툴바