달나라 노트

1. 경사 하강법(Gradient Descent)이란?경사 하강법(Gradient Descent)은 말 그대로 점잔적으로 하강하여 함수의 최소값을 찾는 방법입니다. 여기서 얘기할 경사 하강법은 딥러닝에서 자주 나오는 얘기이기에 모델의 학습 차원에서 경사 하강법을 다시 좀 더 자세하게 정의해보겠습니다. 함수의 계수(w, b 등)를 조금씩 조절하여 모델의 손실 함수(Cost Function, 모델의 에러율이라고 생각하시면 됩니다.)의 값이 최소가 되는 계수를 찾는 방법입니다.우리가 딥러닝을 하는 것은 결국 y = wx + b같은 식에서 가지고 있는 데이터를 높은 정확도로 설명할 수 있는 w, b값을 찾아내는 것이죠.만약 우리가 최적의 w, b를 찾아낸다면, 이 함수식의 정확도는 매우 높아질 것입니다. 즉, ..

딥러닝을 공부하다보면 가장 처음 접하고 가장 많이 접하는 식 중 하나가 다음 식일겁니다.y = wx + b x는 input값, y는 output 입니다.x를 넣으면 w와 곱해지고 b와 더해져서 y라는 output을 계산하는 것이죠. 딥러닝은 위 식에서 w와 b값을 결정하여 어떤 x값에도 y값을 return하여 예측을 하거나 어떤 새로운 값에 대한 결과를 얻는 과정입니다. 여기서는 이 간단한 얘기를 해보려고 합니다.w는 왜 있어야하고 b는 왜 있어야할까요? 1. 가중치(W, Weight)가 있어야 하는 이유y = wx + b위 식에서 w는 기울기입니다. 현실의 다양한 패턴을 학습하다보면 input과 output의 관계는 반드시 기울기가 1인 선형 함수의 관계를 띄지 않습니다.y = x라는 식으로 모든 것..

Sampling은 어떤 모집단(Population)에서 일부 데이터(Sample)를 뽑는 것을 의미합니다.이렇게 모집단에서 샘플을 뽑아서 통계적인 요소(e.g. 평균, 분산 등)를 계산하면 이 샘플들로부터 계산된 결론이 모집단의 특성과 일치하거나 근사하다 라고 하는 것이죠. Sampling을 하는 이유는 현실적으로 언제나 모집단 전체를 일일이 다 조사해볼 수 없는 경우가 맣기 때문입니다.대표적인 예시로 5000만명 국민 전체에 대해 무언가를 조사하기에는 매우 어려우니 그 중 랜덤한 1000명, 10000명을 대상으로 조사하여 통계를 내는 방식이죠.비록 실제 조사한 것은 5000만명 중 일부이지만 이 일부의 숫자가 매우 적지 않고 어느정도 이상으로 크다면 모집단 전체의 경향성이나 패턴과 어느정도 비슷하다고..

손실 함수(Cost Function)는 Deep Learning에서 사용되는 중요한 개념 중 하나입니다. Cost Function을 매우매우 간단하게 설명하면 에러율입니다.모델이 얼마나 에러를 일으켰는지를 나타내는 값이죠. 다만 그냥 모델이 계산한 값이 정답(label)과 다른가 아닌가로 구분하는게 아니라 모델의 output값과 정답(label)의 차이를 가지고 계산한 에러율입니다.예측값(prediction)과 정답(label)간의 차이를 계산해서 모델의 오류를 수치화한 것입니다. 따라서 Cost Function의 숫자가 낮을수록 모델이 더 정확하다고 할 수 있습니다. 대표적인 Cost Function에 대해 알아봅시다. 1. Mean Squared Error(MSE, 평균 제곱 오차) Mean Sq..