달나라 노트

경사 하강법(Gradient Descent) 얘기를 할 때 Local Minima를 언급했었습니다.(경사 하강법 글 = https://cosmosproject.tistory.com/916) 그래서 Local Minima가 딥러닝에 저해되는 요소라고 언급하였는데 그러면 현실적으로 Local Minima라는 문제가 있음에도 현재 전세계적으로 딥러닝이 잘 되고 있는 이유와, 왜 그런지를 알아봅시다. 주제를 정의하면 다음과 같을 겁니다."왜 Local Minima 문제에도 불구하고 딥러닝은 잘 작동할까? Local Minima 문제를 어떻게 해결하는 것일까?" (복잡한 수식이나 개념은 최대한 다루지 않고, 매우 간단하게 느낌만 알아갈 정도의 내용이라는 것을 미리 알립니다.) 1. 현실적으로 다뤄지는 딥러닝..

IT 관련 내용을 접다하보면 온프레미스(On-Premise)라는 용어를 접할 때가 있습니다. On-Premise가 란 무엇일까요? 기업에서 서버를 운용하는 방법은 여러 가지가 있습니다.그것들을 두 가지 큰 방식으로 나눠보자면 다음과 같습니다.1. 다른 기업에서 제공하는 클라우드 서비스를 이용하는 방법2. 자체적으로 전산실과 서버 장비를 갖춘 후 자체적인 서버를 운용하는 방법 여기서 2번을 온프레미스 방식이라고 합니다.기업이 자체적으로 서버를 갖춰서 사용하는 것이죠. 온프레미스 방식의 장점은 크게 다음과 같습니다.장점 1. 기업이 자체적으로 서버를 운용하는 것이기 때문에 외부 서비스에 문제가 생겨도 기업 자체의 서버에만 문제가 없다면 정상 작동이 가능하다는 것.장점 2. 장점 1과 더불어 자체 서버에 회사..

1. 경사 하강법(Gradient Descent)이란?경사 하강법(Gradient Descent)은 말 그대로 점잔적으로 하강하여 함수의 최소값을 찾는 방법입니다. 여기서 얘기할 경사 하강법은 딥러닝에서 자주 나오는 얘기이기에 모델의 학습 차원에서 경사 하강법을 다시 좀 더 자세하게 정의해보겠습니다. 함수의 계수(w, b 등)를 조금씩 조절하여 모델의 손실 함수(Cost Function, 모델의 에러율이라고 생각하시면 됩니다.)의 값이 최소가 되는 계수를 찾는 방법입니다.우리가 딥러닝을 하는 것은 결국 y = wx + b같은 식에서 가지고 있는 데이터를 높은 정확도로 설명할 수 있는 w, b값을 찾아내는 것이죠.만약 우리가 최적의 w, b를 찾아낸다면, 이 함수식의 정확도는 매우 높아질 것입니다. 즉, ..

딥러닝을 공부하다보면 가장 처음 접하고 가장 많이 접하는 식 중 하나가 다음 식일겁니다.y = wx + b x는 input값, y는 output 입니다.x를 넣으면 w와 곱해지고 b와 더해져서 y라는 output을 계산하는 것이죠. 딥러닝은 위 식에서 w와 b값을 결정하여 어떤 x값에도 y값을 return하여 예측을 하거나 어떤 새로운 값에 대한 결과를 얻는 과정입니다. 여기서는 이 간단한 얘기를 해보려고 합니다.w는 왜 있어야하고 b는 왜 있어야할까요? 1. 가중치(W, Weight)가 있어야 하는 이유y = wx + b위 식에서 w는 기울기입니다. 현실의 다양한 패턴을 학습하다보면 input과 output의 관계는 반드시 기울기가 1인 선형 함수의 관계를 띄지 않습니다.y = x라는 식으로 모든 것..