달나라 노트

경사 하강법(Gradient Descent) 얘기를 할 때 Local Minima를 언급했었습니다.(경사 하강법 글 = https://cosmosproject.tistory.com/916) 그래서 Local Minima가 딥러닝에 저해되는 요소라고 언급하였는데 그러면 현실적으로 Local Minima라는 문제가 있음에도 현재 전세계적으로 딥러닝이 잘 되고 있는 이유와, 왜 그런지를 알아봅시다. 주제를 정의하면 다음과 같을 겁니다."왜 Local Minima 문제에도 불구하고 딥러닝은 잘 작동할까? Local Minima 문제를 어떻게 해결하는 것일까?" (복잡한 수식이나 개념은 최대한 다루지 않고, 매우 간단하게 느낌만 알아갈 정도의 내용이라는 것을 미리 알립니다.) 1. 현실적으로 다뤄지는 딥러닝..

y = wx + b를 통해 딥러닝을 진행하면 상황에 따라 출력값의 숫자가 매우 커지는 경우가 있을 수 있습니다.이런 상황이 지속되면 컴퓨터의 계산 가능한 범위를 넘어서는 크기의 숫자가 나올 수도 있습니다. 또한 단순한 y = wx + b와 같은 연산만 반복하게 되면 input과 output의 관계성이 선형으로만 정의되어 단조로운 선형(Linearity) 패턴만 가지게 될 수 있습니다.이렇게되면 복잡한 패턴을 가지는 현실의 다양한 패턴들을 구체화하기 어려울 수 있죠.그래서 Deep Learning의 핵심 중 하나는 비선형(Non-Linearity) 패턴을 구현하는 주는 것입니다. 위같은 현상을 방지하면서 인공 신경망을 거칠 때 마다 나오는 output 값을 특정 범위 내로 제한하여 output값이 목표값에..