달나라 노트

y = wx + b를 통해 딥러닝을 진행하면 상황에 따라 출력값의 숫자가 매우 커지는 경우가 있을 수 있습니다.이런 상황이 지속되면 컴퓨터의 계산 가능한 범위를 넘어서는 크기의 숫자가 나올 수도 있습니다. 또한 단순한 y = wx + b와 같은 연산만 반복하게 되면 input과 output의 관계성이 선형으로만 정의되어 단조로운 선형(Linearity) 패턴만 가지게 될 수 있습니다.이렇게되면 복잡한 패턴을 가지는 현실의 다양한 패턴들을 구체화하기 어려울 수 있죠.그래서 Deep Learning의 핵심 중 하나는 비선형(Non-Linearity) 패턴을 구현하는 주는 것입니다. 위같은 현상을 방지하면서 인공 신경망을 거칠 때 마다 나오는 output 값을 특정 범위 내로 제한하여 output값이 목표값에..