가중치(W, Weight)와 편향(B, Bias)

 

 

 

딥러닝을 공부하다보면 가장 처음 접하고 가장 많이 접하는 식 중 하나가 다음 식일겁니다.

y = wx + b

 

x는 input값, y는 output 입니다.

x를 넣으면 w와 곱해지고 b와 더해져서 y라는 output을 계산하는 것이죠.

 

딥러닝은 위 식에서 w와 b값을 결정하여 어떤 x값에도 y값을 return하여 예측을 하거나 어떤 새로운 값에 대한 결과를 얻는 과정입니다.

 

여기서는 이 간단한 얘기를 해보려고 합니다.

w는 왜 있어야하고 b는 왜 있어야할까요?

 

 

1. 가중치(W, Weight)가 있어야 하는 이유

y = wx + b

위 식에서 w는 기울기입니다.

 

현실의 다양한 패턴을 학습하다보면 input과 output의 관계는 반드시 기울기가 1인 선형 함수의 관계를 띄지 않습니다.

y = x라는 식으로 모든 것을 설명할 순 없죠.

그래서 다양한 상황에 대해 알맞는 기울기가 반드시 필수적입니다.

 

 

2. 편향(B, Bias)가 있어야 하는 이유

그러면 b는 왜 필요할까요?

y = wx + b

이 식을 보면 b는 y절편입니다.

 

만약 b가 없으면 딥러닝 과정에서 우리는 y = wx라는 그래프와 유사한 패턴만 구현할 수 있을겁니다.

이 말은 모든 그래프가 원점을 지나게 되고 딥러닝 모델의 학습 또한 이런 방식으로 진행되겠죠.

 

근데 현실에서는 어떠한 현상에 대한 패턴이 반드시 원점을 지나는 그래프로만 설명될거라는 보장이 없습니다.

그래서 y절편 = 편향 = Bias = b을 더해줌으로서 그래프가 좌표평면 어디에든 존재할 수 있도록 하여 더욱 다양한 패턴을 학습하고, 구현하고, 예측할 수 있게 하기 위함입니다.