선형 회귀

단순 선형회귀

 y = wx + b 수식은 단순 선형 회귀의 수식이다. 여기서 변수 x는 다른 변수의 값을 변하게 하는 것이고, y는 x에 따라 값이 종속적으로 변한다.

x와 곱해지는 값 w를 머신러닝에서는 가중치(weight)라고 부르고, 별도로 더해지는 값 b를 편향(bias)이라고 한다.

(가중치는 변수x가 y에 미치는 영향력을 말함.)

예를 들자면 하루에 운동하는 시간을 늘릴수록 몸이 좋아질 것이다. 이때 하루에 운동하는 시간은 x이고, 좋아지는 몸이 y가 된다.

다중 선형 회귀

y = w_1x_1 + w_2x_2 + ... + w_nx_n + b  이 수식은 다중 선형 회귀 수식이다. 

위의 예시에서 x변수가 운동하는 시간 뿐 아니라 운동 강도, 먹는 양 등 x변수가 여러개가 된 것이다.

 

 

 

 

 

손실함수(Loss Function) 또는 비용함수는 머신러닝에서 모델의 예측값과 실제값(정답) 간의 차이를 수치화한 함수이다. 손실함수는 모델이 얼마나 잘 작동하는지를 평가하는 데 중요한 역할을 하며, 손실함수를 줄이기 위해 모델의 가중치가 조정된다.

회귀에서 손실함수 : 평균 제곱 오차(MSE, Mean Squared Error), 평균 절대 오차(MAE, Mean Absolute Error)

분류에서 손실함수: 이진 교차 엔트로피(Binary Cross-Entropy), 다중 클래스 교차 엔트로피(Categorical Cross-Entropy)

 

 

 

 

 

옵타마이저(Optimizer) 또는 최적화 알고리즘은 머신러닝, 딥 러닝을 학습할 때 손실함수를 최소화하는 w(가중치)와 b(편향)을 찾기위한 작업을 수행하는 알고리즘이다.  옵티마이저를 통해 적절한 w와 b를 찾아내는 과정을 머신 러닝에서 훈련(training) 또는 학습(learning)이라고 한다.

옵티마이저 알고리즘에는 대표적으로 경사하강법(Gradient Descent)이 있다.