회귀(Regression)는 독립변수(특성, feature)와 종속변수(레이블, label) 사이의 관계를 함수식으로 모델링하여, 새로운 입력값에 대한 연속적인 수치를 예측하는 지도학습(Supervised Learning) 기법이다.
예를 들어 집의 크기, 방의 개수, 위치 등의 특성(x)을 이용해 집값(y)을 예측하거나, 공부 시간을 이용해 시험 점수를 예측하는 문제가 회귀에 해당한다. 회귀 모델은 학습 데이터에 가장 잘 들어맞는 함수(직선, 곡선 등)를 찾아내고, 이 함수를 이용해 아직 정답을 모르는 새로운 데이터의 값을 추정한다.
회귀식의 기본 형태
가장 단순한 형태인 단순 선형 회귀는 다음과 같은 식으로 나타낼 수 있다.
$$ y = wx + b $$
여기서 w는 가중치(weight, 기울기), b는 편향(bias, 절편)이며, 학습이란 결국 데이터에 가장 잘 맞는 w와 b를 찾는 과정이다.
선형 회귀는 독립변수와 종속변수 사이의 관계를 직선(1차 함수) 형태로 가정하고 모델링하는 가장 기본적인 회귀 기법이다.
1) 단순 선형 회귀 (Simple Linear Regression)
독립변수가 1개일 때 사용하며, 다음과 같은 식으로 표현한다.
$$ y = wx + b $$
2) 다중 선형 회귀 (Multiple Linear Regression)
독립변수가 2개 이상일 때 사용하며, 다음과 같이 확장된다.
$$ y = w_1x_1 + w_2x_2 + \cdots + w_nx_n + b $$
3) 최소제곱법 (Least Squares Method)
선형 회귀는 실제값과 예측값의 차이(오차)의 제곱합을 최소화하는 방향으로 w, b를 학습한다. 이때 사용하는 오차 함수(비용 함수)를 평균제곱오차(MSE, Mean Squared Error)라고 한다.
$$ MSE = \frac{1}{n}\sum_{i=1}^{n}(y_i - \hat{y}_i)^2 $$
여기서 yi는 실제값, ŷi는 모델의 예측값이다. 이 비용 함수를 최소화하는 방법으로는 해석적으로 바로 계산하는 최소제곱법과, 반복적으로 조금씩 값을 갱신하는 경사하강법(Gradient Descent)이 있다.
로지스틱 회귀는 이름에 "회귀"가 포함되어 있지만, 실제로는 이진 분류(Binary Classification)에 널리 사용되는 대표적인 알고리즘이다. 어떤 데이터가 특정 클래스에 속할 확률을 예측하는 데 사용된다.
1) 시그모이드 함수 (Sigmoid Function)
선형 회귀식(wx+b)의 결과는 (-∞, ∞) 범위의 실수값이므로, 이를 그대로 확률로 사용할 수 없다. 로지스틱 회귀는 이 값을 시그모이드 함수에 통과시켜 0과 1 사이의 확률값으로 변환한다.
$$ \sigma(z) = \frac{1}{1+e^{-z}}, \quad z = wx+b $$
시그모이드 함수를 통과한 출력값이 특정 임계값(보통 0.5)보다 크면 1(양성), 작으면 0(음성)으로 분류한다.
2) 로짓 변환 (Logit Transformation)
로짓 변환(Logit Transformation)은 0과 1 사이의 확률값(p)을 음의 무한대(-∞)에서 양의 무한대(+∞) 범위의 값으로 바꾸는 수학적 변환 공식이다. 데이터 분석이나 머신러닝의 로지스틱 회귀 분석에서 종속변수와 독립변수 간의 관계를 직선 형태(선형 결합)로 모델링하기 위해 필수적으로 사용된다.
로지스틱 회귀는 반대 방향으로, 성공 확률 p에 로짓(logit) 변환을 적용하여 선형결합 형태로 모델링한다고도 설명할 수 있다.
$$ \log\left(\frac{p}{1-p}\right) = w_1x_1 + w_2x_2 + \cdots + b $$
즉, 확률의 오즈(odds, p/(1-p))에 로그를 취한 값을 독립변수들의 선형결합으로 표현하는 것이다.
3) 학습 방법: 최대우도추정 (MLE)
선형 회귀는 오차의 제곱합(MSE)을 최소화하는 최소제곱법을 사용하지만, 로지스틱 회귀는 관측된 데이터가 나타날 확률(우도, likelihood)을 최대화하는 최대우도추정(MLE, Maximum Likelihood Estimation)을 통해 가중치를 구한다. 실제 계산에서는 로그우도를 손실 함수(로그 손실, log loss)로 바꾸고, 이를 최소화하기 위해 경사하강법(Gradient Descent) 등을 사용한다.
수치적 최적화를 통해 얻은 MLE 결과값(갈색)이 실제 데이터의 분포와 가장 높은 일치도를 보인다.
선형 회귀 vs 로지스틱 회귀
선형 회귀는 연속적인 값을 예측하고 최소제곱법(MSE 최소화)으로 학습하는 반면, 로지스틱 회귀는 클래스에 속할 확률(0~1)을 예측하고 최대우도추정(MLE)으로 학습한다는 점에서 근본적으로 다르다.
선형 회귀가 학습 데이터에 과도하게 맞춰져 과대적합되는 것을 방지하기 위해, 비용 함수에 가중치 크기에 대한 페널티 항을 추가한 회귀 기법들이다.
1) 라쏘 회귀 (Lasso Regression, L1 규제)
가중치의 절댓값에 비례하는 페널티를 추가하며, 일부 가중치를 정확히 0으로 만들어 변수 선택(Feature Selection) 효과도 얻을 수 있다.
$$ Cost = MSE + \lambda \sum_{i=1}^{n} |w_i| $$
2) 릿지 회귀 (Ridge Regression, L2 규제)
가중치의 제곱에 비례하는 페널티를 비용 함수에 추가하여, 가중치 값이 지나치게 커지지 않도록 제한한다.
$$ Cost = MSE + \lambda \sum_{i=1}^{n} w_i^2 $$
3) 엘라스틱넷 (Elastic Net, L1 + L2 혼합 규제)
L1 규제와 L2 규제를 혼합 비율(mixing ratio) r에 따라 함께 적용하는 기법으로, 라쏘의 변수 선택 효과와 릿지의 안정적인 축소 효과를 동시에 노릴 때 사용한다.
$$ Cost = MSE + \lambda \left[\, r\sum_{i=1}^{n} |w_i| + (1-r)\sum_{i=1}^{n} w_i^2 \,\right], \quad 0 \le r \le 1 $$
혼합 비율 r(흔히 l1_ratio 또는 α로 표기)이 1에 가까울수록 L1(Lasso)에 가깝게, 0에 가까울수록 L2(Ridge)에 가깝게 동작한다.
위 식들에서 공통적으로 등장하는 λ(람다)는 규제의 강도를 조절하는 하이퍼파라미터로, λ가 클수록 규제가 강해져 모델이 단순해진다.
정규화 강도(λ)와 편향-분산 트레이드오프
λ를 0에서부터 점점 크게 할수록 페널티의 영향력이 커지면서 가중치들은 점점 0에 가깝게 수렴한다(라쏘는 일부가 정확히 0에 도달하기도 한다). λ→∞의 극단으로 가면 모든 가중치가 0에 수렴하여 모델이 상수 함수에 가까울 정도로 단순해진다.
이 과정에서 모델이 단순해지므로 분산(variance)은 작아지고, 대신 데이터의 패턴을 충분히 반영하지 못해 편향(bias)은 커진다. 즉 λ가 커질수록 가중치는 발산하는 것이 아니라 오히려 수렴하며, 분산이 아니라 편향이 늘어난다는 점에 주의해야 한다.
ㄱ. 이진분류에 사용하지 않는 알고리즘이다.
ㄴ. 예측값을 변환할 때 시그모이드 함수를 사용한다.
ㄷ. 종속변수에 로그를 적용하는 로짓(logit) 변환을 사용한다.
ㄹ. 최적해를 구하기 위해서 최소제곱법을 사용한다.
ㄱ, ㄴ
ㄴ, ㄷ
ㄴ, ㄹ
ㄷ, ㄹ
정답 · 해설 보기
정답: ② ㄴ, ㄷ
ㄴ. (옳음)
로지스틱 회귀는 선형 결합 결과를 시그모이드 함수에 통과시켜 0~1 사이의 확률값으로 변환한다.
ㄷ. (옳음)
성공 확률 p에 로그를 취한 로짓(logit) 변환, 즉 log(p/(1-p))를 독립변수들의 선형결합으로 모델링한다.
ㄱ. (틀림)
로지스틱 회귀는 이름에 "회귀"가 들어가지만, 실제로는 이진 분류(Binary Classification)에 널리 쓰이는 대표적인 알고리즘이므로 "이진분류에 사용하지 않는다"는 설명은 틀렸다.
ㄹ. (틀림)
로지스틱 회귀의 최적해는 최소제곱법이 아니라, 데이터가 관측될 확률(우도)을 최대화하는 최대우도추정(MLE)을 통해 구하며, 실제 계산은 경사하강법 등으로 수행한다. 따라서 "최소제곱법을 사용한다"는 설명은 틀렸다.
따라서 옳은 것만 모은 ㄴ, ㄷ이 정답이다.
선형 회귀의 정규화(regularization) 기법에 대한 설명으로 옳지 않은 것은?
L1 정규화(Lasso)는 가중치 절댓값의 합을 손실함수에 추가하며, 일부 가중치를 정확히 0으로 만들어 특징 선택 효과를 가진다.
L2 정규화(Ridge)는 가중치 제곱의 합을 손실함수에 추가하며, 가중치를 0에 가깝게 축소시키지만 완전히 0으로 만들지는 않는 경향이 있다.
엘라스틱넷(Elastic Net)의 혼합 비율 파라미터가 1에 가까울수록 L1(Lasso)에 가깝게, 0에 가까울수록 L2(Ridge)에 가깝게 동작한다.
릿지 회귀(Ridge)에서 정규화 강도 λ를 무한히 크게 하면, 가중치들은 서로 다른 값으로 발산(diverge)하며 모델의 분산(variance)이 급격히 커진다.
정답 · 해설 보기
정답: ④
① (옳음)
L1 정규화(Lasso)는 가중치 절댓값의 합을 벌점으로 추가하며, 일부 가중치를 정확히 0으로 만들어 변수 선택(Feature Selection) 효과를 낸다.
② (옳음)
L2 정규화(Ridge)는 가중치 제곱의 합을 벌점으로 추가하며, 가중치를 0에 가깝게 만들지만 완전히 0으로 만들지는 않는 경향이 있다.
③ (옳음)
엘라스틱넷의 혼합 비율(l1_ratio 또는 α)이 1에 가까울수록 L1(Lasso)에, 0에 가까울수록 L2(Ridge)에 가깝게 동작한다.
④ (틀림)
릿지 회귀에서 λ→∞가 되면 벌점이 지배적이 되어, 가중치들이 서로 다른 값으로 발산하는 것이 아니라 오히려 0에 가깝게 수렴한다. 규제가 강해질수록 모델은 단순해져 분산(variance)은 작아지고, 대신 편향(bias)은 커진다. "가중치가 발산하며 분산이 급격히 커진다"는 설명은 실제와 반대로 서술되어 있어 옳지 않다.
/Tomcat-webapps/ROOT/res/html/0_formula/00%20AI/sigmoid.png)
