ReLU (Rectified Linear Unit) 함수 (렐루 함수)

ReLU(Rectified Linear Unit) 함수는 딥러닝에서 가장 많이 사용되는 활성화 함수 중 하나다. 입력이 0보다 크면 그대로 출력하고, 0 이하이면 0을 출력하는 방식으로 작동한다.

목차

1. 배경
2. ReLU 함수란?
3. 수학적 표현
4. ReLU 함수의 장점
5. ReLU 함수의 한계
6. 신경망에서의 계산 예제 (순전파)

1. 배경

• 렐루 함수는 딥러닝 역사에 있어 한 획을 그은 활성화 함수인데, 렐루 함수가 등장하기 이전엔 시그모이드 함수를 활성화 함수로 사용해서 딥러닝을 수행했다.
• 그러나, 시그모이드 함수는 출력하는 값의 범위가 0에서 1사이므로, 레이어를 거치면 거칠수록 값이 현저하게 작아지게 되어 기울기 소실(Vanishing gradient) 현상이 발생하였다.
• 이 문제는 1986년부터 2006년까지 해결되지 않았으나, 제프리 힌튼 교수가 제안한 렐루 함수로 인해, 시그모이드의 기울기 소실 문제가 해결되게 되었다.
• 렐루 함수는 우리말로, 정류된 선형 함수라고 하는데, 간단하게 말해서 +/-가 반복되는 신호에서 - 흐름을 차단한다는 의미다.
• 렐루 함수는 은닉층에서 굉자히 많이 사용되는 데, 별생각 없이 다층 신경망을 쌓고, 은닉층에 어떤 활성화 함수를 써야 할지 모르겠다 싶으면, 그냥 렐루 함수를 쓰라고 할 정도로, 아주 많이 사용되는 활성화 함수이다.

2. ReLU 함수란?

ReLU는 "Rectified"(정류된)와 "Linear Unit"(선형 유닛)의 합성어다. "정류"는 교류(AC)를 직류(DC)로 변환하는 개념에서 따온 것으로, ReLU 함수가 음수를 0으로 변환하는 특징과 유사하기 때문에 붙여진 이름이다.

동작 방식:

• 입력 값이 0보다 크면 그대로 출력
• 입력 값이 0 이하이면 0을 출력

3. 수학적 표현

ReLU 함수는 다음과 같이 정의된다.

$$ f(x) = \max(0, x) $$

즉, 입력 \( x \) 가 0보다 크면 그대로 출력하고, 0 이하이면 0을 출력한다.

4. ReLU 함수의 장점

• 기울기 소실(Vanishing Gradient) 문제 완화: 시그모이드 함수나 하이퍼볼릭 탄젠트 함수와 달리, ReLU는 양수 영역에서 기울기가 1이므로 기울기 소실 문제가 줄어든다.
• 계산 효율성: 단순한 max 연산으로 이루어져 있어 계산 속도가 빠르다.
• 희소성(Sparsity): 0 이하의 값이 0으로 변환되므로 일부 뉴런이 비활성화된다. 이는 신경망의 일반화 성능을 높이는 데 기여할 수 있다.

5. ReLU 함수의 한계

• 죽은(ReLU Dying) 문제: ReLU는 입력이 0 이하이면 0을 출력하기 때문에 일부 뉴런이 영구적으로 비활성화될 수 있다.
• 출력값의 비대칭성: 음수 영역이 0이기 때문에 평균 출력값이 0보다 크며, 이를 해결하기 위해 Leaky ReLU, Parametric ReLU(PReLU) 등의 변형이 사용된다.

6. 신경망에서의 계산 예제 (순전파)

다음과 같이 활성화 함수로 ReLU를 사용하는 간단한 신경망 모델에서, 각 노드의 출력값은 "가중합을 구한 뒤 활성화 함수(ReLU)를 적용"하는 순서로 계산한다. 편향(bias)은 0이라고 가정한다.

입력값 0.7, 0.8이 각각의 가중치를 거쳐 은닉층 노드 A, B로 전달되고, 다시 A, B의 출력이 가중치를 거쳐 노드 C, D로 전달된다. ReLU 함수는 \( ReLU(x) = \max(0, x) \) 이므로, 음수 입력은 0으로, 양수 입력은 그대로 출력된다.

\[ \begin{align} \text{A의 입력값} &= 0.7 \times 2.0 + 0.8 \times 0.8 = 1.4 + 0.64 = 2.04 \\ \text{A의 출력값} &= ReLU(2.04) = 2.04 \\[8pt] \text{B의 입력값} &= 0.7 \times (-1.0) + 0.8 \times 0.5 = -0.7 + 0.4 = -0.3 \\ \text{B의 출력값} &= ReLU(-0.3) = 0 \\[8pt] \text{C의 입력값} &= (\text{A의 출력값}) \times 0.5 + (\text{B의 출력값}) \times (-3.0) \\ &= 2.04 \times 0.5 + 0 \times (-3.0) = 1.02 \\ \text{C의 출력값} &= ReLU(1.02) = 1.02 \end{align} \]

음수였던 B의 입력값(-0.3)은 ReLU를 거치며 0으로 출력되어, 이후 C의 계산에서 B와 연결된 가중치(-3.0)의 영향이 사라지는 것을 확인할 수 있다. 이처럼 ReLU는 음수 신호를 차단(0으로 변환)하여 다음 층으로 전달되는 신호를 조절하는 역할을 한다.