Sigmoid 함수

Sigmoid(시그모이드) 함수는 딥러닝에서 널리 사용되는 활성화 함수 중 하나로, 입력 값을 0과 1 사이의 값으로 변환한다. 함수의 그래프가 S자 형태를 띠기 때문에 이런 이름이 붙었다.

목차

1. Sigmoid 함수란?

2. 수학적 표현

3. Sigmoid 함수의 장점

4. Sigmoid 함수의 한계

5. Sigmoid 함수의 활용

1. Sigmoid 함수란?

Sigmoid 함수는 입력 값을 0과 1 사이의 값으로 압축하는 비선형 활성화 함수다. 주로 신경망에서 이진 분류 문제에 사용되며, 출력값을 확률로 해석할 수 있다.

2. 수학적 표현

Sigmoid 함수는 다음과 같이 정의된다.

$$ f(x) = \frac{1}{1 + e^{-x}} $$

입력 값이 클수록 1에 가까운 값이 출력되며, 입력 값이 작을수록 0에 가까운 값이 출력된다.

3. Sigmoid 함수의 장점

• 출력값 범위 제한: 0과 1 사이의 값으로 출력되어 확률값으로 해석 가능하다.
• 이진 분류 문제에 적합: 0.5를 기준으로 클래스 분류가 가능하다.

4. Sigmoid 함수의 한계

• 기울기 소실(Vanishing Gradient) 문제: 입력 값이 너무 크거나 작으면 기울기가 매우 작아져 학습이 어려워진다.
• 출력값 중심이 아님: 출력 범위가 0~1이기 때문에 중심이 0이 아니라 학습 속도에 영향을 줄 수 있다.

5. Sigmoid 함수의 활용

• 이진 분류: 로지스틱 회귀, 이진 분류 신경망
• 확률 기반 모델: 출력값을 확률로 해석할 수 있는 문제에서 사용