🔗 관련 문서: Wikipedia - Feedforward Neural Network

FFN (Feed Forward Network) - 순방향 신경망

피드포워드 네트워크(FFN)는 인공신경망(ANN)의 가장 기본적인 형태로, 데이터가 한 방향으로만 전달되는 구조를 가진다. 입력 → 은닉층 → 출력층으로 흐르며, 순환이나 루프가 없는 구조를 가진다.

(1) FFN의 개념

FFN은 입력층(Input Layer), 은닉층(Hidden Layer), 출력층(Output Layer)으로 구성되며, 각 층에서 데이터는 순차적으로 전파되고, 순환 구조가 없다는 점에서 RNN과 구분된다.

(2) FFN의 구조

• 입력층: 입력 데이터를 받아들이는 첫 번째 층
• 은닉층: 가중치와 비선형 함수를 통해 특징을 추출
• 출력층: 최종 예측 값을 출력

(3) FFN의 역할

Transformer 구조 내에서 FFN은 인코더와 디코더의 서브 레이어에 위치하여, 어텐션 이후 비선형 변환을 적용해 모델의 표현력을 증가시킨다.

(4) 활성화 함수와 기울기 소실

FFN은 비선형 활성화 함수를 활용하여 딥러닝에서 자주 발생하는 기울기 소실 문제를 해결한다. 가장 널리 사용되는 함수는 ReLU이다:

\[ f(x) = \max(0, x) \]

• 입력이 0보다 작으면 0을 출력
• 입력이 0보다 크면 그대로 출력
• 비선형성과 계산 효율성을 모두 갖춘 함수