LSTM (Long Short-Term Memory)

LSTM(Long Short-Term Memory)은 순환 신경망(RNN)의 일종으로, 시계열 데이터나 순차적인 데이터를 보다 효과적으로 처리하기 위하여 고안된 구조이다. 이는 일반적인 RNN이 갖는 장기 의존성 문제를 극복하기 위해 개발되었다.

(1) 구성 요소

• Cell State (셀 상태): 네트워크의 핵심 정보가 흐르는 경로로, 필요한 정보를 장기적으로 보존하는 역할을 한다.
• Forget Gate: 입력된 정보 중에서 어느 부분을 잊을지 결정하는 기능을 수행한다.
• Input Gate: 현재 시점에서 어떤 새로운 정보를 기억할지를 판단하여 셀 상태에 반영한다.
• Output Gate: 셀 상태로부터 어떤 정보를 출력으로 내보낼지 결정한다.

(2) 동작 원리

LSTM은 이전 상태와 현재 입력값을 바탕으로 각 게이트를 통해 정보를 조절하며, 셀 상태를 업데이트하고 최종적으로 출력값을 생성한다. 이러한 구조 덕분에 중요한 정보는 장기적으로 유지되며, 불필요한 정보는 효율적으로 제거된다.

(3) 응용 분야

• 자연어 처리(기계 번역, 텍스트 생성 등)
• 음성 인식
• 시계열 데이터 예측(주가, 날씨 등)
• 음악 생성 및 이미지 캡션 생성

(4) 장단점

• 장점: 장기 의존성 문제를 해결할 수 있으며, 다양한 순차적 문제에 적용 가능하다.
• 단점: 네트워크 구조가 복잡하고, 학습에 시간이 오래 걸릴 수 있다.