LSTM는 RNN과는 다르게 신경망 내에 메모리를 두어 먼 과거의 데이터도 저장할 수 있도록 하였다.
RNN vs LSTM
a: RNN은 내부 상태(메모리)를 사용하여 입력 시퀀스를 처리한다.
b: 장단기 메모리(LSTM) 네트워크는 RNN의 변형으로,
과거 데이터를 기억하기 위해 장기 메모리가 추가된다.
출처: DOI:10.1101/2020.05.03.075184
또한 입출력을 제어하기 위한 소자(논리적인 장치; device; 素子)인 게이트(Gate)를 두었다.
LSTM에서 각 게이트의 역할은 다음과 같다.
입력 게이트(Input Gate) 현재의 정보를 기억하기 위한 소자이다.
과거와 현재 데이터가 시그모이드 함수와 하이퍼볼릭 탄젠트 함수를 거치면서
현재 정보에 대한 보존량을 결정한다.
망각 게이트(Forget Gate) 과거의 정보를 어느 정도까지 기억할지 결정하는 소자이다.
과거와 현재 데이터가 시그모이드 함수를 거쳐 나온 값을 과거의 정보와 곱한다.
따라서 시그모이드 함수의 출력이 0일 경우 과거의 정보는 완전히 잊혀지고,
1일 경우에는 과거의 정보가 온전히 보존된다.
출력 게이트(Input Gate) 출력층으로 출력할 정보의 양을 결정하는 소자이다.
현재까지 제안된 RNN 기반의 응용 서비스들은 대부분 LSTM을 이용하여 구현되었다.
게이트는 입력 게이트, 출력 게이트, 망각 게이트가 있다.
출처: https://ljyong.tistory.com/47
메멘토(Memento, 2001) (9분)
아내가 살해당한 후,
10분밖에 기억 못하는 단기기억상실증(선행성 기억상실증)에 걸린 남자가
사진, 메모, 문신으로 남긴 기록을 따라 범인을 쫓는 기억 추적 범죄 스릴러
<인터스텔라><인셉션> 크리스토퍼 놀란(Christopher Nolan) 감독의 첫 번째 마스터피스
