인코더(Encoder)는 입력 데이터를 받아 특징(feature)을 추출하는 모듈 또는 기능이다. 입력 데이터의 종류에 따라 다양한 구조로 구현될 수 있다.
인코더는 입력 값(토큰화된 단어 또는 문장)을 받아들인다. 어텐션 매커니즘을 이용해 입력 값 간의 관계를 파악한 다음, 이를 고차원의 벡터 표현으로 바꾼다. 이렇게 하면 입력 값의 의미와 문맥이 파악된다.
인코더는 입력 데이터를 받아 특정한 특징을 추출하고 고차원 벡터로 변환하는 기능을 수행한다. 이는 자연어 처리(NLP), 이미지 처리, 신호 처리 등 다양한 분야에서 활용된다.
컴퓨터에서 문자를 다루기 위해서는 문자를 바이트(binary data)로 변환해야 한다.
UTF-8(Unicode Transformation Format - 8-bit)은 유니코드 문자 집합을 위한 가변 길이 문자 인코딩 방식 중 하나이다.
파이썬에서 파일을 열 때, 인코딩 방식을 지정하지 않으면 기본적으로 시스템의 기본 인코딩 방식을 사용한다.
open("file.txt", "r", encoding="utf-8"))