3) CNN (합성곱 신경망; Convolutional Neural Network) [YouTube]

실제 이미지 인식 인공지능을 딥러닝 방법으로 만들 때는 합성곱 신경망(Convolutional Neural Network, CNN)을 사용한다. 인공신경망이 사람의 뇌가 작동하는 원리를 보고 만들었듯이, 합성곱 신경망 또한 시각 세포의 작동 원리를 본떠서 만들었다.

앞서 만들던 숫자 인식 인공신경망을 사용하여 똑바로 선 숫자 3을 학습시킨 인공지능은 기울어진 3을 보고 3으로 인식하지 못할 가능성이 있다. 하지만 우리 눈은 3이라는 숫자가 기울어졌든 아니든 그것이 3이라는 것을 안다.

그 이유로는 우리 눈은 전체에 대한 패턴을 인식하는 계층(layers)과 부분에 대한 패턴을 인식하는 계층(layers)이 서로 얽혀 있기 때문이다. 합성곱 신경망은 바로 이러한 원리에 착안하여 개발되었다.

앞에서 다양한 이미지의 픽셀값을 한 줄로 세워서 학습시켰다면, 합성곱 신경망은 이미지를 특정한 영역별로 추출하여 학습시킨다는 특징이 있다.

예를 들어, 다음 그림에서 살펴본 픽셀로 된 숫자 0을 2×2, 즉, 4칸씩 추출한다. 이러한 과정을 거쳐 부분의 특징을 찾아낼 수 있다.

그런 다음 추출한 데이터를 인공신경망에 넣는다. 그리고 마지막 결괏값이 0이라고 알려 주면 인공신경망은 스스로 가중치와 편향을 바꾸어 가며 이 이미지가 숫자 0이라는 것을 학습한다.

실제로는 좀 더 복잡한 과정을 거쳐야 정확한 합성곱 신경망을 완성할 수 있지만, 이 그림은 합성곱 신경망이 데이터 각 부분의 특징을 잘 나타내는 신경망이라는 것을 나타내고자 단순하게 표현했을 뿐이다.

합성곱 신경망은 이미지의 특징을 파악하는 데 특화된 딥러닝 방법이다. 예를 들어 필기체 인식이나 차량 번호판 인식, 의료용 인공지능 개발, 물체 인식 등 이미지를 인식하는 다양한 분야에서 사용한다.

[예제] 합성곱(Convolution) 2×2 연산

합성곱 신경망을 정확하게 구현하려면 부분 데이터를 추출하는 과정에 좀 더 복잡한 단계가 필요하다. 더 자세히 설명하면 2×2 형태로 추출한 데이터를 어떤 값(필터, filter)으로 곱하고 특징적인 값을 찾아내는 과정이 필요하다. 이때 추출한 데이터를 필터와 곱할 때 합성곱 연산을 한다. 그래서 이 신경망 이름이 합성곱 신경망이다. 이러한 합성곱 연산을 사용하면 이미지의 어떤 (국소) 영역에 어떤 특징과 패턴이 있는지 알아낼 수 있다.

[예제] 합성곱(Convolution) 4×4 연산 (CNN 상세절차 포함)

CNN은 인간의 시각 처리 방식을 모방한 신경망이다. 이미지 처리가 가능하도록 합성곱(Convolution) 연산을 도입하였다. 2016년에 공개된 알파고에도 CNN 기반의 딥러닝 모델이 이용되었을 정도로 CNN은 인공신경망 중에서도 가장 발전된 형태이다.

그렇다면 CNN에서 이미지 처리는 어떤 방식으로 진행될까? CNN은 다음과 같이 합성곱층, 풀링층, 완전연결층으로 구성되어 있다.

• 합성곱층(Convolutional Layer)
  합성곱층의 역할은 이미지를 분류하는 데 필요한 특징(Feature) 정보를 추출하는 것이다.
  그렇다면 특징 정보는 어떻게 추출할 수 있을까? 바로 필터를 이용하면 된다. 필터(Filter)란 이미지의 특징을 찾아내기 위한 파라미터이며, 커널(Kernel)이라고도 한다. 필터는 하나 이상 사용할 수 있으며, 필터를 여러 개 사용하면 한 번에 여러 특징을 추출할 수 있다. 합성곱층에 필터가 적용되면 다음 그림과 같이 이미지의 특징들이 추출된 ‘특성 맵(Feature Map)’이라는 결과를 얻을 수 있다.



[참고] 합성곱층 출력 크기 공식

합성곱 연산을 거친 뒤 만들어지는 특성 맵의 크기는 입력 크기, 필터 크기, 패딩, 스트라이드에 따라 정해지며, 다음 공식으로 계산할 수 있다.

\[ \text{출력 크기} = \dfrac{W - F + 2P}{S} + 1 \]

여기서 W는 입력 데이터(가로 또는 세로)의 크기, F는 필터(커널)의 크기, P는 패딩(padding)의 크기, S는 스트라이드(stride)이다.

예를 들어 입력 크기 W=7, 필터 크기 F=3, 패딩 P=0, 스트라이드 S=1이라면

\[ \dfrac{7-3+0}{1}+1 = 4+1 = 5 \]

가 되어, 7×7 입력에 3×3 필터를 패딩 없이 스트라이드 1로 적용하면 5×5 크기의 특성 맵이 만들어진다. 만약 패딩 P=1을 적용한다면

\[ \dfrac{7-3+2}{1}+1 = 6+1 = 7 \]

이 되어 입력과 동일한 7×7 크기의 특성 맵을 유지할 수 있다. 이처럼 패딩은 합성곱 연산을 거치면서 특성 맵의 크기가 점점 줄어드는 것을 막아 주는 역할을 한다. (참고로 앞서 살펴본 풀링층의 출력 크기 공식은 패딩을 사용하지 않는 경우가 많아 $P=0$을 대입한 형태로 쓰인다.)

• 풀링층(Pooling Layer)
  풀링층은 합성곱층의 출력 데이터(특성 맵)를 입력으로 받아서 출력 데이터인 활성화 맵(Activation Map)의 크기를 줄이거나 특정 데이터를 강조하는 용도로 사용된다. 풀링층을 처리하는 방법으로는 최대 풀링(Max Pooling)과 평균 풀링(Average Pooling), 최소 풀링(Min Pooling)이 있다. 다음 그림과 같이 정사각 행렬의 특정 영역에서 최댓값을 찾거나 평균값을 구하는 방식으로 동작한다.



[예제] 최대 풀링(Max Pooling) 연산

최대 풀링(Max Pooling)은 필터(윈도우) 영역 안에서 가장 큰 값 하나만 골라 다음 층으로 전달하는 연산이다. 예를 들어 아래와 같이 5×5 크기의 특징 맵(feature map)에 필터(filter) 크기 2×2, 보폭(stride) 1, 패딩(padding) 없음 조건으로 최대 풀링을 적용한다고 하자.



필터(2×2 윈도우)를 보폭(stride) 1칸씩 이동시키면서, 각 윈도우 안의 값들 중 최댓값만을 뽑아 출력값으로 삼는다. 예를 들어 그림에서 (가) 위치에 해당하는 2×2 윈도우의 값이 다음과 같다고 하자.

\[ \begin{pmatrix} 4 & 6 \\ 4 & 7 \end{pmatrix} \]

이 4개의 값(4, 6, 4, 7) 중 최댓값은 6이므로, (가) 위치의 출력값은 6이 된다. 이처럼 필터 크기가 2×2, 보폭이 1이면, $n \times n$ 크기의 입력 특징 맵은 최대 풀링을 거쳐 $(n-1) \times (n-1)$ 크기로 축소된다.

[참고] Flatten과 전역 평균 풀링(Global Average Pooling, GAP)

합성곱층과 풀링층을 거치면 특성 맵은 높이 × 너비 × 채널 형태의 3차원 데이터로 남아 있다. 이 데이터를 완전연결층에 입력하려면 1차원 벡터로 바꾸어 주는 과정이 필요한데, 이때 대표적으로 사용하는 방법이 Flatten과 전역 평균 풀링(Global Average Pooling, GAP)이다.

• Flatten
  Flatten은 특성 맵에 들어 있는 모든 값을 순서대로 한 줄로 펼쳐서 1차원 벡터로 만드는 연산이다. 예를 들어 7×7×512 크기의 특성 맵을 Flatten하면 7×7×512 = 25,088개의 원소를 가진 벡터가 된다. 이 벡터를 완전연결층에 연결하면 입력 노드 수가 매우 많아지고, 그만큼 학습해야 할 가중치(파라미터) 수도 크게 늘어나 과적합(overfitting)의 위험이 커진다는 단점이 있다.
• 전역 평균 풀링(Global Average Pooling, GAP)
  전역 평균 풀링(GAP)은 채널(특성 맵)마다 모든 값의 평균을 구해 채널 하나당 값 하나로 압축하는 연산이다. 앞의 예처럼 7×7×512 크기의 특성 맵이 있다면, GAP는 7×7 크기의 특성 맵 512장을 각각 평균 내어 512개의 값(512차원 벡터)만 남긴다. Flatten이 25,088개의 값을 만드는 것과 비교하면, GAP는 채널 수만큼(이 예에서는 512개)의 훨씬 적은 값만 남기므로 완전연결층으로 넘어가는 파라미터 수를 크게 줄일 수 있다. 파라미터 수가 줄면 과적합 위험이 낮아지고, 입력 이미지의 크기가 달라져도 동일한 네트워크 구조를 적용할 수 있다는 장점도 있다. 다만 위치별 세부 값들이 하나의 평균값으로 뭉뚱그려지므로, 공간적인 세부 정보는 Flatten보다 더 많이 손실될 수 있다는 점은 유의해야 한다.

정리하면, Flatten은 정보를 거의 그대로 유지하는 대신 파라미터 수가 많아지고, GAP는 정보를 압축하는 대신 파라미터 수를 크게 줄여 과적합을 억제한다. 이러한 이유로 최근의 CNN 구조(예: ResNet, MobileNet 등)에서는 완전연결층 앞에 Flatten 대신 GAP를 사용하는 경우가 많다.

Q. CNN의 풀링(pooling) 연산에 대한 설명으로 옳지 않은 것은?

1. 풀링층은 특징 맵(feature map)의 공간적 크기를 줄여 이후 층의 연산량과 파라미터 수를 감소시킨다.
2. 최대 풀링(max pooling)은 영역 내 최댓값을, 평균 풀링(average pooling)은 영역 내 평균값을 취한다.
3. 전역 평균 풀링(global average pooling, GAP)은 각 채널의 특징 맵 전체를 하나의 값으로 축약하며, Flatten 후 완전연결층을 사용하는 방식보다 일반적으로 파라미터 수를 크게 줄여 과적합 위험을 낮추는 데 도움이 된다.
4. 스트라이드(stride)가 1이고 패딩이 없는 2×2 최대 풀링을 8×8 특징 맵에 적용하면 출력 크기는 4×4가 된다.

정답 · 해설 보기 / 숨기기

정답 ④ 합성곱 신경망

해설

CNN의 풀링층에 대한 설명을 하나씩 확인해 보자.

① 풀링층은 특징 맵의 공간적 크기를 줄여 이후 층의 연산량과 파라미터 수를 감소시킨다는 설명으로, 옳다.

② 최대 풀링은 영역 내 최댓값을, 평균 풀링은 영역 내 평균값을 대표값으로 취한다는 설명으로, 옳다.

③ 전역 평균 풀링은 채널별 특징 맵 전체를 하나의 값으로 축약하여, Flatten과 완전연결층을 사용하는 방식보다 파라미터 수를 크게 줄이고 과적합 위험을 낮추는 데 도움이 된다는 설명으로, 옳다.

④ 출력 크기 공식 \( \left( \dfrac{W-F}{S} \right) + 1 \)에 \( W=8,\ F=2,\ S=1 \)을 대입하면 \[ \dfrac{8-2}{1} + 1 = 6 + 1 = 7 \] 이 되어, 출력은 7×7이다. 4×4가 되려면 스트라이드가 2여야 한다. "스트라이드 1인 2×2 최대 풀링의 출력이 4×4가 된다"는 설명은 옳지 않다.

따라서 옳지 않은 것은 ④이다.

• 완전연결층(Fully-connected Layer)
  완전연결층은 합성곱층과 풀링층으로 추출한 특징을 분류하는 역할을 한다. CNN은 합성곱층에서 특징만 학습하기 때문에 DFN이나 RNN에 비해 학습해야 하는 가중치의 수가 적어 학습 및 예측이 빠르다는 장점이 있다. 최근에는 CNN의 강력한 예측 성능과 계산상의 효율성을 바탕으로 이미지뿐만 아니라 시계열 데이터에도 적용해 보는 연구가 활발히 진행되고 있다.

지금까지 배운 CNN을 정리하면 다음과 같다. 일반적인 인공신경망 모델은 완전연결층으로 이루어져 있다.

문제는 완전연결층 특성상 1차원 데이터만 입력으로 받는다는 것이다. 컬러 사진 데이터는 3차원 데이터이므로, 3차원 데이터를 완전연결층으로 구성된 신경망으로 학습시키려면 3차원의 데이터를 1차원으로 평면화시켜야 한다. 이때 이미지에 대한 공간 정보가 유실되어 특징을 잘 추출하지 못하면 학습에 비효율적일 수 있는데, CNN은 이러한 문제를 해결할 수 있는 모델이다.