[ML] Fully Convolutional Layer, Fully Connected Layer, AutoEncoder

Fully Connected Layer1 만으로 구성된 인공 신경망의 입력 데이터는 1차원(배열) 형태로 한정됩니다. 한 장의 컬러 사진은 3차원 데이터입니다. 배치 모드에 사용되는 여러장의 사진은 4차원 데이터입니다. 사진 데이터로 전연결(FC, Fully Connected) 신경망을 학습시켜야 할 경우에, 3차원 사진 데이터를 1차원으로 평면화시켜야 합니다. 사진 데이터를 평면화 시키는 과정에서 공간 정보가 손실될 수밖에 없습니다. 결과적으로 이미지 공간 정보 유실로 인한 정보 부족으로 인공 신경망이 특징을 추출 및 학습이 비효율적이고 정확도를 높이는데 한계가 있습니다. 이미지의 공간 정보를 유지한 상태로 학습이 가능한 모델이 바로 CNN(Convolutional Neural Network)입니다.

 

CNN(Convolutional Neural Network)은 기존 Fully Connected Neural Network와 비교하여 다음과 같은 차별성을 갖습니다.

• 각 레이어의 입출력 데이터의 형상 유지
• 이미지의 공간 정보를 유지하면서 인접 이미지와의 특징을 효과적으로 인식
• 복수의 필터로 이미지의 특징 추출 및 학습
• 추출한 이미지의 특징을 모으고 강화하는 Pooling 레이어
• 필터를 공유 파라미터로 사용하기 때문에, 일반 인공 신경망과 비교하여 학습 파라미터가 매우 적음

 

CNN, Convolutional Neural Network 요약

 

 

우리는 앞서, 기본 AutoEncoder, Denoising AutoEncoder 및 Sparse AutoEncoder에 대하여 살펴보았다. 그런데 앞서 살핀 예는 모두 Fully connected 방식을 사용한 것들이다.

​

만약에 영상에 그것도 크기가 어느 정도 이상이 되는 영상에 Fully connected 방식의 AutoEncoder를 적용하고자 한다면, 영상의 크기에 비례하여 파라미터의 수가 증가하는 문제가 발생하고, 영상이 갖고 있는 local한 성질을 제대로 이용을 할 수도 없다.

​

그래서 영상에는 convolution을 적용한 CNN(convolutional neural network)이 효과적이었던 것처럼, 영상에 대하여 AutoEncoder를 적용하고자 한다면 Convolutional AutoEncoder 방식을 사용하는 것이 효과적이다. 

 

 

[머신러닝] 19. 머신러닝 학습 방법(part 14) - AutoEncoder(6)