[논문읽기][DenseNet]Densely Connected Convolutional Networks 논문 읽기

안녕하세요

프로그래밍을 배우는 빛나는 샤트입니다.

 

Abstract, Introduction을 읽고 제 언어대로 해석해 적은 것입니다.
전체 내용은 추후 업데이트 예정입니다.

 

일시: 2021.04.13(화)

 

오늘 읽어볼 논문은 'Deep Residual Learning for Image RecognitionDensely Connected Convolutional Networks'입니다.

논문 링크: arxiv.org/pdf/1608.06993.pdf

 

---

Abstract(요약)

최근의 연구는 컨볼루션 네트워크가 입력에 가까운 계층과 출력에 가까운 계층 사이의 짧은 연결을 포함할 경우 훈련하기에 훨씬 더 깊고 정확하며 효율적일 수 있다는 것을 보여주었다.  본 논문에서는 이러한 관찰을 수용하고 각 계층을 피드포워드 방식으로 다른 모든 계층에 연결하는 밀도 컨볼루션 네트워크(DenseNet)를 소개한다. L개의 레이어를 사용하는 전통적인 컨볼루션 네트워크는 L 연결(각 레이어와 그 후속 레이어 사이에 하나)을 갖는 반면, 우리의 네트워크는 L(L+1)/2개의 직접 연결을 갖는다. 각 계층에 대해, 이전의 모든 계층의 특징 맵이 입력으로 사용되며, 그 자체의 특징 맵은 이후의 모든 계층에 대한 입력으로 사용된다. DenseNets는 몇 가지 설득력 있는 장점을 가지고 있다. 즉, 사라지는 그레이디언트 문제를 완화하고, 기능 전파를 강화하며, 기능 재사용을 장려하고, 매개 변수의 수를 크게 줄인다. 우리는 네 가지 매우 경쟁력 있는 객체 인식 벤치마크 작업(CIFAR-10, CIFAR-100, SVHN 및 ImageNet)에서 제안된 아키텍처를 평가한다. DenseNets는 대부분의 경우 최첨단보다 상당한 개선을 얻는 동시에 고성능을 달성하기 위해 계산이 적게 필요하다.

 

<DenseNet의 장점>

• Vanishing Gradient 개선
• Feature Propagation 강화
• Feature Reuse
• Parameter 수 절약

---

1. Introduction(소개)

컴퓨터 하드웨어의 발전으로 CNN기반 딥러닝 네트워크의 깊이는 더욱 깊어지고 있다. 원래의 LeNet5는 5개의 레이어로 구성되었고, VGG는 19개의 레이어를 특징으로 했으며, Highway Networks와 Residual Networks(ResNets)가 100개의 레이어 장벽을 넘어섰다. 

하지만 CNN이 점점 깊어질수록 기울기가 사라지는 현상(Vanishing gradient)가 발생한다. ResNets 및 Highway Networks, FractalNet 등 다양한 아키텍쳐에서 이를 해결하려는 장치들이 있다. 공통점은 초기 계층에서 이후 계층으로 이어지는 짧은 경로를 생하는것이다.

DenseNet에서는 네트워크의 계층 간 정보 흐름을 최대화하기 위해, 모든 계층(피처 맵 크기가 일치하는)을 서로 직접 연결한다.

피드-포워드(feed-forward) 특성을 보존하기 위해, 각 계층은 이전의 모든 계층에서 추가 입력을 얻고 이후의 모든 계층으로 feature map을 전달한다. 

 

 

그림 1은 이러한 레이아웃을 도식적으로 보여줍니다. ResNet은 feature map 끼리 더하기 를 해주는 방식이었다면 DenseNet은 feature map끼리 Concatenation 을 시키는 것이 가장 큰 차이점입니다.

따라서, l 번째 계층에는 이전의 모든 컨볼루션 블록의 feature map으로 구성된 l 개의 입력이 있다. feature map 맵은 모든 l-2 후속 레이어에 전달된다.

 

이들의 feature map은 모든 L-l 후속 레이어에 전달된다.
이것은 전통적인 아키텍처에서와 같이 L개의 레이어 네트워크에서 L(L+1)/2 연결을 도입한다. 밀도가 높은 연결 패턴 때문에, 우리는 우리의 접근 방식을 밀도 컨볼루션 네트워크(DenseNet)라고 부른다.

-> 다른 네트워크와는 다르게 피드 포워드 진행할 때마다 feature map이 concat이 되어 밀도가 높다는 표현을 사용

 

 

---

DenseNet의 중요한 Point!

1. 기울기가 사라지는 문제를 해결하기 위해 feature map을 계속해서 Concatenation을 했다는 점!

2. 이로써 특성을 계속 재사용하므로 컴퓨터 연산 효율 상승!

3. 또한 파라미터수를 절약하는 효과도 얻을 수 있다.

 

 

 

내용에 오류가 있으면 피드백 언제나 환영입니다.😊