26_Pytorch_Inception-v2, v3 (미완)

이번 포스팅은 Inception-v2~3 입니다.

아래는 간단한 요약입니다.

• Inception v2: 5x5 → 3x3 + 3x3 으로 변경, 3x3 → 1x3 + 3x1로 변경
• Inception v3: Hyperparameter 변경
  1. Optimizer: SGD → RMSProp
  2. Label smoothing
  3. BN-auxiliary

 

---

이번 포스팅에서 다룰 Inception v2, v3 논문의 제목입니다.

논문의 링크는 아래 출처란에 적어놓았으니 참고해주시길 바랍니다.

 

 

Factorization into smaller convolutions

논문상 3.1 Factorization into smaller convolutions에 있는 내용입니다.

5 x 5 또는 7 x 7 filter는 연산량이 많기 때문에 Layer를 나눕니다.

예를 들어, 5 x 5 filter를 3 x 3 + 3 x 3으로 나누는 겁니다. (VGG에서 가져오신것 같다.)

즉, Figure 4 → Figure 5 로 변형을 시키는 것입니다.

• 5 x 5 = 25 → 3 x 3 + 3 x 3 = 18 약 28% 감소

 

 

비대칭 합성곱 (Asymmetric Convolutions)

또한 여기서 멈추지 않고 3x3 convolution을 1x3 + 3x1로 변경하였습니다.

• 3 x 3 = 9 → 1 x 3 + 3 x 1 = 6 약 33% 감소

 

 

보조 분류기 (Utility of Auxiliary Classifiers)

 

 

 

 

 

 

Reducing resolutions

해상도를 줄이는 방법에는 2가지 방법이 있습니다.

1. stride의 크기를 1보다 큰 수로 설정합니다.
2. pooling을 이용하여 줄입니다.

 

 

 

 

 

 

 

 

 

출처:

• 논문: https://arxiv.org/pdf/1512.00567.pdf
• 사이트: https://oi.readthedocs.io/en/latest/computer_vision/cnn/inception-v2,v3.html