[Image Classification] MobileNet V2

MobileNet V2

 

현대 최첨단 네트워크는 많은 모바일 및 임베디드 응용 프로그램의 기능을 뛰어넘는 높은 계산 리소스를 필요로 한다. 최근 유전자 알고리즘과 강화 학습을 포함한 최적화 방법을 아키텍처 검색에 가져오는 새로운 방향을 열었다. 그러나 한 가지 단점은 결과 네트워크가 매우 복잡해진다는 것이다.

 

Linear Bottlenecks

 

비공식적으로, 실제 이미지의 입력 세트에 대해, 계층 활성화 세트가 "관심 있는 다양체"를 형성한다고 말한다. 신경망에 대한 관심의 다양체가 저차원 하위 공간에 내장될 수 있다고 오랫동안 가정되어 왔다.

 

저자들은 관심 다양체가 고차원 활성화 공간 1의 저차원 부분 공간에 있어야 한다는 요구사항을 나타내는 두 가지 특성을 강조했다.

 

관심 manifold가 ReLU 변환 후에도 0이 아닌 볼륨으로 남아 있으면 선형 변환에 해당한다. ReLU는 입력 manifold에 대한 완전한 정보를 보존할 수 있지만 입력 manifold가 입력 공간의 저차원 하위 공간에 있는 경우에만 가능하다.

 

관심 다양체가 저차원이라고 가정하면 나선형 블록에 선형 병목 층을 삽입하여 이를 포착할 수 있다.

 

Residual Blocks

 

https://github.com/TenTen-Teng/MobileNet-V2

 

Residual blocks는 바로 가기 연결되는 나선형의 블록의 시작과 끝을 연결한다. 이러한 2가지 상태를 추가하여 네트워크는 돌림형 블록에서 수정되지 않았던 이전 activations에 접근할 수 있는 기회가 있다.

 

narrow ➔ wide ➔ narrow approach

https://machinethink.net/blog/mobilenet-v2/

 

기본 구성 요소는 잔차가 있는 병목 깊이 분리 가능한 컨볼루션이다.

 

MobileNet v2 Structure

 

https://www.semanticscholar.org/paper/MobileNetV2%3A-Inverted-Residuals-and-Linear-Sandler-Howard/dd9cfe7124c734f5a6fc90227d541d3dbcd72ba4

 

MobileNet V1 vs MobileNet V2 vs ShuffleNet

 

https://gaussian37.github.io/dl-concept-mobilenet_v2/

 

Top-1 Accuracy

 

https://towardsdatascience.com/review-mobilenetv2-light-weight-model-image-classification-8febb490e61c

 

MobileNet V1 vs MobileNet V2 Apple

 

https://towardsdatascience.com/review-mobilenetv2-light-weight-model-image-classification-8febb490e61c