728x90 반응형 SMALL Visual Intelligence/Image Classification12 [Image Classification] MobileNet V2 MobileNet V2 현대 최첨단 네트워크는 많은 모바일 및 임베디드 응용 프로그램의 기능을 뛰어넘는 높은 계산 리소스를 필요로 한다. 최근 유전자 알고리즘과 강화 학습을 포함한 최적화 방법을 아키텍처 검색에 가져오는 새로운 방향을 열었다. 그러나 한 가지 단점은 결과 네트워크가 매우 복잡해진다는 것이다. Linear Bottlenecks 비공식적으로, 실제 이미지의 입력 세트에 대해, 계층 활성화 세트가 "관심 있는 다양체"를 형성한다고 말한다. 신경망에 대한 관심의 다양체가 저차원 하위 공간에 내장될 수 있다고 오랫동안 가정되어 왔다. 저자들은 관심 다양체가 고차원 활성화 공간 1의 저차원 부분 공간에 있어야 한다는 요구사항을 나타내는 두 가지 특성을 강조했다. 관심 manifold가 ReLU 변환.. 2022. 9. 23. [Image Classification] MobileNet V1 MobileNet V1 모바일, embedded vision 앱에서 사용되는 것을 목적으로 한 MobileNet이라는 효율적인 모델을 제시한다. Depth-wise separable convolutions라는 구조에 기반하며 2개의 단순한 hyper parameter를 가진다. 이 2가지는 사용되는 환경에 따라 적절히 선택하여 적당한 크기의 모델을 선택할 수 있게 한다. 수많은 실험을 통해 가장 좋은 성능을 보이는 설정을 찾았으며 타 모델에 비해 성능이 거의 떨어지지 않으면서 모델 크기는 몇 배까지 줄였다. 모델 크기를 줄이는 방법은 크게 2가지로 나뉘는데, 사전 학습된 네트워크를 압축하거나 작은 네트워크를 직접 학습하는 방식이다. 이외에도 모델을 잘 압축하거나 양자화, hashing, pruning 등.. 2022. 9. 14. [Image Classification] EfficientNet (cats-and-dogs) Dog&Cat 데이터 # 데이터 불러오기 : Cats vs Dogs dataset !curl -O https://download.microsoft.com/download/3/E/1/3E1C3F21-ECDB-4869-8368-6DEBA77B919F/kagglecatsanddogs_5340.zip import os import shutil import zipfile ROOT_DIR = '/content' DATA_ROOT_DIR = os.path.join(ROOT_DIR, 'catsanddogs') with zipfile.ZipFile(os.path.join(ROOT_DIR, 'kagglecatsanddogs_5340.zip'), 'r') as target_file: target_file.extractall.. 2022. 9. 14. [Image Classification] EfficientNet EfficientNet Resnet이 이미지 분류 분야의 전반적인 성능을 높인 이후 CNN은 성능에 초점을 맞추거나, 효율에 초점을 두는 두가지 방향으로 발전하였다. CNN의 성능을 올리기 위해 scaling up을 시도하는 것이 매우 일 반적인 일이었는데 그 예로 ResNet은 ResNet-18부터 ResNet-200까지 망의 깊이를 늘려 성능 향상을 이루었다. 신경망의 성능을 내기 위해 네트워크 모델의 크기를 키우는 이러한 scalingup 방식은 대표적으로 채널의 개수를 늘리는 width scaling, 레이어의 개수를 늘리는 depth scaling, 그리고 입력 영상의 해상도를 높이는 resolution scaling이 사용된다. 1) Width : 기존의 연구에 따르면 width를 넓게 할수록.. 2022. 9. 14. [Image Classification] DenseNet (MNIST) DenseNet 케라스 API에서는 이 아키텍처의 구현물을 공식적으로 제공하며 tf.keras.application 패키지를 통해 접근할 수 있다. 이 패키지에는 그 외에도 잘 알려진 모델이 포함되어 있으며 각 모델에 대해 ‘사전에 훈련된’ 매개변수 (특정 데이터셋에서 사전에 훈련시키는 과정에서 저장해둔 매개변수)도 제공한다. 예를 들어, 다음 명령어로 DenseNet 네트워크를 인스턴스화할 수 있다. Dense_net = tf.keras.applications.DenseNet121(Include_top = True, weights = 'imagenet', input_tensor = None, Input_shape = None, pooling = None, classes = 1000) 이 기본 인수를 사.. 2022. 9. 14. [Image Classification] DenseNet DenseNet DenseNet은 후앙 등이 제안한 ResNet의 확장판이다. ResNet 블록에서는 합산을 통해 이전 레이어와 현재 레이어가 합쳐졌다. DenseNet의 경우, 연결을 통해 이전 레이어와 현재 레이어가 합쳐진다. DenseNet은 모든 레이어를 이전 레이어와 연결하고 현재 레이어를 다음 레이어에 연결한다. 특징 • 더 적은 매개 변수, 정보 보존 DenseNet은 기존의 방법들에 비해 feature map에 대한 불필요한 학습이 필요가 없기 때문에, 더 적은 수의 parameter를 요구한다. ResNet은 identity transformation으로 정보를 보존하지만, 이러한 정보들이 학습 과정 중에서 random하게 dropped될 수 있다. DenseNet은 network에 더해.. 2022. 9. 13. [Image Classification] ResNet (2) Skip connection ResNet에서 Skip connection은 2개의 레이어를 건너뛰는 형태로 제작되었다. 레이어에 들어오는 입력이 Skip connection을 통해서 건너뛰어 레이어를 거친 출력과 Element-wise addition을 한다. 즉, 기울기를 residual block과 함께 더 깊은 레이어로 전송한다. Plain network의 경우 18층에서 34층으로 깊이를 늘리면 학습 오류가 늘어나는 것을 볼 수 있다. ResNet의 경우 degradation 문제가 어느정도 해결됨을 알 수 있다. 모델 depth 비교 또한, Re-ResNet도 신경망의 깊이가 점점 깊어지면 parameter의 수가 많아지기 때문에 residual block을 다른 구조로 사용하는 방식이 고안되었.. 2022. 9. 13. [Image Classification] ResNet (1) ResNet Residual Network (ResNet) 은 마이크로소프트의 Kaiming He에 의해 개발되었고, 2015년 ISVRC에서 우승하였다. MNIST와 같은 데이터셋에서는 얕은 층의 CNN으로도 높은 분류 성능을 얻을 수 있다. 하지만, CIFAR나 ImageNet과 같이 좀 더 복잡하고 도전적인 데이터셋에서 얕은 네트워크로는 한계가 있어 연구자들은 점점 더 깊은 층을 가진 CNN을 만드려는 노력을 했다. 딥러닝에서 neural networks가 깊어질수록 성능은 더 좋지만 train이 어렵다는 것은 알려진 사실이다. 그래서 잔차를 이용한 잔차 학습 (residual learning framework)를 이용해서 깊은 신경망에서도 training이 쉽게 이뤄질 수 있다는 것을 보 이고 방.. 2022. 9. 12. [Image Classification] VGGNet (cats-and-dogs) VGG16 케라스 API에서는 이 아키텍처의 구현물을 공식적으로 제공하며 tf.keras.application 패키지를 통해 접근할 수 있다. 이 패키지에는 그 외에도 잘 알려진 모델이 포함되어 있으며 각 모델에 대해 ‘사전에 훈련된’ 매개변수 (특정 데이터셋에서 사전에 훈련시키는 과정에서 저장해둔 매개변수)도 제공한다. 예를 들어, 다음 명령어로 VGG 네트워크를 인스턴스화할 수 있다. Vgg_net = tf.keras.applications.VGG16( Include_top = True, weights = ‘imagenet’, input_tensor = None, Input_shape = None, pooling = None, classes = 1000) 이 기본 인수를 사용해 케라스는 VGG-16 .. 2022. 9. 6. [Image Classification] VGGNet VGGNet VGGNet은 옥스포드 대학의 연구팀에 의해 개발된 모델로써, 2014년 ILSVRC에서 준우승한 모델이다. 이 모델은 이전에 혁신적으로 평가받던 AlexNet이 나온지 2년만에 다시 한 번 오차율 면에서 큰 발전을 보여줬다. VGGNet의 original논문의 개요에서 밝히고 있듯이 이 연구의 핵심은 네트워크의 깊이를 깊게 만드는 것이 성능에 어떤 영향을 미치는지를 확인하고자 한 것이다.VGG연구팀은 깊이의 영향 만을 최대한 확인하고자 컨볼루션 필터 커널의 사이즈는 가장 작은 3x3으로 고정했다. VGG 연구팀은 original 논문에서 총 6개의 구조 (A, A-LRN, B, C, D, E)를 만들어 성능을 비교했다. 여러 구조를 만든 이유는 기본적으로 깊이의 따른 성능 변화를 비교하기 .. 2022. 9. 6. 이전 1 2 다음 728x90 반응형 LIST
