728x90 반응형 SMALL ReLU5 [Deep Learning] 활성화 함수 구현 Sigmoid import numpy as np def sigmoid(x): return 1/(1+np.exp(-x)) sigmoid(4) 0.9820137900379085 import matplotlib.pyplot as plt x = np.arange(-10, 10, 0.01) y = sigmoid(x) plt.plot(x, y) ReLU def relu(x): return np.maximum(0, x) x = np.arange(-10, 10, 0.01) y = relu(x) plt.plot(x, y) Softmax def origin_softmax(x): f_x = np.exp(x) / np.sum(np.exp(x)) return f_x x = np.array([1.3, 5.1, 2.2, 0.7, .. 2022. 11. 17. [Image Classification] MobileNet V2 MobileNet V2 현대 최첨단 네트워크는 많은 모바일 및 임베디드 응용 프로그램의 기능을 뛰어넘는 높은 계산 리소스를 필요로 한다. 최근 유전자 알고리즘과 강화 학습을 포함한 최적화 방법을 아키텍처 검색에 가져오는 새로운 방향을 열었다. 그러나 한 가지 단점은 결과 네트워크가 매우 복잡해진다는 것이다. Linear Bottlenecks 비공식적으로, 실제 이미지의 입력 세트에 대해, 계층 활성화 세트가 "관심 있는 다양체"를 형성한다고 말한다. 신경망에 대한 관심의 다양체가 저차원 하위 공간에 내장될 수 있다고 오랫동안 가정되어 왔다. 저자들은 관심 다양체가 고차원 활성화 공간 1의 저차원 부분 공간에 있어야 한다는 요구사항을 나타내는 두 가지 특성을 강조했다. 관심 manifold가 ReLU 변환.. 2022. 9. 23. [Image Classification] AlexNet AlexNet ILSVRC은 ImageNet Large Scale Visual Recognition Challenge의 약자로 이미지 인식 (image recognition) 경진대회이다. 2012년 CNN 기반 딥러닝 알고리즘 AlexNet이 우승을 차지한 이후에는 깊은 구조(deep architecture)를 가진 알고리즘들이 우승을 차지했다. 오늘날 사용하고 있는 딥러닝 구조들은 AlexNet에서 계승 되었다고 해도 과언이 아니다. 첫번째 딥러닝 모델로써, 처음 ReLU와 GPU를 사용했다. 또한, Overfitting을 줄이기 위해 Dropout, Data Augmentation 적용하였다. ZFNet ZFNet은 CNN의 구조를 결정하는 Hyperparameter를 어떻게 설정할 것인지는 매우 .. 2022. 9. 6. Python Preliminaries Origins of Deep Learning 딥러닝은 신경망을 위한 흥미로운 신기술 그룹이다. 고급 훈련 기술 신경망 아키텍처 구성 요소의 조합을 사용함으로써, 이제 훨씬 더 복잡한 신경망을 훈련시킬 수 있다. 심층 신경망, 정규화 단위 (ReLU), 컨볼루션 신경망, 반복 신경망 등을 소개한다. 고성능 컴퓨팅 (HPC) 측면은 딥러닝이 그리드와 그래픽 처리 장치 (GPU) 모두에서 어떻게 활용될 수 있는지를 보여준다. 딥러닝은 모델이 인간의 두뇌 기능과 유사한 방식으로 정보의 계층 구조를 학습할 수 있도록 한다. 신경망은 기계 학습 모델의 초기 예시 중 하나이다. 신경망은 1940년대에 처음 도입되었고 인기가 여러 번 오르내렸다. 현재 세대의 딥러닝은 2006년 제프리 힌튼의 개선된 훈련 알고리즘으로 .. 2022. 7. 15. [Deep Learning] 활성화 함수 (Activation Function) (1) 활성화 함수 (Activation Function) 입력된 데이터의 weight 합을 출력 신호로 변환하는 함수이다. ANN에서 이전 layer에 대한 weight 합의 크기에 따라 activation 여부가 결정된다. 신경망의 목적에 따라 또는 layer의 역할에 따라 선택적으로 적용한다. Sigmoid 시그모이드 (sigmoid)는 S자 형태라는 의미로, sigmoid 함수는 S자형 곡선의 함수를 의미한다. 정의역은 실수 전체이지만, 유한한 구간(a,b) 사이의 한정된 값을 반환한다. a와 b는 주로 0과 1을 사용한다. sigmoid 함수에서 정의역의 절댓값이 커질수록 미분 값은 0으로 수렴한다. weight가 업데이트되지 않고 소실되는 Gradient vanishing이 발생할 수 있다. Vani.. 2022. 1. 3. 이전 1 다음 728x90 반응형 LIST
