728x90 반응형 SMALL keras38 [Keras] 배치 정규화 (Batch Normalization) 배치 정규화 (Batch Normalization) 배치 정규화 (batch normalization, BN)는 층으로 들어가는 입력값이 한쪽으로 쏠리거나 너무 퍼지거나 너무 좁아지지 않게 해주는 인공신경망 기법이다. 여러 입력값을 모은 배치에 대해, 각 층의 입력값의 평균과 표준편차를 다시 맞추어 주어, 입력값이 쏠리는 것을 막는다. BN은 주어진 데이터 세트의 평균 (shifting)과 분산 (scaling)을 특정 값으로 조정하는 것이다. 이것은 주어진 모델을 훈련하는 데 사용된 이전 입력 데이터에 따라 선택된다. 데이터 평균을 0, 표준편차를 1로 분포시킨다. 높은 학습율을 사용하여 빠른 속도로 학습하면서 overfitting을 줄이는 효과가 있다고 알려져 있다. tf.keras.layers.Ba.. 2022. 7. 31. [AI] 콜백 (Callback) 콜백 (Callback) TensorFlow 콜백(callback)은 모델의 학습 방향, 저장 시점, 학습 정지 시점 등에 관한 상황을 모니터링 하기 위해 주로 사용된다. 모델이 학습을 시작하면 학습이 완료될 때까지 수행할 것이 없다. 따라서, 이를 해결하고자 존재하는 것이 콜백 함수이다. 예를 들어, 학습 도중에 학습율 (learning rate)을 변화시키거나 val_loss가 개선되지 않으면 학습 도중에 학습을 멈추게 하는 등의 작업을 할 수 있다. TensorFlow에서 사용되는 대표적인 콜백 함수는 ReduceLROnPlateau, ModelCheckpoint, EarlyStopping 등이 있다. ReduceLROnPlateau 모델의 성능 개선이 없을 경우, 학습율 (Learning Rate.. 2022. 7. 31. [Keras] Functional 모델 Functional model Keras에서 Functional API는 tf. keras보다 더 유연한 모델을 만드는 방법이다. 다중 출력 모델, 방향성 비순환 그래프 또는 공유 레이어가 있는 모델과 같은 복잡한 모델을 정의하는 방법이다. Functional API는 비선형 topology, 공유 계층, 심지어 다수의 입력 또는 출력을 가진 모델을 처리할 수 있다. from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense import netron from tensorflow.keras.layers import Input from tensorflow.keras import Model _input = In.. 2022. 7. 30. [AI] Basic Architecture TensorFlow TensorFlow는 텐서 (Tensor)를 흘려 보내면서 (Flow) 딥러닝 알고리즘을 수행하는 프레임워크이다. ① 사용자 친화적 (Keras as High Level API) ② 코드 가독성과 직관성을 높이는 Eager Execution 적용 Keras Keras 창시자 프랑소와 숄레 (François Chollet)가 TF 2.0 개발에 참여하였고, TF 2.0 에서 공식적이고 유일한 High-Level API로써 Keras가 선정되었다. 또한, 프랑소와 숄레는 앞으로 native Keras 보다는 tf.keras를 사용할 것을 권장하고 있다. 사용자 친근성 (User Friendliness) : 직관적인 API를 이용하면 ANN, CNN, RNN 또는 이를 조합한 딥러닝 모델을.. 2022. 7. 17. [Deep Learning] 딥러닝 프레임워크 비교 딥러닝 프레임워크 비교 장점 단점 텐서플로우 (TensorFlow) 텐서보드 (TensorBoard)를 통해서 파라미터 변화 양상이나 DNN의 구조를 알 수 있다. 메모리를 효율적으로 사용하지 못한다. 케라스 (Keras) 배우기 쉽고 모델을 구축하기 쉽다. 오류가 발생할 경우 케라스 자체의 문제인지 백엔드 (back-end)의 문제인지 알 수 없다. 토치 (Torch) 간단하고 직관적인 학습과 속도 대비 빠른 최적화가 가능하다. 텐서플로우에 비해 사용자층이 얕고, 예제 및 자료를 구하기 힘들다. 텐서플로우 (TensorFlow) 텐서플로는 구글이 개발한 오픈소스 소프트웨어 라이브러리이며 머신러닝과 딥러닝을 쉽게 사용할 수 있도록 다양한 기능을 제공한다. 텐서플로는 데이터 플로우 그래프 (Data Flo.. 2022. 5. 19. [Deep Learning] 딥러닝 프레임워크 (Deep Learning Framework) 딥러닝 프레임워크 (Deep Learning Framework) 딥러닝에 사용되는 인공신경망 알고리즘에는 DNN, CNN, RNN, RBM, DBN 등 다양한 형태의 수많은 알고리즘이 개발되어 활용되고 있으며, 하나의 문제를 해결하기 위해 두 개 이상의 알고리즘을 혼합하여 사용하는 경우도 많아졌다. 이렇게 이미 검증된 알고리즘을 사용할 때마다 계속해서 새롭게 구현해야 한다는 것은 매우 비효율적 방식이다. 딥러닝 프레임워크는 이렇게 이미 검증된 수많은 라이브러리와 사전 학습까지 완료된 다양한 딥러닝 알고리즘을 제공함으로써, 개발자가 이를 빠르고 손쉽게 사용할 수 있도록 해준다. 이를 통해 중복적인 기능을 구현해야 하는 소모적인 작업으로부터 개발자를 해방시켜, 문제 해결을 위한 핵심 알고리즘 개발에만 집중할.. 2022. 5. 19. [Keras] ModuleNotFoundError: No module named 'keras' from keras.models import Sequential from keras.layers import LSTM,Dropout,Dense 위 코드를 아래 코드로 변경하면 해결된다. from tensorflow.keras.models import Sequential from tensorflow.keras.layers import LSTM,Dropout,Dense 2022. 3. 31. [eXplainable AI] Basic XAI with LIME for CNN Models LIME LIME 또는 Local Interpretable Model-Agnostic Explanations는 해석 가능한 모델을 사용하여 로컬로 근사함으로써 모든 분류기 또는 회귀자의 예측을 충실하게 설명할 수 있는 알고리즘이다. 특성 값을 조정하여 단일 데이터 샘플을 수정하고 결과적으로 출력에 미치는 영향을 관찰한다. 각 데이터 샘플의 예측을 설명하는 "설명자"의 역할을 수행한다. LIME의 출력은 로컬 해석 가능성의 한 형태인 단일 샘플에 대한 예측에 대한 각 기능의 기여도를 나타내는 일련의 설명이다. Keras에는 mnist 모듈 의 load_data() 메서드를 사용하여 로드할 수 있는 배포의 일부로 mnist 데이터 세트가 있다. 이 메서드는 지도 학습을 위해 정렬된 train 및 test 데.. 2022. 2. 10. [eXplainable AI] XAI method : LIME LIME LIME (Local Interpretable Model-agnostic Explanations)은 블랙박스 ML 모델의 개별 예측을 설명하는 데 쓰이는 해석 가능한 (interpretable) 모델이다. Surrogate Model Surrogate란, 본래 기능을 흉내내는 대체재를 만들어 프로토타입이 동작하는지 판단하는 분석 방법이다. XAI에서도 원래 AI 모델이 너무 복잡하여, 연산적인 제약으로 분석이 불가할 때 유사한 기능을 흉내내는 AI 모델 여러 개를 만들어 분석하는 것을 말한다. 분석해야 하는 모델을 f라고 할 때, 이를 흉내내는 모델 g를 만드는 것이 surrogate 분석이다. 이때 모델 g의 학습 방식은 f와 같을 수도, 다를 수도 있다. 모델 g의 조건 - 모델 f보다 학습.. 2022. 2. 10. [eXplainable AI] Categories of XAI XAI methods based on the data type XAI methods based on model training Post-hoc : 모델이 훈련되고 의사결정 단계에서 이 방법은 의사결정에 대한 설명을 생성한다. Intrinsic : 프로토타입과 같은 개념을 모델링하고 제약하는 추가 레이어는 기계 학습 방법의 아키텍처에 통합된다. 이러한 방식으로, 결정과 동시에 설명이 얻어진다. ◦ XAI methods based on model dependency : Model-dependent / agnostic ◦ XAI methods based on what they tell about the target instance Feature attribution Instance attribution Exa.. 2022. 2. 9. 이전 1 2 3 4 다음 728x90 반응형 LIST
