728x90 반응형 SMALL 딥러닝31 [FL] 수평적 연합 학습 (Horizontal Federated Learning) 수평적 연합 학습 (Horizontal Federated Learning) HFL, 일명 샘플 분할 연합 학습 또는 예제 분할 연합 학습은 서로 다른 사이트의 데이터 세트가 겹치는 기능 공간을 공유하지만 샘플 공간이 다른 시나리오에 적용될 수 있다. 이는 테이블 형식 뷰 내에서 데이터가 수평으로 분할되는 상황과 유사하다. 실제로 "수평"이라는 단어는 "수평 파티션"이라는 용어에서 유래했다. 이는 데이터베이스의 전통적인 테이블 형식 보기의 맥락에서 널리 사용된다 (ex: 테이블의 행은 서로 다른 그룹으로 수평으로 분할되고 각 행에는 완전한 데이터와 기능이 포함됨). 예를 들어, 두 지역 은행은 해당 지역과 매우 다른 사용자 그룹을 가질 수 있으며 사용자의 교차 집합은 매우 작다. 그러나 그들의 비즈니스.. 2023. 9. 26. 뉴런의 유형 (1) Types of Neurons 모든 신경망이 모든 종류의 뉴런을 사용하는 것은 아니다. 하나의 뉴런이 여러 종류의 뉴런의 역할을 채우는 것도 가능하다. 신경망에는 보통 네 가지 종류의 뉴런이 있다. • 입력 뉴런 : 각 입력 뉴런을 특징 벡터의 한 요소에 매핑한다. • 은닉 뉴런 : 은닉 뉴런은 신경망이 추상적이고 입력을 출력으로 처리할 수 있도록 한다. • 출력 뉴런 : 각 출력 뉴런은 출력의 한 부분을 계산한다. • 바이어스 뉴런 : 선형 방정식의 y 절편과 유사하게 작업한다. 그리고 각 뉴런을 층으로 배치한다. • 입력층 : 입력층는 데이터 세트로부터 특징 벡터를 받아들인다. 입력층는 일반적으로 바이어스 뉴런을 가진다. • 출력층 : 신경망으로부터의 출력이다. 출력층는 바이어스 뉴런을 가지지 않는다.. 2023. 7. 28. 자동 기계 학습 (AutoML) 자동 기계 학습 (AutoML) 자동 기계 학습 (Automatic Machine Learning)은 기계 학습을 사용하여 자동화를 시도한다. 데이터는 원시 형태로 AutoML 애플리케이션에 전달되고 모델이 자동으로 생성된다. AutoML 어플리케이션 • AutoKeras • Auto-SKLearn • Auto PyTorch • TPOT • Google Cloud AutoML Tutorial • Azure AutoML AutoKeras AutoKeras는 Keras 기반의 AutoML 시스템이다. AutoKeras의 목표는 모든 사람이 기계 학습에 접근할 수 있도록 하는 것이다. import os import pandas as pd URL = "https://github.com/jeffheaton/dat.. 2023. 7. 24. [Deep Learning] 활성화 함수 구현 Sigmoid import numpy as np def sigmoid(x): return 1/(1+np.exp(-x)) sigmoid(4) 0.9820137900379085 import matplotlib.pyplot as plt x = np.arange(-10, 10, 0.01) y = sigmoid(x) plt.plot(x, y) ReLU def relu(x): return np.maximum(0, x) x = np.arange(-10, 10, 0.01) y = relu(x) plt.plot(x, y) Softmax def origin_softmax(x): f_x = np.exp(x) / np.sum(np.exp(x)) return f_x x = np.array([1.3, 5.1, 2.2, 0.7, .. 2022. 11. 17. Python Preliminaries Origins of Deep Learning 딥러닝은 신경망을 위한 흥미로운 신기술 그룹이다. 고급 훈련 기술 신경망 아키텍처 구성 요소의 조합을 사용함으로써, 이제 훨씬 더 복잡한 신경망을 훈련시킬 수 있다. 심층 신경망, 정규화 단위 (ReLU), 컨볼루션 신경망, 반복 신경망 등을 소개한다. 고성능 컴퓨팅 (HPC) 측면은 딥러닝이 그리드와 그래픽 처리 장치 (GPU) 모두에서 어떻게 활용될 수 있는지를 보여준다. 딥러닝은 모델이 인간의 두뇌 기능과 유사한 방식으로 정보의 계층 구조를 학습할 수 있도록 한다. 신경망은 기계 학습 모델의 초기 예시 중 하나이다. 신경망은 1940년대에 처음 도입되었고 인기가 여러 번 오르내렸다. 현재 세대의 딥러닝은 2006년 제프리 힌튼의 개선된 훈련 알고리즘으로 .. 2022. 7. 15. [AI] 로지스틱 회귀 (Logistic Regression) 로지스틱 회귀 (Logistic Regression) 선형 회귀에서 확장한 것으로 독립 변수의 선형 결합을 이용하여 사건의 발생 가능성을 예측하는데 사용되는 통계 기법이다. numerical_derivative, sigmoid 함수 정의 import numpy as np from datetime import datetime np.random.seed(0) def numerical_derivative(f, x): delta_x = 1e-4 # 0.0001 grad = np.zeros_like(x) it = np.nditer(x, flags=['multi_index'], op_flags=['readwrite']) while not it.finished: idx = it.multi_index tmp_val =.. 2022. 7. 10. [AI] 러닝 아키텍처 러닝 아키텍처 학습이란, 계산 값 Y와 정답 T와의 차이를 나타내는 손실 값 (또는 손실함수) loss가 최소가 될 때까지 가중치 W와 bias b를 최적화시키는 과정이다. 손실 함수 (Loss function) MAE MSE RMSE BCE CCE GAN YOLO 개발 프로세스 1. Data Preparation 2. Initialize weights and bias 3. define loss function and output, y 4. learning for epochs for steps 5. evaluate and predict 아키텍처 Linear Regression Logistic Regression Deep Learning 2022. 7. 9. 특성 엔지니어링 특성 엔지니어링 (Feature engineering) 생체의학 신호의 특성화는 잡음, 신호의 확률적 특성, 개인 내 및 개인 간의 큰 변동성으로 인해 어렵다. 따라서, 통계적 특징 생성, 변환 기반 특징 생성 및 추출, 시간-주파수 분석이 필요하다. 기능 선택은 중복되고 정보가 없는 기능을 제거하는 것을 목표로 하므로 광범위한 테스트 모집단에서 일반화하는 모델을 구축할 수 있다. 파이프라인은 "실제 세계"에서 데이터를 캡처하고 이러한 데이터를 원시 데이터 개체로 표시하는 센서로 구성된다. 아티팩트 및 원치 않는 노이즈 제거, 대체 양식을 얻기 위한 데이터 변환, 평균 강도 / 진폭 수준 조정, 다운샘플링 (decimation) 또는 업샘플링 (보간, interpolation)과 같은 다음 단계를 위해 .. 2022. 4. 27. 딥러닝 (Deep Learning) 딥러닝 (Deep Learning, DL) DL은 ML의 한 방법으로, 학습 과정 동안 인공 신경망으로서 예시 데이터에서 얻은 일반적인 규칙을 독립적으로 구축(훈련)한다. 특히 비전 분야에서 신경망은 일반적으로 데이터와 예제 데이터에 대한 사전 정의된 결과와 같은 지도 학습을 통해 학습된다. ◦ limitations of explicit programming - spam filter : 많은 규칙 - automatic driving : 규칙이 너무 많음 What is learning? 1. 지도 학습 (Supervised learning) train set : labeled된 sample을 사용한 학습 problem types in ML - image labeling : 태그 지정된 이미지에서 학습 - .. 2021. 12. 23. [Deep Learning] 경사 하강법 (Gradient Descent) / 배치 사이즈 (Batch Size) / 에포크 (Epoch) 경사 하강법 (Gradient Descent) 반복 (iterative, 곡선의 최소값) 최상의 결과를 찾기 위해 기계 학습에 사용되는 최적화 알고리즘이다. 알고리즘은 iterative이므로 최적의 결과를 얻으려면 여러 번 결과를 얻어야 한다. gradient descent의 반복적인 quality은 과소 적합 (under-fitted) 그래프가 그래프를 데이터에 최적으로 맞추는 데 도움이 된다. gradient descent에는 학습률 (learning rate)이라는 매개변수 (parameter)가 있다. 왼쪽 그림에서 처음에는 단계가 더 크다는 것은 learning rate이 더 높다는 것을 의미하고, 포인트가 내려갈수록 단계의 크기가 짧을수록 learning rate은 더 작아진다. 또한, 비용 .. 2021. 12. 22. 이전 1 2 3 4 다음 728x90 반응형 LIST
