728x90 반응형 SMALL 가중치4 전이 학습 (Transfer Learning) 전이 학습 (Transfer Learning) 전이 학습은 신경망을 처음부터 훈련하는 대신 미리 로드된 가중치 세트로 훈련을 시작한다. 일반적으로 미리 훈련된 신경망의 최상위 레이어를 제거하고 새로운 최상위 레이어로 다시 훈련한다. 이전 신경망의 레이어는 훈련으로 인해 가중치가 변경되지 않도록 잠긴다. 새로 추가된 레이어만 학습된다. 대규모 이미지 데이터 세트에 대한 신경망을 훈련하려면 많은 컴퓨팅 성능이 필요할 수 있다. Google, Facebook, Microsoft 및 기타 기술 기업들은 다양한 애플리케이션을 위한 고품질 신경망을 훈련하기 위해 GPU 어레이를 활용하고 있다. 이러한 가중치를 신경망으로 전송하면 상당한 노력과 계산 시간을 절약할 수 있다. 사전 학습된 모델이 구현하려는 애플리케이션.. 2024. 2. 13. [FL] P2P 구조 (PEER-TO-PEER ARCHITECTURE) P2P 구조 (PEER-TO-PEER ARCHITECTURE) 클라이언트-서버 아키텍처 외에도 HFL 시스템은 그림과 같이 P2P 구조를 사용할 수도 있다. P2P 구조에는 중앙 서버나 코디네이터가 없다. 이러한 시나리오에서 HFL 시스템의 K 참가자는 트레이너, 분산 트레이너 또는 작업자라고도 한다. 각 트레이너는 로컬 데이터만 사용하여 동일한 ML 또는 DL 모델 (ex: DNN 모델)을 학습할 책임이 있다. 또한, 트레이너는 모델 가중치를 서로 전달하기 위한 보안 채널이 필요하다. 두 트레이너 간의 안전한 통신을 보장하기 위해 공개 키 기반 암호화 체계와 같은 보안 조치를 채택할 수 있다. 중앙 서버가 없기 때문에 트레이너들이 모델 가중치를 주고받는 순서에 미리 동의해야 한다. 이를 수행하는 방법은.. 2023. 9. 26. [ANN] 다층 퍼셉트론 (Multi-Layer Perceptron) (1) 다층 퍼셉트론 (Multi-Layer Perceptron) 다층퍼셉트론은 입력층과 출력층 사이에 하나 이상의 중간층이 존재하는 신경망이다. 퍼셉트론 2개를 사용한 XOR 문제의 해결했다. 퍼셉트론 2개를 병렬로 결합하면, 원래 공간 𝐱=(𝑥1 , 𝑥2 )^T를 새로운 특징 공간 𝐳=(𝑧1 , 𝑧2 )^T로 변환한다. 그리고 새로운 특징 공간 𝐳에서는 선형 분리 가능하다. 퍼셉트론 1개를 순차 결합하고, 새로운 특징 공간 𝐳에서 선형 분리를 수행하는 퍼셉트론 ③을 순차 결합하면, (b)의 다층 퍼셉트론이 된다. 따라서, XOR 문제는 입력층과 출력층 사이에 은닉층을 두면 쉽게 풀 수 있다. 뉴런의 동작 모델화 뉴런을 여러 계층 (layer)에 걸쳐 위치시킨다. 각각의 뉴런은 직전 계층과 직후 계층에 있는 .. 2022. 10. 7. [ANN] 퍼셉트론 (Perceptron) 사람의 뉴런 두뇌의 가장 작은 정보처리 단위이다. 세포체 (cell body)는 간단한 연산하며 수상돌기 (dendrite)는 신호 수신, 축삭 (axon)은 처리 결과를 전송한다. 사람은 1011개 정도의 뉴런을 가지며, 뉴런은 1000개 가량 다른 뉴런과 연결되어 있어 1014개 정도 연결되어 있다. 컴퓨터 인간의 두뇌 처리 소자의 개수 10^8개의 트랜지스터 10^10개의 뉴런 처리 소자의 속도 10^12Hz 10^2Hz 학습 기능 없음 있음 계산 형태 중앙 집중식, 순차적 처리 분산 병렬 처리 뉴런의 기본 동작 신호를 받아들이고, 이 신호가 축삭 돌기를 지나 축삭 말단으로 전달한다. 축삭 돌기를 지나는 동안 신호가 약해지거나, 너무 약해서 축삭 말단까지 전달되지 않거 나 혹은 강하게 전달되기도 한.. 2021. 12. 10. 이전 1 다음 728x90 반응형 LIST
