[FL] 클라이언트-서버 구조 (CLIENT-SERVER ARCHITECTURE)

수평적 연합 학습의 구조

 

HFL 시스템을 위한 클라이언트 - 서버 아키텍처 예시

 

HFL 시스템의 일반적인 클라이언트-서버 아키텍처는 그림과 같으며 이는 마스터-작업자 아키텍처라고도 한다. 이 시스템에서는 동일한 데이터 구조를 가진 K 참가자 (클라이언트, 사용자 또는 당사자라고도 함)가 서버 (매개변수 서버 또는 집계 서버 또는 코디네이터라고도 함)의 도움을 받아 기계 학습 (ML) 모델을 공동으로 훈련한다. 일반적인 가정은 참가자가 정직한 반면 서버는 정직하지만 호기심이 많다는 것이다. 따라서, 목표는 모든 참가자의 정보가 서버로 유출되는 것을 방지하는 것이다. 이러한 HFL 시스템의 훈련 과정은 일반적으로 다음 네 단계로 구성된다.

 

• 1단계 : 참가자는 로컬에서 그레디언트를 계산하고, 암호화, 차등 프라이버시 또는 비밀 공유 기술을 사용하여 그레디언트 선택을 마스킹한다. 마스킹된 결과를 서버로 보낸다. • 2단계 : 서버는 예를 들어 가중 평균을 사용하여 안전한 집계를 수행한다. • 3단계 : 서버는 집계된 결과를 참가자에게 다시 보낸다. • 4단계 : 참가자는 해독된 그레디언트로 각자의 모델을 업데이트한다.

 

위 단계를 통한 반복은 손실 함수가 수렴할 때까지 또는 허용 가능한 최대 반복 횟수에 도달하거나 허용 가능한 최대 훈련 시간에 도달할 때까지 계속된다. 이 아키텍처는 특정 ML 알고리즘 (ex: 로지스틱 회귀 및 DNN)과 독립적이며 모든 참가자는 동일한 최종 모델 매개변수를 공유한다.

 

위의 단계에서는 참가자가 서버에 그레디언트를 보내고 서버는 수신된 그레디언트를 집계하는 것으로 설명되었다. 이 접근법을 기울기 평균이라고 부른다. 경사 평균화는 동기식 확률적 경사하강법 (SGD) 또는 연합 SGD (FedSGD)로도 알려져 있다. 또는 참가자는 경사도 대신 모델 가중치를 공유할 수 있다. 즉, 참가자는 로컬에서 모델 가중치를 계산하여 서버로 보낸다. 서버는 수신된 로컬 모델 가중치를 집계하고 집계된 결과를 참가자에게 다시 보낸다. 이 접근 방식 모델을 평균이라고 부른다. 참가자에서 로컬로 수행된 각 가중치 업데이트 후에 모델 매개변수가 평균화되고 참가자가 모두 동일한 초기 모델 가중치로 시작하는 극단적인 경우, 모델 평균화는 경사 평균화와 동일하다. McMahan은 경사 평균화와 모델 평균화를 FedAvg (연합 평균화)라고도 한다.

 

방법	장점	단점
경사 평균	정확한 기울기 정보 보장된 수렴	무거운 의사소통 안정적인 연결 필요
모델 평균	SGD에 구속되지 않음 업데이트 손실 허용 범위 가끔 동기화	수렴이 보장되지 않음 성능 손실

 

위의 아키텍처는 안전한 다자간 계산 또는 추가 동형 암호화를 사용하여 그레디언트 집계를 수행하는 경우 반정직한 서버에 대한 데이터 유출을 방지할 수 있다. 그러나 협업 학습 프로세스에서 GAN (Generative Adversarial Network)을 훈련하는 악의적인 참가자의 공격에 취약할 수 있다.

 

클라이언트-서버 아키텍처는 분산 기계 학습 (DML) 시스템의 아키텍처, 특히 DML의 데이터 병렬 패러다임과 유사해 보인다. HFL은 또한 지리적 분산 기계 학습 (GDML)과 유사하다. 매개변수 서버는 DML의 대표적인 요소이다. 훈련 과정을 가속화하는 도구로서 매개변수 서버는 분산된 작업 노드에 데이터를 저장하고 중앙 스케줄링 노드를 통해 데이터와 컴퓨팅 리소스를 할당하여 모델을 보다 효율적으로 훈련한다. HFL의 경우 데이터 소유자는 작업 당사자이다. 로컬 데이터를 운영할 수 있는 완전한 자율성을 가지며 HFL 시스템에 가입하고 기여할 시기와 방법을 결정할 수 있다. 매개변수 서버 패러다임에서는 중앙 노드가 항상 제어권을 갖는 반면 HFL 시스템은 보다 복잡한 학습 환경에 직면한다. 또한, HFL은 모델 학습 중에 데이터 개인 정보 보호를 고려한다. 데이터 개인 정보 보호를 위한 효과적인 조치는 가까운 미래에 점점 더 엄격해지는 사용자 개인 정보 보호 및 데이터 보안 요구 사항에 더 잘 대처할 수 있다. 마지막으로, HFL 시스템에서는 서로 다른 참가자가 보유한 데이터가 대부분의 실제 응용 프로그램에서 동일하게 분포되지 않는 반면, DML 시스템에서는 서로 다른 컴퓨팅 노드가 보유한 데이터가 일반적으로 동일한 분포를 따른다.