[FL] 수평적 연합 학습 (Horizontal Federated Learning)

수평적 연합 학습 (Horizontal Federated Learning)

 

HFL, 일명 샘플 ​​분할 연합 학습 또는 예제 분할 연합 학습은 서로 다른 사이트의 데이터 세트가 겹치는 기능 공간을 공유하지만 샘플 공간이 다른 시나리오에 적용될 수 있다. 이는 테이블 형식 뷰 내에서 데이터가 수평으로 분할되는 상황과 유사하다. 실제로 "수평"이라는 단어는 "수평 파티션"이라는 용어에서 유래했다. 이는 데이터베이스의 전통적인 테이블 형식 보기의 맥락에서 널리 사용된다 (ex: 테이블의 행은 서로 다른 그룹으로 수평으로 분할되고 각 행에는 완전한 데이터와 기능이 포함됨). 예를 들어, 두 지역 은행은 해당 지역과 매우 다른 사용자 그룹을 가질 수 있으며 사용자의 교차 집합은 매우 작다. 그러나 그들의 비즈니스 모델은 매우 유사하다. 따라서, 데이터 세트의 기능 공간은 동일하다. 공식적으로 HFL의 조건을 다음과 같이 요약한다.

 

 

여기서 두 당사자의 데이터 특징 공간과 레이블 공간 쌍, 즉 (Xi, Yi) 및 (Xj, Yj)는 동일한 것으로 가정되는 반면, 사용자 식별자 Ii 및 Ij는 다른 것으로 가정된다. Di와 Dj는 각각 i번째 파티와 j번째 파티의 데이터셋을 의미한다.

 

HFL 시스템의 보안은 HFL 시스템이 일반적으로 정직하지만 호기심이 많은 서버에 대해 정직한 참가자와 보안을 가정한다. 즉, 서버만이 참가자의 사용자 개인 정보 보호 및 데이터 보안을 손상시킬 수 있다.

 

HFL (샘플 ​​분할 연합 학습) 예시

 

Shokri와 Shmatikov는 참가자가 모델을 독립적으로 훈련하고 HFL의 특별한 형태인 모델 매개변수 업데이트의 하위 집합만 공유하는 공동 딥러닝 (DL) 방식을 제안했다. 2016년 Google 연구원들은 Android 스마트폰 모델 업데이트를 위한 HFL 기반 솔루션을 제안했다. 이 프레임워크에서는 단일 Android 스마트폰이 모델 매개변수를 로컬로 업데이트하고 모델 매개변수를 Android 클라우드에 업로드하여 다른 Android 스마트폰과 함께 연합 모델을 공동으로 학습한다.

 

이 연합 학습 프레임워크에서 사용자 모델 업데이트의 개인 정보를 보호하기 위한 보안 집계 체계는 Bonawitz에서 소개되었다. 최근 Phong의 연구에서는 신뢰할 수 없는 중앙 서버에 대한 보안을 제공하기 위해 모델 매개변수 집계에 추가 동형 암호화를 적용했다.

 

Smithet의 연구에서는 지식을 공유하고 보안을 유지하면서 여러 사이트가 서로 다른 작업을 완료할 수 있도록 하는 다중 작업 스타일 연합 학습 시스템이 제안되었다. 제안된 다중 작업 학습 모델은 높은 통신 비용, 낙오자 및 내결함성 문제도 해결할 수 있다.

 

McMahan의 연구에서 저자는 연합 학습 시스템이 사용자별로 데이터를 분할하고 클라이언트 장치에 구축된 모델이 서버 사이트에서 협력하여 글로벌 연합 모델을 구축할 수 있도록 하는 안전한 클라이언트-서버 구조를 제안했다. 모델 구축 과정에서는 데이터 유출이 없는지 확인한다. 마찬가지로 Konecný 저자는 모바일 클라이언트에 분산된 데이터를 기반으로 연합 모델의 훈련을 용이하게 하기 위해 통신 비용을 줄이는 방법을 제안했다. 최근에는 대규모 분산 모델 훈련에서 통신 대역폭을 크게 줄이기 위해 Deep Gradient Compression이라는 압축 접근 방식이 Lin에 의해 제안되었다.

 

최근에는 악의적인 사용자를 고려한 또 다른 보안 모델이 Hitaj에서 제안되어 추가적인 개인 정보 보호 문제가 제기되고 있다. 연합 훈련이 끝나면 집계된 모델과 전체 모델 매개변수가 모든 참가자에게 노출된다. 이러한 작업에서 보안의 증거가 제공되었다.