[Deep Learning] 전이 학습 (Transfer Learning) (2)

전이 학습 일반적인 접근 방식

 

도메인의 유사성을 기반으로 그리고 훈련을 위해 존재하는 데이터 샘플의 유형과 무관하게 전이 학습 전략을 분류하는 또 다른 방법이 있다.

 

동종 전이 학습 (Homogeneous Transfer Learning)

 

도메인이 동일한 기능 공간에 있는 상황을 처리하기 위해 동종 전이 학습 접근 방식이 개발 및 제안된다.

 

Homogeneous Transfer learning에서 도메인은 주변 분포에서 약간의 차이만 있다. 이러한 접근 방식은 표본 선택 편향 또는 공변량 이동을 수정하여 영역을 조정한다.

 

인스턴스 이전 (Instance transfer)

 

소스 도메인에는 많은 양의 레이블이 지정된 데이터가 있고 대상 도메인에는 제한된 수가 있는 간단한 시나리오를 다룬다. 도메인과 기능 공간은 모두 한계 분포에서만 다르다.

 

예를 들어, 노인이 대다수인 특정 지역에서 암을 진단하는 모델을 구축해야 한다고 가정한다. 제한된 대상 도메인 인스턴스가 제공되며 관련 데이터는 젊은이가 대다수인 다른 지역에서 사용할 수 있다. 다른 지역의 모든 데이터를 직접 전송하는 것은 한계 분포 차이가 존재하고 노인이 젊은 사람보다 암 위험이 더 높기 때문에 실패할 수 있다.

 

시나리오에서는 주변 분포를 조정하는 것을 고려하는 것이 당연하다. 인스턴스 기반 전이 학습은 손실 함수의 소스 도메인 인스턴스에 가중치를 재할당한다.

 

매개변수 전송 (Parameter transfer)

 

매개변수 기반 이전 학습 접근 방식은 모델/매개변수 수준에서 지식을 전송합니다.

 

이 접근 방식은 소스 및 대상 도메인 학습자 모델의 공유 매개변수를 통해 지식을 전달하는 것을 포함한다. 학습된 지식을 전달하는 한 가지 방법은 다중 소스 학습자 모델을 생성하고 앙상블 학습자와 유사한 재가중 학습자를 최적으로 결합하여 개선된 대상 학습자를 형성하는 것이다.

 

매개변수 기반 방법의 이면에 있는 아이디어는 소스 도메인에서 잘 훈련된 모델이 잘 정의된 구조를 학습했으며 두 작업이 관련되어 있으면 이 구조가 대상 모델로 이전될 수 있다는 것이다. 일반적으로 딥러닝 모델에서 가중치를 공유하는 방법에는 소프트 가중치 공유와 하드 가중치 공유의 두 가지가 있다.

 

소프트 가중치 공유에서 모델은 이미 학습된 기능에 가까울 것으로 예상되며 일반적으로 가중치가 주어진 가중치 세트에서 크게 벗어나면 페널티를 받는다. 하드 가중치 공유에서는 서로 다른 모델 간에 정확한 가중치를 공유한다.

 

기능 표현 전이 (Feature-representation transfer)

 

기능 기반 접근 방식은 원래 기능을 변환하여 새 기능 표현을 만든다. 이 접근 방식은 비대칭 및 대칭 기능 기반 전이 학습의 두 가지 하위 범주로 더 나눌 수 있다.

 

비대칭 접근 방식은 소스 기능을 대상 기능과 일치하도록 변환한다. 즉, 소스 도메인에서 기능을 가져와 대상 기능 공간에 맞춘다. 이 과정에서 특성 분포의 한계 차이로 인해 약간의 정보 손실이 있을 수 있다. 대칭 접근 방식은 공통 잠재 기능 공간을 찾은 다음 소스 및 대상 기능을 모두 이 새로운 기능 표현으로 변환한다.

 

관계 지식 전이 (Relational-knowledge transfer)

 

관계 기반 전이 학습 접근 방식은 주로 소스와 대상 도메인 간의 관계를 학습하고 이 지식을 사용하여 과거 지식을 도출하고 현재 컨텍스트에서 사용하는 데 중점을 둔다.

 

이러한 접근 방식은 소스 도메인에서 학습한 논리적 관계 또는 규칙을 대상 도메인으로 이전한다. 예를 들어, 우리가 남성 음성으로 발화의 다른 요소 간의 관계를 배운다면 다른 음성으로 문장을 분석하는 데 크게 도움이 될 수 있다.

 

이종 전이 학습 (Heterogeneous Transfer Learning)

 

전이 학습은 상호 관련된 작업을 위해 새로운 샘플에서 의미 있는 기능을 추출하기 위해 이전 네트워크에서 표현을 유도하는 것을 포함한다. 그러나 이러한 접근 방식은 소스 도메인과 대상 도메인 간의 기능 공간 차이를 고려하지 않는다.

 

대상 도메인과 동일한 기능 공간으로 레이블이 지정된 소스 도메인 데이터를 수집하는 것은 종종 어려운 일이며, 이러한 제한을 해결하기 위해 이종 전이 학습 방법이 개발되었다.

 

이 기술은 다른 특징 공간과 다른 데이터 분포 및 레이블 공간과 같은 기타 문제를 갖는 소스 및 대상 도메인의 문제를 해결하는 것을 목표로 한다. 이기종 전이 학습은 언어 간 텍스트 분류, 텍스트-이미지 분류 등과 같은 도메인 간 작업에 적용된다.

 

딥러닝을 위한 전이 학습

 

자연어 처리 및 이미지 인식과 같은 영역은 전이 학습에 대한 연구의 뜨거운 영역으로 간주된다. 최첨단 성능을 달성한 모델도 많이 있다.

 

이러한 사전 훈련된 신경망 모델은 딥러닝의 맥락에서 전이 학습의 기초를 형성하며 심층 전이 학습이라고 한다.

 

특징 추출기로 미리 훈련된 상용 모델

 

딥러닝 모델의 흐름을 이해하려면 모델이 무엇으로 구성되어 있는지 이해하는 것이 중요하다.

 

딥러닝 시스템은 서로 다른 계층에서 서로 다른 기능을 학습하는 계층 아키텍처이다. 초기 계층은 네트워크에 더 깊이 들어갈수록 세분화된 기능으로 범위를 좁히는 상위 수준 기능을 컴파일한다.

 

이 계층은 최종 출력을 얻기 위해 마지막으로 마지막 계층 (지도 학습의 경우 일반적으로 완전 연결 계층)에 연결됩니다. 이것은 다른 작업을 위한 고정 특징 추출기로 최종 레이어 없이 인기 있는 사전 훈련된 네트워크 (ex: Oxford VGG 모델, Google Inception 모델, Microsoft ResNet 모델)를 사용할 수 있는 범위를 가진다.

 

사전 훈련된 딥러닝 모델을 특징 추출기로 사용하는 전이 학습

 

여기서 핵심 아이디어는 사전 훈련된 모델의 가중 계층을 활용하여 기능을 추출하지만 새 작업에 대한 새 데이터로 훈련하는 동안 모델의 가중치를 업데이트하지 않는 것이다.

 

사전 훈련된 모델은 충분히 크고 일반적인 데이터 세트에서 훈련되며 시각적 세계의 일반 모델로 효과적으로 사용된다.

 

https://www.v7labs.com/blog/transfer-learning-guide

What Is Transfer Learning? [Examples & Newbie-Friendly Guide]