[Deep Learning] 전이 학습 (Transfer Learning) (4)

심층 전이 학습의 유형

 

https://link.springer.com/article/10.1007/s00521-018-3468-3

 

 

도메인 적응 (Domain Adaptation)

 

도메인 적응은 소스 도메인과 대상 도메인이 서로 다른 기능 공간과 분포를 갖는 전이 학습 시나리오이다.

 

도메인 적응은 목표 학습자의 성능을 향상시키기 위해 정보를 전달하기 위해 하나 이상의 소스 도메인을 조정하는 프로세스이다. 이 프로세스는 소스의 배포를 대상의 배포에 더 가깝게 만들기 위해 소스 도메인을 변경하려고 시도한다.

 

도메인 혼란 (Domain Confusion)

 

신경망에서 서로 다른 계층은 기능의 서로 다른 복잡성을 식별한다. 완벽한 시나리오에서 우리는 이 기능 도메인을 불변으로 만들고 도메인 간 전송성을 향상시키는 알고리즘을 개발할 것이다.

 

소스 도메인과 대상 도메인 간의 기능 표현은 이러한 컨텍스트에서 가능한 한 유사해야 한다. 목표는 소스 도메인 자체를 혼동하여 대상과의 유사성을 장려하기 위해 소스의 모델에 목표를 추가하는 것이다.

 

특히, 도메인 혼동 손실은 대상 도메인과 소스 도메인의 분포를 일치시켜 신경망의 상위 분류 계층을 혼동하는 데 사용된다.

 

결국 샘플이 분류기에서 서로 구별할 수 없는 것으로 확인되도록 하고 싶다. 이를 위해서는 소스 샘플에 대한 분류 손실을 최소화해야 하고 모든 샘플에 대한 도메인 혼동 손실도 최소화해야 한다.

 

다중 작업 학습 (Multi-task Learning)

 

멀티태스킹 학습의 경우 소스와 타겟을 구분하지 않고 동일한 도메인의 여러 태스크를 동시에 학습한다. 학습 작업 세트 t1 , t2 , … , t(n)이 있으며 모든 작업을 동시에 공동 학습한다.

 

이는 각 시나리오의 지식을 이전하고 동일한 도메인의 모든 다양한 시나리오에서 풍부한 결합 기능 벡터를 개발하는 데 도움이 된다. 학습자는 공유된 지식을 통해 n개의 모든 작업에 걸쳐 학습/성과를 최적화한다.

 

심층 전이 학습의 다중 작업 학습

 

One-shot Learning

 

One-shot learning은 하나 또는 몇 개의 예제를 학습하고 향후 많은 새로운 예제를 분류하는 분류 작업이다.

 

사람의 얼굴을 다양한 표정, 조명 조건, 액세서리, 헤어스타일 등으로 정확하게 분류해야 하고 모델이 하나 또는 몇 개의 템플릿 사진을 입력받아야 하는 얼굴 인식의 경우이다.

 

원샷 학습의 경우 클래스에 대한 몇 가지 예제에서 훈련된 기본 모델의 지식 이전에 완전히 의존해야 한다.

 

Zero-shot Learning

 

전이 학습이 클래스의 0개 인스턴스를 사용하여 과도하게 적용되고 레이블이 지정된 데이터 샘플에 의존하지 않는 경우 해당 전략을 Zero-shot 학습이라고 한다.

 

Zero-shot learning은 보이지 않는 데이터를 이해하기 위해 훈련 단계에서 추가 데이터가 필요하다.

 

제로샷 학습은 기존 입력 변수 x , 기존 출력 변수 y 및 작업별 랜덤 변수에 중점을 둔다. Zero-shot learning은 대상 언어에 레이블이 없을 수 있는 기계 번역과 같은 시나리오에서 유용하다.

 

심층 전이 학습 애플리케이션

 

전이 학습은 데이터 과학자가 유사한 작업에 대해 이전에 사용된 기계 학습 모델에서 얻은 지식에서 학습하는 데 도움된다.

 

NLP

 

NLP는 전이 학습의 가장 매력적인 응용 프로그램 중 하나이다. 전이 학습은 교차 도메인 작업을 해결하기 위해 언어 구조를 이해할 수 있는 사전 훈련된 AI 모델의 지식을 사용한다. 다음 단어 예측, 질문 답변, 기계 번역과 같은 일상적인 NLP 작업은 BERT, XLNet, Albert, TF Universal Model 등과 같은 딥러닝 모델을 사용한다.

 

Computer Vision

 

전이 학습은 이미지 처리에도 적용된다.

 

심층 신경망은 이미지의 복잡한 기능을 잘 식별할 수 있으므로 이미지 관련 작업을 해결하는 데 사용된다. 조밀한 레이어에는 이미지를 감지하기 위한 논리가 포함되어 있다. 따라서 상위 계층을 조정해도 기본 논리에는 영향을 미치지 않는다. 이미지 인식, 객체 감지, 이미지에서 노이즈 제거 등은 전이 학습의 일반적인 응용 분야이다. 모든 이미지 관련 작업은 친숙한 이미지에 대한 기본 지식과 패턴 감지가 필요하기 때문이다.

 

Audio / Speech

 

전이 학습 알고리즘은 음성 인식 또는 음성-텍스트 번역과 같은 오디오/음성 관련 작업을 해결하는 데 사용된다.

 

"Siri" 또는 "Hey Google!"이라고 말할 때 영어 음성 인식을 위해 개발된 기본 AI 모델은 백엔드에서 명령을 처리하느라 바쁘다.

 

흥미롭게도 영어 음성 인식을 위해 개발된 사전 훈련된 AI 모델은 프랑스어 음성 인식 모델의 기초를 형성한다.

 

전이 학습 모델은 한 문제를 해결하고 다른 관련 문제에 적용하면서 얻은 지식을 저장하는 데 중점을 둔다. 신경망을 처음부터 훈련하는 대신 사전 훈련된 많은 모델을 훈련의 시작점으로 사용할 수 있다. 이러한 사전 훈련된 모델은 보다 안정적인 아키텍처를 제공하고 시간과 리소스를 절약한다. 전이 학습은 훈련을 위한 데이터가 충분하지 않거나 짧은 시간에 더 나은 결과를 원하는 시나리오에서 사용된다. 전이 학습은 목표 영역과 유사한 소스 모델을 선택하고, 지식을 이전하기 전에 소스 모델을 목표 모델에 적용하고, 목표 모델을 달성하기 위해 소스 모델을 훈련시키는 것을 포함한다. 동일한 도메인의 소스 작업에서 대상 작업으로 전달되는 기본 지식이 동일하기 때문에 모델의 상위 수준 계층을 미세 조정하면서 하위 수준을 동결하는 것이 일반적이다. 데이터 양이 적은 작업에서 소스 모델이 대상 모델과 너무 유사하면 과적합 문제가 발생할 수 있다. 전이 학습 모델이 과적합되는 것을 방지하려면 학습률을 조정하거나 소스 모델의 일부 계층을 고정하거나 선형 분류기를 추가하는 것이 중요하며 대상 모델을 훈련하면 이 문제를 피할 수 있다.

 

https://www.v7labs.com/blog/transfer-learning-guide

What Is Transfer Learning? [Examples & Newbie-Friendly Guide]