[Deep Learning] 전이 학습 (Transfer Learning) (1)

전이 학습 (Transfer Learning)

 

불가능하지는 않더라도 훈련을 위해 제한된 양의 데이터만 사용하여 만족스러운 모델 성능 (모델 정확도)을 얻는 것은 까다롭다.

다행히도, 바로 이 문제를 해결하는 해결책이 있는데, 그것은 Transfer Learning이라는 이름으로 통한다. 전이 학습은 사전 훈련된 모델을 새로운 작업에 대한 모델의 시작점으로 재사용하는 기계 학습 방법이다.

 

간단히 말해서, 한 작업에서 훈련된 모델은 두 번째 작업을 모델링할 때 빠른 진행을 허용하는 최적화로 관련 작업에서 용도가 변경된다.

 

새로운 작업에 전이 학습을 적용하면 적은 양의 데이터로 훈련하는 것보다 훨씬 더 높은 성능을 얻을 수 있다. 전이 학습은 너무 일반적이어서 이미지 또는 자연어 처리 관련 작업에 대한 모델을 처음부터 훈련하는 경우는 드물다. 객체를 분류하는 방법으로 이미지의 가장자리, 모양과 같은 일반적인 기능을 학습 한 사전 훈련된 모델에서 시작하는 것을 선호한다.

 

전이 학습

 

ImageNet, AlexNet, Inception은 Transfer learning을 기반으로 하는 모델의 대표적인 예이다.

 

전통적인 기계 학습 vs 전이 학습

 

딥러닝 전문가들은 기존 머신 러닝 모델의 한계를 극복하기 위해 전이 학습을 도입했다.

 

기존 기계 학습과 전이 학습

1. 기존의 머신 러닝 모델은 처음부터 학습해야 하므로 계산 비용이 많이 들고 고성능을 달성하기 위해 많은 양의 데이터가 필요하다. 반면에 전이 학습은 계산적으로 효율적이며 작은 데이터 세트를 사용하여 더 나은 결과를 얻는 데 도움이 된다. 2. 기존 ML에는 과거 지식에 의존하지 않고 각 모델이 특정 목적을 위해 독립적으로 훈련되는 격리된 훈련 접근 방식이 있다. 그에 반해 전이 학습은 사전 훈련된 모델에서 얻은 지식을 사용하여 작업을 진행한다. 더 나은 그림을 그리려면, ImageNet에는 생물의학 분야에 속하는 이미지가 포함되어 있지 않기 때문에 사전 훈련된 ImageNet 모델을 생물의학 이미지와 함께 사용할 수 없다. 3. 전이 학습 모델은 기존 ML 모델보다 빠르게 최적의 성능을 달성한다. 이전에 훈련된 모델의 지식 (특성, 가중치 등)을 활용하는 모델이 이미 특성을 이해하고 있기 때문이다. 신경망을 처음부터 훈련하는 것보다 빠르다.

 

고전적인 전이 학습 전략

 

애플리케이션의 도메인, 당면한 작업, 데이터 가용성에 따라 다양한 전이 학습 전략과 기술이 적용된다. 전이 학습 전략을 결정하기 전에 다음 질문에 답하는 것이 중요하다.

 

대상 작업의 성능을 향상시키기 위해 지식의 어느 부분을 소스에서 대상으로 전송할 수 있는지? 전송할 때 와 전송하지 않을 때 대상 작업 성능/결과를 향상시키고 저하시키지 않도록 하는지? 현재 도메인/작업을 기반으로 소스 모델에서 얻은 지식을 어떻게 이전하는지?

 

전통적으로 전이 학습 전략은 작업 영역과 존재하는 레이블/비레이블 데이터의 양에 따라 세 가지 주요 범주로 분류된다.

 

귀납적 전이 학습 (Inductive Transfer Learning)

 

귀납적 전이 학습은 소스 및 대상 도메인이 동일해야 하지만 모델이 수행하는 특정 작업은 다르다.

 

알고리즘은 소스 모델의 지식을 사용하여 대상 작업을 개선하는 데 적용한다. 사전 훈련된 모델은 이미 해당 영역의 기능에 대한 전문 지식을 보유하고 있으며 처음부터 훈련하는 것보다 더 나은 출발점에 있다.

 

귀납적 전이 학습은 소스 도메인에 레이블이 지정된 데이터가 포함되어 있는지 여부에 따라 두 가지 하위 범주로 더 나뉜다. 여기에는 각각 다중 작업 학습과 독학 학습이 포함된다.

 

변환적 전이 학습 (Transductive Transfer Learning)

 

소스 및 대상 작업의 도메인이 정확히 동일하지 않지만 상호 관련된 시나리오는 변환적 전이 학습 전략을 사용한다. 소스 작업과 대상 작업 간에 유사성을 도출할 수 있다. 이러한 시나리오에는 일반적으로 원본 도메인에 많은 레이블이 지정된 데이터가 있는 반면 대상 도메인에는 레이블이 지정되지 않은 데이터만 있다.

 

비지도 전이 학습 (Unsupervised Transfer Learning)

 

비지도 전이 학습은 귀납적 전이 학습과 유사하다. 유일한 차이점은 알고리즘이 감독되지 않은 작업에 초점을 맞추고 원본 및 대상 작업 모두에서 레이블이 지정되지 않은 데이터 세트를 포함한다는 것이다.

 

전이 학습 전략

 

https://www.v7labs.com/blog/transfer-learning-guide

What Is Transfer Learning? [Examples & Newbie-Friendly Guide]