Create Opportunities

[데이터 애널리틱스] Transfer Learning ? 본문

데이터 애널리틱스

[데이터 애널리틱스] Transfer Learning ?

kimjaeyoon 2022. 12. 1. 13:51

1. Source dataset (Ex. ImageNet) 으로부터 신경망 Pretrained

2. Pretrained 모델로부터 output layer를 제외한 대부분의 요소는 그대로 가져와 새로운 신경망 학습 시작. 

3. output layer는 Target에 맞게 새로 추가

4. Target에 적합한 신경망 학습 진행


Transfer Learning은 두 가지로 나누어 볼 수 있다.

1. Fine-Tuning

Pretrained로부터 Copy한 부분의 Learning rate는 조금만 학습할 수 있도록 조정, output layer의 학습에 focussing

 

2. Fixed Learning

Pretrained 모델의 Weight를 그대로 활용