전이 학습(Transfer Learning)이란?

특정 분야에서 학습된 신경망의 일부 능력을 유사하거나 전혀 새로운 분야에서 사용되는 신경망의 학습에 이용하는 것을 의미합니다.
일반적으로 CNN 기반의 딥러닝 모델을 제대로 훈련시키려면 많은 수의 데이터가 필요합니다.
하지만 충분히 큰 데이터 셋을 얻는 것은 쉬운 일이 아닙니다.
많은 돈이나 시간이 투입되어야 하는 경우가 많은데, 문제는 그렇게 많은 돈과 시간을 가진 사람은 많지 않다는 것입니다.
이러한 현실적 어려움을 해결한 것이 바로 우리가 이 강좌에서 학습하게 될 전이학습입니다.
전이학습이란 아주 큰 데이터 셋에 훈련된 모델의 가중치를 이용해서 해결해야 할 과제에 맞게 재보정해서 사용하는 것을 의미합니다.
즉, 비교적 적은 수의 데이터만으로 원하는 과제를 해결할 수 있는 딥러닝 모델을 훈련시킬 수 있게 된 것입니다.

왜 배워야 할까요?

전이학습은 AI, 딥러닝 분야에서 최근 큰 관심을 받고 있는 분야입니다.

그렇다면 전이학습의 장점은 무엇일까요❔

✅ 학습 데이터의 수가 적을 때도 효과적

✅ 학습 속도 빠름

✅ 전이학습 없이 학습하는 것에 비해 훨씬 높은 정확도 제공

언젠가부터는 컴퓨터비전 분야에서 전이학습을 사용하여 좋은 성능을 내는 논문들이 많이 발표되고 있습니다. 많은 논문이 나오고 있다는 것은 전이학습이 좋은 학습법이라는 증거라고 볼 수 있습니다. 2016년에 딥러닝 분야의 거장 중의 한 명인 앤드류 응 교수님이 말씀하신 것이 현실이 되어 가고 있습니다. "지도학습 이후로 전이학습이 머신러닝 분야에서 대세가 될 것이다." 앞으로 더욱 높은 활용도가 기대되는 전이학습에 대해서 함께 학습함으로써 효율적이고 효과적인 분석 결과를 얻을 수 있도록 해봅시다.  

어떤 내용을 배우는지 살펴봅시다

#1. 자연어 처리 분야에서 최근 성능 향상을 크게 가져오는 기술인 전이학습에 대해 학습합니다.
     전이학습을 먼저 소개하고, ELMO, BERT 모델 방법들을 설명하고, 한국어를 위한 koBERT에 대해서도 소개합니다.

#2. 추가적으로 GPT1, 2, 3의 차이점 및 특징에 대해 학습하게 됩니다.