NLP 패러다임의 변화
사전학습 언어 모델의 등장으로 NLP 문제 해결 방식이 단계적으로 변화했습니다.| 패러다임 | 시기 | 핵심 아이디어 | 대표 모델 |
|---|---|---|---|
| Feature-based | ~2017 | Word2Vec, GloVe 등 사전학습 임베딩을 고정 특성으로 사용 | ELMo |
| Fine-tuning | 2018~2022 | 사전학습 모델 전체를 태스크에 맞게 미세 조정 | BERT, GPT-2 |
| Prompting | 2020~ | 대규모 모델에 프롬프트를 설계하여 태스크를 수행 | GPT-3, ChatGPT |
모델 구조에 따른 분류
Transformer 아키텍처의 어떤 부분을 사용하느냐에 따라 세 가지 유형으로 나뉩니다.| 유형 | 학습 방식 | 강점 태스크 | 대표 모델 |
|---|---|---|---|
| 인코더 모델 | 양방향 컨텍스트 (Masked LM) | 분류, NER, 유사도, QA(추출형) | BERT, RoBERTa, DeBERTa |
| 디코더 모델 | 자기회귀 (Autoregressive LM) | 텍스트 생성, 대화, 요약 | GPT, LLaMA, Mistral |
| 인코더-디코더 | 조건부 생성 (Seq2Seq) | 번역, 요약, 질의응답 | T5, BART, mBART |
학습 경로
BERT
양방향 인코더 모델의 원조 — Masked LM과 Fine-tuning 전략을 학습합니다
RoBERTa, ALBERT, DeBERTa
BERT 이후 등장한 개선 모델들의 핵심 차이를 비교합니다
한국어 PLM
KoBERT, KoELECTRA, KLUE-BERT 등 한국어 인코더 모델을 실습합니다
GPT 진화
GPT-1부터 GPT-4까지의 아키텍처 변화와 핵심 인사이트를 추적합니다
LLaMA 계열
LLaMA, Mistral, Qwen 등 오픈소스 LLM의 구조와 혁신을 비교합니다
한국어 LLM
SOLAR, EXAONE, HyperCLOVA X 등 한국어 대규모 언어 모델을 분석합니다
인코더-디코더 모델
T5, BART, mBART의 구조적 특징과 텍스트-투-텍스트 프레임워크를 학습합니다
스케일링 법칙
모델 크기, 데이터, 컴퓨팅의 관계와 효율적인 학습 전략을 이해합니다