딥러닝 전체 지도
학습 목표
- 딥러닝 아키텍처의 주요 계보(MLP, CNN, RNN, Transformer, 생성 모델)를 구분할 수 있다
- 각 아키텍처가 해결하는 문제 유형과 응용 분야를 연결할 수 있다
- 이 탭의 학습 순서와 후행 탭(Vision, NLP, RAG 등)과의 관계를 이해한다
왜 중요한가
딥러닝은 지난 10여 년간 폭발적으로 발전하며 수많은 아키텍처가 등장했습니다. 전체 지도를 먼저 파악하면 각 아키텍처의 위치와 관계를 이해한 상태에서 깊이 있는 학습을 진행할 수 있습니다.아키텍처 계보
아키텍처 분류
판별 모델 vs 생성 모델
딥러닝 아키텍처는 크게 두 가지 방향으로 나뉩니다.| 분류 | 목표 | 대표 아키텍처 | 응용 |
|---|---|---|---|
| 판별 모델 | 입력 → 레이블/결정 | CNN, RNN, Transformer (인코더) | 분류, 탐지, 번역 |
| 생성 모델 | 잠재 분포 → 새로운 데이터 | VAE, GAN, Diffusion | 이미지 생성, 텍스트 생성 |
입력 데이터별 아키텍처
| 데이터 유형 | 핵심 아키텍처 | 특징 |
|---|---|---|
| 이미지 | CNN, ViT | 공간적 지역성, 이동 불변성 |
| 시퀀스 (텍스트, 시계열) | RNN, LSTM, Transformer | 순서 의존성, 장기 의존성 |
| 그래프 | GNN (Graph Neural Network) | 노드-에지 관계 학습 |
| 테이블 (정형) | TabNet, FT-Transformer | 특성 간 상호작용 |
| 멀티모달 | CLIP, Flamingo | 여러 모달리티 통합 |
핵심 아키텍처 요약
CNN (합성곱 신경망)
합성곱 연산으로 이미지의 공간적 패턴을 계층적으로 학습합니다. 2012년 AlexNet의 ImageNet 우승 이후 컴퓨터 비전의 핵심 아키텍처가 되었습니다.- 핵심 연산: 합성곱(Convolution) + 풀링(Pooling)
- 강점: 이동 불변성, 파라미터 공유로 효율적
- 한계: 전역(global) 정보 포착이 어려움 → ViT가 보완
- 이 탭에서: 03. CNN 그룹에서 상세 학습
RNN / LSTM / GRU (순환 신경망)
시간 순서가 있는 데이터를 처리하기 위해 은닉 상태(Hidden State)를 유지하며 순차적으로 입력을 처리합니다.- 핵심 개념: 은닉 상태의 순환적 전달
- 강점: 가변 길이 시퀀스 처리
- 한계: 장기 의존성(Long-term Dependency) 문제 → LSTM/GRU가 완화, Transformer가 근본적 해결
- 이 탭에서: 04. 시퀀스 모델 그룹에서 상세 학습
Transformer
Self-Attention 메커니즘으로 시퀀스 내 모든 위치 간의 관계를 병렬로 계산합니다. 2017년 “Attention Is All You Need” 논문 이후 NLP를 넘어 Vision, Audio 등 거의 모든 분야의 기반 아키텍처가 되었습니다.- 핵심 연산: Self-Attention + Feed-Forward Network
- 강점: 병렬 처리, 장거리 의존성 포착, 대규모 사전학습
- 파생: BERT(인코더), GPT(디코더), T5(인코더-디코더)
Attention과 Transformer 아키텍처의 상세 내용은 NLP 탭에서 다룹니다. 이 탭에서는 Seq2Seq에서 Attention의 등장 배경을 소개하고, NLP 탭으로 연결합니다.
생성 모델
데이터의 분포를 학습하여 새로운 데이터를 생성하는 모델 계열입니다.| 모델 | 핵심 아이디어 | 대표 응용 |
|---|---|---|
| Autoencoder | 입력 → 압축 → 복원 | 이상 탐지, 차원 축소 |
| VAE | 확률적 잠재 공간에서 샘플링 | 이미지 생성, 약물 설계 |
| GAN | 생성자 vs 판별자의 적대적 학습 | 이미지 합성, 스타일 변환 |
| Diffusion | 노이즈 추가 → 단계적 제거 | Stable Diffusion, DALL-E |
- 이 탭에서: 07. 생성 모델 그룹에서 상세 학습
후행 탭 연결 지도
이 탭의 각 그룹이 후행 탭에서 어떤 역할을 하는지 보여줍니다.| DL 그룹 | Vision | NLP | RAG | Fine-Tuning | LLMOps |
|---|---|---|---|---|---|
| 01. 신경망 기초 | ● | ○ | ○ | ● | ○ |
| 02. PyTorch 기본 | ● | ○ | ○ | ● | ○ |
| 03. CNN | ★ | - | - | ○ | - |
| 04. 시퀀스 모델 | - | ★ | ○ | ○ | - |
| 05. 학습 실무 | ● | ○ | - | ★ | ● |
| 06. 임베딩 | ○ | ● | ★ | ● | - |
| 07. 생성 모델 | ● | - | - | ○ | - |
★ 핵심 선수 지식 / ● 중요 기반 / ○ 참고 수준 / - 직접 연결 없음
딥러닝 발전의 이정표
| 연도 | 사건 | 의의 |
|---|---|---|
| 1958 | Perceptron | 최초의 신경망 모델 |
| 1986 | 역전파(Backpropagation) 재발견 | 다층 신경망 학습 가능 |
| 1998 | LeNet-5 | CNN으로 필기체 인식 |
| 2012 | AlexNet, ImageNet 우승 | 딥러닝 시대 개막 |
| 2014 | GAN, Seq2Seq, GRU | 생성 모델과 시퀀스 모델 발전 |
| 2015 | ResNet, Attention | 깊은 네트워크 학습, 어텐션 메커니즘 |
| 2017 | Transformer | NLP 패러다임 전환 |
| 2018 | BERT, GPT | 사전학습 시대 개막 |
| 2020 | GPT-3, ViT | 초대규모 모델, Vision Transformer |
| 2022 | Stable Diffusion, ChatGPT | 생성 AI 대중화 |
| 2024~ | GPT-4o, Gemini, Claude | 멀티모달 AI, 추론 능력 강화 |
딥러닝의 모든 아키텍처를 다 알아야 하나요?
딥러닝의 모든 아키텍처를 다 알아야 하나요?
모든 아키텍처를 깊이 이해할 필요는 없습니다. 핵심은 MLP → CNN → RNN → Transformer의 발전 흐름을 이해하고, 자신의 도메인에 필요한 아키텍처를 깊이 학습하는 것입니다. 이 탭에서는 기초를 다지고, 후행 탭에서 응용을 깊이 다룹니다.
Transformer가 모든 것을 대체하나요?
Transformer가 모든 것을 대체하나요?
Transformer는 NLP, Vision, Audio 등 다양한 분야에서 강력한 성능을 보이지만, 모든 문제에 최적인 것은 아닙니다. 엣지 디바이스에서는 여전히 경량 CNN이 사용되고, 실시간 시계열 처리에는 TCN(Temporal CNN)이 효율적일 수 있습니다. 문제의 특성과 자원 제약을 고려한 선택이 중요합니다.
체크리스트
- CNN, RNN, Transformer의 핵심 차이를 한 문장으로 설명할 수 있다
- 판별 모델과 생성 모델의 차이를 이해한다
- 주어진 데이터 유형에 적합한 아키텍처를 선택할 수 있다
- 이 탭의 학습 경로와 후행 탭과의 관계를 파악했다