신경망 기초 - 배움 에이아이

학습 순서

신경망(Neural Network)은 딥러닝의 핵심 구성 단위입니다. 이 그룹에서는 단일 뉴런(퍼셉트론)에서 출발하여, 활성화 함수, 손실 함수, 역전파, 옵티마이저, 정규화까지 신경망 학습의 전체 과정을 수학적으로 이해합니다.

학습 순서

신경망의 학습 원리는 순전파 → 손실 계산 → 역전파 → 가중치 업데이트 사이클로 이루어집니다. 아래 문서들은 이 사이클의 각 구성 요소를 깊이 있게 다룹니다.

순서	주제	핵심 질문
1	퍼셉트론과 MLP	뉴런은 어떻게 입력을 처리하는가?
2	활성화 함수	비선형성이 왜 필요한가?
3	손실 함수	모델의 예측 오차를 어떻게 측정하는가?
4	역전파	기울기를 어떻게 계산하고 전달하는가?
5	옵티마이저	기울기로 가중치를 어떻게 업데이트하는가?
6	정규화	과적합을 어떻게 방지하는가?

이 그룹의 내용은 이후 CNN, RNN, Transformer 등 모든 아키텍처의 기반이 됩니다. 수식이 많지만, PyTorch 코드와 함께 직관적으로 이해할 수 있도록 구성했습니다.

퍼셉트론과 MLP

단일 뉴런에서 다층 신경망까지

활성화 함수

Sigmoid, ReLU, GELU 비교와 선택 기준

손실 함수

CrossEntropy, MSE, Focal Loss 태스크별 선택

역전파

연쇄 법칙, 계산 그래프, 기울기 흐름

옵티마이저

SGD, Adam, AdamW 동작 원리와 비교

정규화

Dropout, BatchNorm, LayerNorm 과적합 방지

딥러닝 전체 지도 퍼셉트론