Skip to main content

​
알고리즘 선택 가이드

“어떤 알고리즘을 써야 하나요?”는 ML 입문자가 가장 자주 하는 질문입니다. 이 문서는 문제 유형, 데이터 크기, 해석 가능성 요구사항에 따라 체계적으로 알고리즘을 선택하는 방법을 안내합니다.

​
학습 목표

  • 문제 유형에 따라 적합한 알고리즘 후보군을 좁힐 수 있습니다.
  • 데이터 크기와 특성 수에 따른 알고리즘 선택 기준을 적용할 수 있습니다.
  • 해석 가능성, 학습 속도, 예측 성능 사이의 트레이드오프를 이해합니다.
  • scikit-learn cheat sheet의 한국어 버전을 활용할 수 있습니다.

​
왜 중요한가

ML에는 수백 가지 알고리즘이 존재합니다. 모든 알고리즘을 시도해보는 것은 비현실적이며, 문제에 맞지 않는 알고리즘에 시간을 낭비하게 됩니다. 체계적인 선택 기준이 있으면 효율적으로 후보를 좁힐 수 있습니다.

​
핵심 개념

​
알고리즘 선택 플로우차트

​
문제 유형별 추천 알고리즘

​
분류 (Classification)

상황추천 알고리즘이유레퍼런스
빠른 베이스라인로지스틱 회귀단순하고 해석 가능바로가기
높은 정확도 필요랜덤 포레스트안정적이고 과적합에 강함바로가기
대규모 데이터LightGBM빠른 학습 속도바로가기
최고 성능 추구XGBoostKaggle 우승 빈도바로가기
텍스트 분류Naive Bayes텍스트에 효과적바로가기
비선형 결정 경계SVM (RBF)고차원에서 효과적바로가기
해석 가능성 필수결정 트리규칙 시각화 가능바로가기

​
회귀 (Regression)

상황추천 알고리즘이유레퍼런스
선형 관계 가정선형 회귀가장 단순한 베이스라인바로가기
다중공선성 존재Ridge / Lasso정규화로 안정성 확보바로가기
비선형 관계랜덤 포레스트비선형 패턴 포착바로가기
대규모 + 고성능LightGBM빠르고 정확바로가기
이상치에 강건Huber 회귀이상치 영향 최소화바로가기
시계열 예측ARIMA / SARIMAX시간 의존성 반영바로가기

​
군집화 (Clustering)

상황추천 알고리즘이유레퍼런스
군집 수를 알 때K-Means빠르고 직관적바로가기
군집 수를 모를 때DBSCAN밀도 기반 자동 결정바로가기
계층 구조 필요응집 군집화덴드로그램 제공바로가기
확률적 군집 할당GMM소속 확률 제공바로가기
비균일 밀도HDBSCAN다양한 밀도 처리바로가기

​
데이터 특성별 알고리즘 선택 기준

기준소규모 데이터 (< 1만)중규모 (1만-100만)대규모 (> 100만)
분류SVM, 로지스틱 회귀랜덤 포레스트, XGBoostLightGBM, SGD
회귀Ridge, Lasso, SVR랜덤 포레스트, XGBoostLightGBM, SGD
군집화K-Means, 응집 군집화K-Means, DBSCANMiniBatch K-Means

​
해석 가능성 vs 성능 트레이드오프

우선순위추천 방향대표 알고리즘
해석 가능성 우선단순 모델 + SHAP/LIME로지스틱 회귀, 결정 트리
성능 우선앙상블 + 하이퍼파라미터 튜닝XGBoost, LightGBM
균형트리 앙상블 + 특성 중요도랜덤 포레스트

​
실전 알고리즘 선택 체크리스트

# 1단계: 문제 유형 확인
# - 타겟이 있는가? → 지도학습
# - 타겟이 범주형인가, 수치형인가? → 분류 vs 회귀

# 2단계: 베이스라인 모델 먼저 시도
from sklearn.dummy import DummyClassifier, DummyRegressor

# 분류: 최빈 클래스 예측 베이스라인
baseline = DummyClassifier(strategy="most_frequent")
baseline.fit(X_train, y_train)
print(f"베이스라인 정확도: {baseline.score(X_test, y_test):.4f}")

# 3단계: 단순 모델로 시작
from sklearn.linear_model import LogisticRegression
simple = LogisticRegression(max_iter=1000)
simple.fit(X_train, y_train)
print(f"로지스틱 회귀: {simple.score(X_test, y_test):.4f}")

# 4단계: 점진적으로 복잡한 모델 시도
from sklearn.ensemble import RandomForestClassifier
rf = RandomForestClassifier(n_estimators=100, random_state=42)
rf.fit(X_train, y_train)
print(f"랜덤 포레스트: {rf.score(X_test, y_test):.4f}")

# 5단계: 성능 향상이 유의미한지 확인
# 복잡한 모델의 개선이 1-2%p 미만이라면 단순 모델 선택 고려

​
”No Free Lunch” 정리

모든 문제에서 최선인 알고리즘은 존재하지 않습니다. 이것이 No Free Lunch 정리의 핵심입니다.
  • 어떤 알고리즘이 특정 데이터셋에서 최고 성능을 내더라도, 다른 데이터셋에서도 최고일 보장은 없습니다.
  • 따라서 항상 여러 알고리즘을 후보로 두고 교차검증으로 비교해야 합니다.
  • AutoML 도구를 사용하면 이 과정을 자동화할 수 있습니다.

​
AI/ML에서의 활용

실무에서는 다음 순서를 따르는 것이 효율적입니다.
  1. 베이스라인(DummyClassifier/DummyRegressor)으로 하한선 설정
  2. 단순 모델(선형 모델)로 상한선 탐색
  3. 앙상블 모델(랜덤 포레스트, XGBoost)로 성능 향상
  4. 하이퍼파라미터 튜닝으로 최적화
  5. 필요시 AutoML로 추가 탐색
정형 데이터(Tabular) 대회에서는 XGBoost, LightGBM, CatBoost 같은 그래디언트 부스팅 계열이 압도적입니다. 그러나 실무에서는 추론 속도, 해석 가능성, 유지보수 비용도 고려해야 합니다.
정형 데이터에서는 트리 기반 앙상블이 딥러닝보다 우수한 경우가 대부분입니다. 딥러닝은 이미지, 텍스트, 음성 등 비정형 데이터에서 강점을 보입니다.
단순 모델로 시작해야 데이터 품질 문제, 특성 중요도, 성능 하한/상한을 빠르게 파악할 수 있습니다. 복잡한 모델은 버그를 숨길 수 있어서 디버깅이 어렵습니다.

​
체크리스트

  • 문제 유형(분류/회귀/군집화)에 따라 후보 알고리즘을 나열할 수 있다
  • 데이터 크기에 따른 알고리즘 선택 기준을 설명할 수 있다
  • 해석 가능성과 성능의 트레이드오프를 이해한다
  • 베이스라인 → 단순 모델 → 복잡 모델 순서의 이유를 설명할 수 있다

​
다음 문서

ML 개발 환경

Jupyter, scikit-learn 등 ML 개발 환경을 설정합니다.

분류 알고리즘

분류 알고리즘의 전체 목록과 상세 레퍼런스를 확인합니다.