Skip to main content

거버넌스 기초

거버넌스(Governance)는 조직이 데이터, 시스템, AI 모델을 책임 있게 관리하기 위한 정책과 프로세스의 체계입니다. “누가, 무엇을, 어떻게, 왜” 접근하고 사용하는지를 명확히 정의하고 자동으로 검증합니다. AI 시대에 거버넌스의 중요성은 기하급수적으로 커졌습니다. 학습 데이터에 개인정보가 포함되어 있는지, 모델이 편향된 결과를 생성하지 않는지, 실험 결과를 재현할 수 있는지, 규정을 준수하고 있는지 - 이 모든 질문에 체계적으로 답하는 것이 AI 거버넌스입니다.

학습 목표

  • 데이터 분류 체계를 설계하고 등급별 처리 기준을 적용할 수 있다
  • Policy as Code로 정책을 자동 검증하는 방법을 이해한다
  • 모델 카드를 작성하여 AI 모델의 투명성을 확보할 수 있다
  • EU AI Act, 개인정보보호법 등 주요 AI 규정의 핵심 요구사항을 설명할 수 있다

왜 중요한가

거버넌스 없이 AI를 운영하면 법적, 윤리적, 비즈니스적 위험이 동시에 발생합니다. 학습 데이터의 개인정보 유출은 수십억 원의 과징금으로 이어지고, 편향된 모델은 사회적 비난과 고객 이탈을 초래합니다. 또한 실험 재현이 불가능하면 모델 개선과 디버깅 자체가 어려워집니다. EU AI Act가 2025년부터 본격 시행되면서, AI 시스템의 위험 등급 분류, 투명성 요구, 인간 감독 의무가 법적 강제 사항이 되었습니다. 거버넌스는 이제 선택이 아니라 생존의 문제입니다.

데이터 분류 체계

데이터 분류는 거버넌스의 시작점입니다. 모든 데이터에 보안 등급을 부여하고, 등급에 따른 처리 기준을 적용합니다.

등급 체계

등급라벨설명예시
Level 1공개(Public)외부 공개 가능제품 카탈로그, 공개 API 문서, 블로그
Level 2내부(Internal)사내 공유 가능내부 위키, 회의록, 업무 메신저
Level 3기밀(Confidential)허가된 인원만 접근고객 데이터, 재무 정보, 소스 코드
Level 4극비(Restricted)최소 인원만 접근개인정보, 의료 기록, 암호화 키

등급별 처리 기준

처리 항목공개 (L1)내부 (L2)기밀 (L3)극비 (L4)
저장일반 스토리지접근 제어 적용암호화 필수 (AES-256)전용 암호화 스토리지
전송HTTP 허용HTTPS 권장HTTPS/TLS 필수E2E 암호화 필수
접근제한 없음사내 인증RBAC + MFARBAC + MFA + 승인
로깅선택접근 로그전체 감사 로그실시간 감사 + 알림
폐기일반 삭제확인 후 삭제안전 삭제(Secure Delete)인증된 파기 + 증적
백업선택정기 백업암호화 백업 필수별도 보안 영역 백업

분류 프로세스

1

데이터 식별(Inventory)

조직 내 모든 데이터 자산을 목록화합니다. 데이터베이스, 파일 스토리지, API 응답, 로그 등을 포함합니다. 자동화 도구(AWS Macie, Azure Purview)를 활용하면 효율적입니다.
2

분류 기준 적용

각 데이터에 등급을 부여합니다. 개인정보 포함 여부, 비즈니스 민감도, 규정 요구사항을 기준으로 판단합니다. 판단이 어려운 경우 상위 등급을 적용합니다.
3

라벨링 및 메타데이터

분류 결과를 메타데이터로 태깅합니다. 스키마 레벨(컬럼 단위), 파일 레벨, 데이터셋 레벨에서 라벨을 부여합니다.
4

정기 재분류

데이터의 민감도는 시간에 따라 변합니다. 분기별 또는 반기별로 재분류를 수행합니다.

접근 통제와 감사

RBAC 기반 접근 관리

역할 기반 접근 통제(RBAC)는 인증 기초에서 다루었습니다. 거버넌스 관점에서는 RBAC에 더해 다음을 추가합니다.
항목설명주기
접근 권한 리뷰모든 사용자의 권한 적절성 검토분기별
최소 권한 감사과도한 권한 부여 탐지월간
퇴사자 권한 회수즉시 모든 접근 차단실시간
서비스 계정 관리사용하지 않는 API 키/토큰 폐기월간
특권 접근 추적관리자 계정 사용 이력 기록실시간

감사 로그 설계

# 감사 로그 스키마 예시
audit_log:
  timestamp: "2026-02-23T10:30:00Z"
  actor:
    user_id: "user-1234"
    role: "data-scientist"
    ip_address: "10.0.1.50"
    auth_method: "SSO+MFA"
  action: "READ"
  resource:
    type: "dataset"
    id: "training-data-v3"
    classification: "confidential"
  context:
    purpose: "model-training"
    project: "recommendation-v2"
  result: "SUCCESS"
  details: "Downloaded 50,000 records"
감사 로그 자체도 보호 대상입니다. 로그는 변조 방지(immutable)되어야 하고, 별도의 보안 스토리지에 보관해야 합니다. 로그 접근 권한은 보안팀과 감사팀으로 제한합니다.

보관과 파기

데이터 생명주기

생성(Create) → 활용(Use) → 보관(Archive) → 파기(Destroy)
    │              │             │              │
    ├─ 분류        ├─ 접근 통제   ├─ 저비용      ├─ 안전 삭제
    ├─ 라벨링      ├─ 감사 로그   │  스토리지     ├─ 파기 증적
    └─ 메타데이터   └─ 암호화     └─ 보관 기간    └─ 감사 보고
                                    관리

규정별 보관 기간

규정보관 기간대상 데이터
개인정보보호법수집 목적 달성 시 즉시 파기개인정보 전반
GDPR목적 달성 후 즉시, 또는 동의 철회 시EU 시민 개인정보
전자금융거래법5년전자금융 거래 기록
의료법10년환자 의료 기록
전자상거래법5년 (계약/대금), 3년 (소비자 불만)거래 기록

ML 특수성: 학습 데이터 관리

ML 모델은 학습 데이터로부터 만들어지므로, 학습 데이터를 파기하면 모델 재학습이 불가능해집니다. 또한 데이터 삭제 요청(GDPR “잊힐 권리”) 시, 해당 데이터로 학습된 모델도 영향을 받을 수 있습니다. 이를 “기계 비학습(Machine Unlearning)“이라 하며, 아직 활발한 연구 분야입니다.
# ML 데이터 보관 정책 예시
ml_data_retention:
  raw_data:
    retention: "규정에 따름"
    action: "파기 또는 익명화"

  processed_data:
    retention: "모델 생명주기 동안"
    action: "모델 폐기 시 함께 삭제"

  model_artifacts:
    retention: "서비스 운영 기간 + 1년"
    action: "버전별 보관, 서비스 종료 후 파기"

  training_logs:
    retention: "감사 목적 3년"
    action: "재현성 보장용 보관"

Policy as Code

전통적인 정책 문서(Word, PDF)는 자동 검증이 불가능합니다. Policy as Code는 정책을 코드로 작성하여 자동으로 검증합니다.

OPA (Open Policy Agent) 개념

OPA는 CNCF 졸업 프로젝트로, 범용 정책 엔진입니다. Rego라는 선언적 언어로 정책을 작성합니다.
# OPA Rego 정책 예시: 기밀 데이터는 암호화 필수

package data.governance

# 기밀 이상 데이터는 암호화 스토리지 필수
deny[msg] {
    input.resource.classification >= 3
    not input.resource.encryption_enabled
    msg := sprintf(
        "Level %d 데이터(%s)는 암호화가 필수입니다",
        [input.resource.classification, input.resource.name]
    )
}

# 극비 데이터 접근에는 MFA 필수
deny[msg] {
    input.resource.classification == 4
    not input.actor.mfa_verified
    msg := "극비 데이터 접근에는 MFA 인증이 필요합니다"
}

# 프로덕션 환경 리소스는 태그 필수
deny[msg] {
    input.resource.environment == "production"
    not input.resource.tags.owner
    msg := "프로덕션 리소스에는 owner 태그가 필수입니다"
}

Terraform Sentinel

Terraform Enterprise/Cloud에서 사용하는 정책 프레임워크로, 인프라 변경 전에 정책 검증을 수행합니다.
# Sentinel 정책 예시: GPU 인스턴스에 auto-shutdown 태그 필수

import "tfplan/v2" as tfplan

gpu_instances = filter tfplan.resource_changes as _, rc {
    rc.type is "aws_instance" and
    rc.change.after.instance_type matches "p[0-9].*|g[0-9].*"
}

main = rule {
    all gpu_instances as _, instance {
        instance.change.after.tags contains "auto-shutdown"
    }
}

모델 카드 (Model Card)

모델 카드는 AI 모델의 투명성 문서입니다. 2019년 Google에서 “Model Cards for Model Reporting” 논문으로 제안했으며, 모델의 용도, 성능, 한계, 편향을 명확히 기록합니다.

모델 카드 포함 항목

섹션설명필수 여부
모델 개요모델명, 버전, 유형, 개발자필수
의도된 용도설계된 사용 사례, 사용자필수
비의도된 용도부적절한 사용 사례, 제한필수
학습 데이터데이터 출처, 크기, 전처리필수
평가 데이터테스트 데이터셋, 메트릭필수
성능 지표정확도, F1, 지연시간 등필수
편향 분석인구통계별 성능 차이필수
한계 및 주의사항알려진 제한, 실패 케이스필수
윤리적 고려공정성, 프라이버시 영향권장
환경 영향학습 시 탄소 배출량권장

모델 카드 예시

# Model Card: 고객 이탈 예측 모델 v2.3

## 모델 개요
- **모델명**: churn-predictor-v2.3
- **유형**: XGBoost 분류기
- **개발팀**: ML Platform Team
- **최종 학습일**: 2026-02-15
- **프레임워크**: scikit-learn 1.4, XGBoost 2.0

## 의도된 용도
- 구독 서비스 고객의 30일 내 이탈 확률 예측
- 마케팅 팀의 리텐션 캠페인 타겟 선정 보조

## 비의도된 용도
- 개인 신용 평가 (설계 목적 아님)
- 고용/해고 결정 (부적절)

## 학습 데이터
- **출처**: 내부 CRM 데이터 (2024-01 ~ 2025-12)
- **규모**: 1,200,000 건
- **전처리**: 개인정보 비식별화, 결측치 처리

## 성능 지표
| 메트릭 | 전체 | 20대 | 30대 | 40대+ |
|--------|------|------|------|-------|
| AUC    | 0.87 | 0.85 | 0.88 | 0.86  |
| F1     | 0.79 | 0.76 | 0.81 | 0.78  |

## 편향 분석
- 연령대별 성능 차이 3% 이내 (허용 범위)
- 신규 가입자(3개월 미만) 대상 정확도 15% 낮음

## 한계
- 외부 이벤트(경쟁사 프로모션) 반영 불가
- 3개월 미만 사용자 예측 정확도 저하
HuggingFace의 모델 카드 형식을 참고하면 표준화된 구조를 쉽게 따를 수 있습니다. README.md에 YAML 프론트매터로 메타데이터를 포함하고, Markdown으로 상세 설명을 작성합니다.

데이터 계보 (Data Lineage)

데이터 계보는 데이터가 어디서 와서, 어떤 변환을 거쳐, 어디로 갔는지 추적하는 것입니다. ML에서는 “이 모델이 어떤 데이터로 학습되었는가”를 역추적할 수 있어야 합니다.

왜 중요한가

  1. 디버깅: 모델 성능 저하 시 원인 데이터를 추적
  2. 규정 준수: 개인정보 삭제 요청 시 영향 범위 파악
  3. 재현성: 동일한 결과를 재현하기 위한 데이터 경로 확인
  4. 신뢰성: 데이터 품질 문제가 전파되는 경로 식별

계보 시각화 도구

도구제공자특징비용
Apache AtlasApacheHadoop 생태계 통합, 메타데이터 관리오픈소스
DataHubLinkedIn모던 메타데이터 플랫폼, 다양한 통합오픈소스
OpenLineageLinux Foundation표준 계보 이벤트 스펙, 벤더 중립오픈소스
AmundsenLyft데이터 디스커버리 + 계보오픈소스
CollibraCollibra엔터프라이즈 데이터 거버넌스상용
# OpenLineage 이벤트 예시
lineage_event:
  eventType: "COMPLETE"
  job:
    namespace: "ml-pipeline"
    name: "train-churn-model"
  inputs:
    - namespace: "warehouse"
      name: "customers_processed"
      facets:
        schema:
          fields: ["user_id", "tenure", "monthly_charges"]
        dataQuality:
          rowCount: 1200000
          completeness: 0.98
  outputs:
    - namespace: "model-registry"
      name: "churn-predictor-v2.3"
      facets:
        modelMetrics:
          auc: 0.87
          f1: 0.79

실험 재현성

ML 실험의 재현성은 네 가지 요소의 버전 관리로 달성됩니다.
요소도구관리 방법
코드 버전Git커밋 해시로 정확한 코드 상태 기록
데이터 버전DVC, LakeFS대용량 데이터의 버전 관리
환경 버전Docker, Conda패키지 버전과 시스템 환경 고정
하이퍼파라미터MLflow, W&B실험별 파라미터와 결과 추적
# MLflow로 실험 재현성 확보 예시
import mlflow

with mlflow.start_run():
    # 1. 하이퍼파라미터 기록
    mlflow.log_params({
        "learning_rate": 0.01,
        "n_estimators": 500,
        "max_depth": 7,
        "data_version": "v2.3",
        "feature_set": "v5"
    })

    # 2. 모델 학습
    model = train_model(X_train, y_train)

    # 3. 성능 지표 기록
    mlflow.log_metrics({
        "auc": 0.87,
        "f1": 0.79,
        "precision": 0.82,
        "recall": 0.76
    })

    # 4. 모델 아티팩트 저장
    mlflow.sklearn.log_model(model, "churn-model")

    # 5. 환경 정보 자동 기록 (conda.yaml, requirements.txt)
    mlflow.log_artifact("Dockerfile")
재현성은 “정확히 동일한 결과”를 의미하지 않을 수 있습니다. GPU 연산의 비결정성, 랜덤 시드, 병렬 처리 순서 차이로 미세한 차이가 발생합니다. 핵심은 “동일한 조건을 복원할 수 있는가”이며, 결과 차이가 허용 범위 내인지 확인하는 것입니다.

AI/ML 규정 준수

EU AI Act

2025년부터 본격 시행되는 EU AI Act는 AI 시스템을 위험 등급에 따라 규제합니다.
위험 등급설명예시요구사항
금지허용 불가사회적 점수 시스템, 실시간 원격 생체인식사용 금지
고위험엄격한 규제채용 AI, 신용 평가, 의료 진단적합성 평가, 등록, 인간 감독, 투명성
제한적 위험투명성 의무챗봇, 딥페이크AI 사용 고지, 생성 콘텐츠 표시
최소 위험자율 규제스팸 필터, 추천 시스템자발적 행동 강령

개인정보보호법 / GDPR (학습 데이터 관점)

ai_privacy_requirements:
  data_collection:
    - 학습 데이터 수집 시 명시적 동의 또는 법적 근거 필요
    - 수집 목적 명시 (예: "서비스 개선을 위한 AI 모델 학습")
    - 최소 수집 원칙 적용

  data_processing:
    - 개인정보 비식별화/익명화 우선 적용
    - 가명처리 시 안전조치 병행
    - 처리 목적 범위 내에서만 사용

  data_subject_rights:
    - 정보 주체의 열람/정정/삭제 요구 대응
    - 프로파일링 거부권 보장
    - 자동화된 의사결정에 대한 설명 제공

  cross_border:
    - EU 시민 데이터의 역외 이전 시 적정성 결정 또는 표준계약조항
    - 한국 개인정보보호법의 국외 이전 규정 준수

설명 가능성 (XAI) 요구사항

고위험 AI 시스템에서는 “왜 이런 결정을 내렸는가”를 설명할 수 있어야 합니다.
XAI 기법설명적용 대상
SHAP각 피처의 기여도 계산테이블 데이터, 트리 모델
LIME개별 예측에 대한 로컬 설명블랙박스 모델 전반
Attention Visualization어텐션 가중치 시각화Transformer 모델
Counterfactual”X가 달랐다면 결과는?”의사결정 시스템
Feature Importance전역 피처 중요도트리 기반 모델

조직 거버넌스

AI 윤리위원회

대규모 AI 도입 조직에서는 AI 윤리위원회를 구성하여 모델 배포 전 윤리적 검토를 수행합니다.
ai_ethics_committee:
  구성:
    - 기술 리드 (CTO 또는 ML 리드)
    - 법무 담당자
    - 데이터 보호 책임자(DPO)
    - 비즈니스 대표
    - 외부 윤리 전문가 (선택)

  검토_기준:
    - 편향 및 공정성 분석 결과
    - 개인정보 영향 평가(PIA) 결과
    - 모델 카드 완성도
    - 설명 가능성 수준
    - 인간 감독 메커니즘

  검토_주기:
    - 신규 모델 배포 전: 필수
    - 기존 모델 중대 변경: 필수
    - 정기 재검토: 반기별

모델 배포 승인 프로세스

1

모델 카드 작성

개발팀이 모델 카드를 작성하여 모델의 용도, 성능, 한계를 문서화합니다.
2

기술 검토

ML 엔지니어가 코드 리뷰, 성능 벤치마크, 보안 검사를 수행합니다.
3

편향/공정성 검토

인구통계별 성능 차이, 불리한 결과 편향을 분석합니다.
4

개인정보 영향 평가

학습 데이터의 개인정보 처리 적법성, 비식별화 수준을 확인합니다.
5

윤리위원회 승인

고위험 모델의 경우 윤리위원회의 최종 승인을 받습니다.
6

단계적 배포

Canary → 제한적 공개 → 전체 공개 순서로 점진적 배포합니다.

정기 감사 체계

감사 항목빈도담당산출물
데이터 분류 재검토반기데이터 거버넌스 팀분류 현황 보고서
접근 권한 리뷰분기보안팀권한 감사 보고서
모델 성능 모니터링월간ML 팀성능 추세 리포트
편향 재검증반기윤리위원회공정성 분석 보고서
규정 준수 점검연간법무팀컴플라이언스 리포트
데이터 계보 검증분기데이터 엔지니어링계보 정확성 보고서

AI/ML에서 거버넌스가 중요한 이유

AI 거버넌스는 기술적 요구사항인 동시에 비즈니스 생존 전략입니다.
  1. 법적 준수: EU AI Act, 개인정보보호법 위반 시 매출의 최대 6% 과징금
  2. 신뢰 구축: 투명한 모델 카드와 편향 분석으로 고객, 규제기관의 신뢰 획득
  3. 재현성: 실험 재현 불가 시 모델 개선, 디버깅, 감사 모두 불가능
  4. 편향 방지: 편향된 모델은 사회적 피해와 법적 책임을 동시에 초래
  5. 데이터 추적: 데이터 계보로 문제 발생 시 원인을 빠르게 파악
수동 분류는 누락과 오류가 불가피합니다. 조직의 데이터는 매일 증가하고, 새로운 데이터 소스가 추가됩니다. AWS Macie, Azure Purview, Google DLP 같은 도구는 자동으로 개인정보를 탐지하고 분류합니다. 자동화하면 분류 커버리지가 높아지고, 새 데이터에 대해서도 즉시 등급이 부여됩니다.
Word/PDF 정책 문서는 “읽고 따르기”에 의존하므로 위반을 사전에 방지할 수 없습니다. Policy as Code는 CI/CD 파이프라인에 통합되어 정책 위반 시 배포 자체를 차단합니다. 예를 들어, 암호화되지 않은 기밀 데이터 스토리지 생성을 Terraform plan 단계에서 자동 거부합니다. 정책이 코드이므로 버전 관리, 테스트, 리뷰도 가능합니다.
모델 개발팀이 초안을 작성하고, 데이터 과학자, 도메인 전문가, 법무팀이 검토합니다. 모델 카드는 개발 초기부터 시작하여 배포 전에 완성합니다. HuggingFace의 모델 카드 가이드라인이나 Google의 Model Cards Toolkit을 활용하면 표준화된 형식으로 효율적으로 작성할 수 있습니다.
이것은 현재 법적, 기술적으로 가장 논쟁적인 영역 중 하나입니다. 이론적으로 학습 데이터 삭제가 요구되면, 해당 데이터의 영향을 받은 모델도 재학습이 필요할 수 있습니다. 실무적으로는 익명화된 데이터는 GDPR 적용 대상이 아니므로, 학습 전 충분한 비식별화를 적용하는 것이 핵심 방어 전략입니다.
GPU 연산의 비결정성(non-determinism)으로 인해 비트 단위의 완벽한 재현은 어렵습니다. CUDA의 비결정적 커널, 부동소수점 연산 순서 차이 등이 원인입니다. 그러나 PyTorch의 torch.use_deterministic_algorithms(True), 시드 고정, 환경 동결(Docker)을 조합하면 통계적으로 동일한 결과(성능 지표 차이 1% 이내)를 달성할 수 있습니다.
규모에 맞게 조정하되, 핵심 요소는 반드시 갖추어야 합니다. 최소한 데이터 분류(4등급), 모델 카드(간소화 버전), 실험 추적(MLflow), 접근 통제(RBAC)는 팀 규모와 무관하게 필요합니다. 처음부터 거버넌스를 설계하면 나중에 확장할 때 훨씬 수월합니다. “나중에 하겠다”는 접근은 기술 부채처럼 비용이 기하급수적으로 증가합니다.

체크리스트

  • 데이터 분류 4등급(공개/내부/기밀/극비)의 처리 기준을 설명할 수 있다
  • 감사 로그의 필수 필드와 변조 방지 방법을 이해한다
  • 데이터 생명주기(생성 → 활용 → 보관 → 파기)를 설계할 수 있다
  • OPA/Rego로 기본적인 정책을 코드로 작성할 수 있다
  • 모델 카드의 필수 항목을 포함하여 작성할 수 있다
  • 데이터 계보의 개념과 ML에서의 중요성을 설명할 수 있다
  • MLflow 등을 활용한 실험 재현성 확보 방법을 이해한다
  • EU AI Act의 위험 등급 분류와 각 등급별 요구사항을 구분할 수 있다
  • 모델 배포 승인 프로세스의 단계를 설계할 수 있다

다음 문서