거버넌스 기초
거버넌스(Governance)는 조직이 데이터, 시스템, AI 모델을 책임 있게 관리하기 위한 정책과 프로세스의 체계입니다. “누가, 무엇을, 어떻게, 왜” 접근하고 사용하는지를 명확히 정의하고 자동으로 검증합니다. AI 시대에 거버넌스의 중요성은 기하급수적으로 커졌습니다. 학습 데이터에 개인정보가 포함되어 있는지, 모델이 편향된 결과를 생성하지 않는지, 실험 결과를 재현할 수 있는지, 규정을 준수하고 있는지 - 이 모든 질문에 체계적으로 답하는 것이 AI 거버넌스입니다.학습 목표
- 데이터 분류 체계를 설계하고 등급별 처리 기준을 적용할 수 있다
- Policy as Code로 정책을 자동 검증하는 방법을 이해한다
- 모델 카드를 작성하여 AI 모델의 투명성을 확보할 수 있다
- EU AI Act, 개인정보보호법 등 주요 AI 규정의 핵심 요구사항을 설명할 수 있다
왜 중요한가
거버넌스 없이 AI를 운영하면 법적, 윤리적, 비즈니스적 위험이 동시에 발생합니다. 학습 데이터의 개인정보 유출은 수십억 원의 과징금으로 이어지고, 편향된 모델은 사회적 비난과 고객 이탈을 초래합니다. 또한 실험 재현이 불가능하면 모델 개선과 디버깅 자체가 어려워집니다. EU AI Act가 2025년부터 본격 시행되면서, AI 시스템의 위험 등급 분류, 투명성 요구, 인간 감독 의무가 법적 강제 사항이 되었습니다. 거버넌스는 이제 선택이 아니라 생존의 문제입니다.데이터 분류 체계
데이터 분류는 거버넌스의 시작점입니다. 모든 데이터에 보안 등급을 부여하고, 등급에 따른 처리 기준을 적용합니다.등급 체계
| 등급 | 라벨 | 설명 | 예시 |
|---|---|---|---|
| Level 1 | 공개(Public) | 외부 공개 가능 | 제품 카탈로그, 공개 API 문서, 블로그 |
| Level 2 | 내부(Internal) | 사내 공유 가능 | 내부 위키, 회의록, 업무 메신저 |
| Level 3 | 기밀(Confidential) | 허가된 인원만 접근 | 고객 데이터, 재무 정보, 소스 코드 |
| Level 4 | 극비(Restricted) | 최소 인원만 접근 | 개인정보, 의료 기록, 암호화 키 |
등급별 처리 기준
| 처리 항목 | 공개 (L1) | 내부 (L2) | 기밀 (L3) | 극비 (L4) |
|---|---|---|---|---|
| 저장 | 일반 스토리지 | 접근 제어 적용 | 암호화 필수 (AES-256) | 전용 암호화 스토리지 |
| 전송 | HTTP 허용 | HTTPS 권장 | HTTPS/TLS 필수 | E2E 암호화 필수 |
| 접근 | 제한 없음 | 사내 인증 | RBAC + MFA | RBAC + MFA + 승인 |
| 로깅 | 선택 | 접근 로그 | 전체 감사 로그 | 실시간 감사 + 알림 |
| 폐기 | 일반 삭제 | 확인 후 삭제 | 안전 삭제(Secure Delete) | 인증된 파기 + 증적 |
| 백업 | 선택 | 정기 백업 | 암호화 백업 필수 | 별도 보안 영역 백업 |
분류 프로세스
데이터 식별(Inventory)
조직 내 모든 데이터 자산을 목록화합니다. 데이터베이스, 파일 스토리지, API 응답, 로그 등을 포함합니다. 자동화 도구(AWS Macie, Azure Purview)를 활용하면 효율적입니다.
접근 통제와 감사
RBAC 기반 접근 관리
역할 기반 접근 통제(RBAC)는 인증 기초에서 다루었습니다. 거버넌스 관점에서는 RBAC에 더해 다음을 추가합니다.| 항목 | 설명 | 주기 |
|---|---|---|
| 접근 권한 리뷰 | 모든 사용자의 권한 적절성 검토 | 분기별 |
| 최소 권한 감사 | 과도한 권한 부여 탐지 | 월간 |
| 퇴사자 권한 회수 | 즉시 모든 접근 차단 | 실시간 |
| 서비스 계정 관리 | 사용하지 않는 API 키/토큰 폐기 | 월간 |
| 특권 접근 추적 | 관리자 계정 사용 이력 기록 | 실시간 |
감사 로그 설계
보관과 파기
데이터 생명주기
규정별 보관 기간
| 규정 | 보관 기간 | 대상 데이터 |
|---|---|---|
| 개인정보보호법 | 수집 목적 달성 시 즉시 파기 | 개인정보 전반 |
| GDPR | 목적 달성 후 즉시, 또는 동의 철회 시 | EU 시민 개인정보 |
| 전자금융거래법 | 5년 | 전자금융 거래 기록 |
| 의료법 | 10년 | 환자 의료 기록 |
| 전자상거래법 | 5년 (계약/대금), 3년 (소비자 불만) | 거래 기록 |
ML 특수성: 학습 데이터 관리
ML 모델은 학습 데이터로부터 만들어지므로, 학습 데이터를 파기하면 모델 재학습이 불가능해집니다. 또한 데이터 삭제 요청(GDPR “잊힐 권리”) 시, 해당 데이터로 학습된 모델도 영향을 받을 수 있습니다. 이를 “기계 비학습(Machine Unlearning)“이라 하며, 아직 활발한 연구 분야입니다.
Policy as Code
전통적인 정책 문서(Word, PDF)는 자동 검증이 불가능합니다. Policy as Code는 정책을 코드로 작성하여 자동으로 검증합니다.OPA (Open Policy Agent) 개념
OPA는 CNCF 졸업 프로젝트로, 범용 정책 엔진입니다. Rego라는 선언적 언어로 정책을 작성합니다.Terraform Sentinel
Terraform Enterprise/Cloud에서 사용하는 정책 프레임워크로, 인프라 변경 전에 정책 검증을 수행합니다.모델 카드 (Model Card)
모델 카드는 AI 모델의 투명성 문서입니다. 2019년 Google에서 “Model Cards for Model Reporting” 논문으로 제안했으며, 모델의 용도, 성능, 한계, 편향을 명확히 기록합니다.모델 카드 포함 항목
| 섹션 | 설명 | 필수 여부 |
|---|---|---|
| 모델 개요 | 모델명, 버전, 유형, 개발자 | 필수 |
| 의도된 용도 | 설계된 사용 사례, 사용자 | 필수 |
| 비의도된 용도 | 부적절한 사용 사례, 제한 | 필수 |
| 학습 데이터 | 데이터 출처, 크기, 전처리 | 필수 |
| 평가 데이터 | 테스트 데이터셋, 메트릭 | 필수 |
| 성능 지표 | 정확도, F1, 지연시간 등 | 필수 |
| 편향 분석 | 인구통계별 성능 차이 | 필수 |
| 한계 및 주의사항 | 알려진 제한, 실패 케이스 | 필수 |
| 윤리적 고려 | 공정성, 프라이버시 영향 | 권장 |
| 환경 영향 | 학습 시 탄소 배출량 | 권장 |
모델 카드 예시
데이터 계보 (Data Lineage)
데이터 계보는 데이터가 어디서 와서, 어떤 변환을 거쳐, 어디로 갔는지 추적하는 것입니다. ML에서는 “이 모델이 어떤 데이터로 학습되었는가”를 역추적할 수 있어야 합니다.왜 중요한가
- 디버깅: 모델 성능 저하 시 원인 데이터를 추적
- 규정 준수: 개인정보 삭제 요청 시 영향 범위 파악
- 재현성: 동일한 결과를 재현하기 위한 데이터 경로 확인
- 신뢰성: 데이터 품질 문제가 전파되는 경로 식별
계보 시각화 도구
| 도구 | 제공자 | 특징 | 비용 |
|---|---|---|---|
| Apache Atlas | Apache | Hadoop 생태계 통합, 메타데이터 관리 | 오픈소스 |
| DataHub | 모던 메타데이터 플랫폼, 다양한 통합 | 오픈소스 | |
| OpenLineage | Linux Foundation | 표준 계보 이벤트 스펙, 벤더 중립 | 오픈소스 |
| Amundsen | Lyft | 데이터 디스커버리 + 계보 | 오픈소스 |
| Collibra | Collibra | 엔터프라이즈 데이터 거버넌스 | 상용 |
실험 재현성
ML 실험의 재현성은 네 가지 요소의 버전 관리로 달성됩니다.| 요소 | 도구 | 관리 방법 |
|---|---|---|
| 코드 버전 | Git | 커밋 해시로 정확한 코드 상태 기록 |
| 데이터 버전 | DVC, LakeFS | 대용량 데이터의 버전 관리 |
| 환경 버전 | Docker, Conda | 패키지 버전과 시스템 환경 고정 |
| 하이퍼파라미터 | MLflow, W&B | 실험별 파라미터와 결과 추적 |
재현성은 “정확히 동일한 결과”를 의미하지 않을 수 있습니다. GPU 연산의 비결정성, 랜덤 시드, 병렬 처리 순서 차이로 미세한 차이가 발생합니다. 핵심은 “동일한 조건을 복원할 수 있는가”이며, 결과 차이가 허용 범위 내인지 확인하는 것입니다.
AI/ML 규정 준수
EU AI Act
2025년부터 본격 시행되는 EU AI Act는 AI 시스템을 위험 등급에 따라 규제합니다.| 위험 등급 | 설명 | 예시 | 요구사항 |
|---|---|---|---|
| 금지 | 허용 불가 | 사회적 점수 시스템, 실시간 원격 생체인식 | 사용 금지 |
| 고위험 | 엄격한 규제 | 채용 AI, 신용 평가, 의료 진단 | 적합성 평가, 등록, 인간 감독, 투명성 |
| 제한적 위험 | 투명성 의무 | 챗봇, 딥페이크 | AI 사용 고지, 생성 콘텐츠 표시 |
| 최소 위험 | 자율 규제 | 스팸 필터, 추천 시스템 | 자발적 행동 강령 |
개인정보보호법 / GDPR (학습 데이터 관점)
설명 가능성 (XAI) 요구사항
고위험 AI 시스템에서는 “왜 이런 결정을 내렸는가”를 설명할 수 있어야 합니다.| XAI 기법 | 설명 | 적용 대상 |
|---|---|---|
| SHAP | 각 피처의 기여도 계산 | 테이블 데이터, 트리 모델 |
| LIME | 개별 예측에 대한 로컬 설명 | 블랙박스 모델 전반 |
| Attention Visualization | 어텐션 가중치 시각화 | Transformer 모델 |
| Counterfactual | ”X가 달랐다면 결과는?” | 의사결정 시스템 |
| Feature Importance | 전역 피처 중요도 | 트리 기반 모델 |
조직 거버넌스
AI 윤리위원회
대규모 AI 도입 조직에서는 AI 윤리위원회를 구성하여 모델 배포 전 윤리적 검토를 수행합니다.모델 배포 승인 프로세스
정기 감사 체계
| 감사 항목 | 빈도 | 담당 | 산출물 |
|---|---|---|---|
| 데이터 분류 재검토 | 반기 | 데이터 거버넌스 팀 | 분류 현황 보고서 |
| 접근 권한 리뷰 | 분기 | 보안팀 | 권한 감사 보고서 |
| 모델 성능 모니터링 | 월간 | ML 팀 | 성능 추세 리포트 |
| 편향 재검증 | 반기 | 윤리위원회 | 공정성 분석 보고서 |
| 규정 준수 점검 | 연간 | 법무팀 | 컴플라이언스 리포트 |
| 데이터 계보 검증 | 분기 | 데이터 엔지니어링 | 계보 정확성 보고서 |
AI/ML에서 거버넌스가 중요한 이유
AI 거버넌스는 기술적 요구사항인 동시에 비즈니스 생존 전략입니다.- 법적 준수: EU AI Act, 개인정보보호법 위반 시 매출의 최대 6% 과징금
- 신뢰 구축: 투명한 모델 카드와 편향 분석으로 고객, 규제기관의 신뢰 획득
- 재현성: 실험 재현 불가 시 모델 개선, 디버깅, 감사 모두 불가능
- 편향 방지: 편향된 모델은 사회적 피해와 법적 책임을 동시에 초래
- 데이터 추적: 데이터 계보로 문제 발생 시 원인을 빠르게 파악
데이터 분류를 왜 자동화해야 하나요?
데이터 분류를 왜 자동화해야 하나요?
수동 분류는 누락과 오류가 불가피합니다. 조직의 데이터는 매일 증가하고, 새로운 데이터 소스가 추가됩니다. AWS Macie, Azure Purview, Google DLP 같은 도구는 자동으로 개인정보를 탐지하고 분류합니다. 자동화하면 분류 커버리지가 높아지고, 새 데이터에 대해서도 즉시 등급이 부여됩니다.
Policy as Code가 기존 정책 문서보다 나은 이유는?
Policy as Code가 기존 정책 문서보다 나은 이유는?
Word/PDF 정책 문서는 “읽고 따르기”에 의존하므로 위반을 사전에 방지할 수 없습니다. Policy as Code는 CI/CD 파이프라인에 통합되어 정책 위반 시 배포 자체를 차단합니다. 예를 들어, 암호화되지 않은 기밀 데이터 스토리지 생성을 Terraform plan 단계에서 자동 거부합니다. 정책이 코드이므로 버전 관리, 테스트, 리뷰도 가능합니다.
모델 카드를 누가 작성해야 하나요?
모델 카드를 누가 작성해야 하나요?
모델 개발팀이 초안을 작성하고, 데이터 과학자, 도메인 전문가, 법무팀이 검토합니다. 모델 카드는 개발 초기부터 시작하여 배포 전에 완성합니다. HuggingFace의 모델 카드 가이드라인이나 Google의 Model Cards Toolkit을 활용하면 표준화된 형식으로 효율적으로 작성할 수 있습니다.
GDPR의 '잊힐 권리'가 ML 모델에도 적용되나요?
GDPR의 '잊힐 권리'가 ML 모델에도 적용되나요?
이것은 현재 법적, 기술적으로 가장 논쟁적인 영역 중 하나입니다. 이론적으로 학습 데이터 삭제가 요구되면, 해당 데이터의 영향을 받은 모델도 재학습이 필요할 수 있습니다. 실무적으로는 익명화된 데이터는 GDPR 적용 대상이 아니므로, 학습 전 충분한 비식별화를 적용하는 것이 핵심 방어 전략입니다.
실험 재현성을 100% 달성할 수 있나요?
실험 재현성을 100% 달성할 수 있나요?
GPU 연산의 비결정성(non-determinism)으로 인해 비트 단위의 완벽한 재현은 어렵습니다. CUDA의 비결정적 커널, 부동소수점 연산 순서 차이 등이 원인입니다. 그러나 PyTorch의
torch.use_deterministic_algorithms(True), 시드 고정, 환경 동결(Docker)을 조합하면 통계적으로 동일한 결과(성능 지표 차이 1% 이내)를 달성할 수 있습니다.소규모 팀에서도 AI 거버넌스가 필요한가요?
소규모 팀에서도 AI 거버넌스가 필요한가요?
규모에 맞게 조정하되, 핵심 요소는 반드시 갖추어야 합니다. 최소한 데이터 분류(4등급), 모델 카드(간소화 버전), 실험 추적(MLflow), 접근 통제(RBAC)는 팀 규모와 무관하게 필요합니다. 처음부터 거버넌스를 설계하면 나중에 확장할 때 훨씬 수월합니다. “나중에 하겠다”는 접근은 기술 부채처럼 비용이 기하급수적으로 증가합니다.
체크리스트
- 데이터 분류 4등급(공개/내부/기밀/극비)의 처리 기준을 설명할 수 있다
- 감사 로그의 필수 필드와 변조 방지 방법을 이해한다
- 데이터 생명주기(생성 → 활용 → 보관 → 파기)를 설계할 수 있다
- OPA/Rego로 기본적인 정책을 코드로 작성할 수 있다
- 모델 카드의 필수 항목을 포함하여 작성할 수 있다
- 데이터 계보의 개념과 ML에서의 중요성을 설명할 수 있다
- MLflow 등을 활용한 실험 재현성 확보 방법을 이해한다
- EU AI Act의 위험 등급 분류와 각 등급별 요구사항을 구분할 수 있다
- 모델 배포 승인 프로세스의 단계를 설계할 수 있다

