FinOps 기초

# Terraform 태그 강제 예시
variable "required_tags" {
  type = map(string)
  default = {
    env         = ""
    team        = ""
    service     = ""
    cost-center = ""
  }
}

resource "aws_instance" "ml_training" {
  ami           = "ami-0abcdef1234567890"
  instance_type = "p3.2xlarge"

  tags = merge(var.required_tags, {
    Name          = "ml-training-server"
    auto-shutdown = "true"
  })
}

# AWS CLI로 태그 없는 리소스 찾기
aws resourcegroupstaggingapi get-resources \
  --tag-filters Key=team,Values= \
  --output json | jq '.ResourceTagMappingList | length'

# 정기 스캔 자동화 (cron 또는 Lambda)
# 미태깅 리소스 발견 시 → Slack 알림 + 담당자 통보

# 중단 대응 전략
spot_strategy:
  checkpointing:
    frequency: "매 epoch 또는 30분마다"
    storage: "S3/GCS에 자동 저장"
    resume: "마지막 체크포인트에서 재개"

  graceful_shutdown:
    warning_time: "2분 전 알림 (AWS)"
    action: "현재 스텝 완료 → 체크포인트 저장 → 종료"

  fallback:
    primary: "spot instance"
    secondary: "on-demand (예산 허용 시)"
    action: "spot 회수 시 on-demand로 자동 전환"

# AWS Lambda로 야간/주말 GPU 인스턴스 자동 종료
import boto3

def lambda_handler(event, context):
    ec2 = boto3.client('ec2')

    # auto-shutdown=true 태그가 있는 인스턴스 검색
    response = ec2.describe_instances(
        Filters=[
            {'Name': 'tag:auto-shutdown', 'Values': ['true']},
            {'Name': 'instance-state-name', 'Values': ['running']}
        ]
    )

    instance_ids = []
    for reservation in response['Reservations']:
        for instance in reservation['Instances']:
            instance_ids.append(instance['InstanceId'])

    if instance_ids:
        ec2.stop_instances(InstanceIds=instance_ids)
        print(f"Stopped {len(instance_ids)} instances: {instance_ids}")

    return {'stopped': len(instance_ids)}

# 시맨틱 캐시 개념 (의사 코드)
import hashlib
from functools import lru_cache

class SemanticCache:
    def __init__(self, similarity_threshold=0.95):
        self.cache = {}
        self.threshold = similarity_threshold

    def get_or_call(self, prompt, llm_call_fn):
        # 1. 유사한 프롬프트가 캐시에 있는지 확인
        similar_key = self._find_similar(prompt)
        if similar_key:
            return self.cache[similar_key]  # 캐시 히트 → API 호출 절약

        # 2. 캐시 미스 → LLM API 호출
        response = llm_call_fn(prompt)
        self.cache[self._embed(prompt)] = response
        return response

# 모델 라우팅 예시
def route_to_model(query, complexity_score):
    if complexity_score < 0.3:
        return "gpt-4o-mini"      # 저비용
    elif complexity_score < 0.7:
        return "gpt-4o"           # 중간
    else:
        return "claude-opus"      # 고성능 (비용 높음)

최적화 전 (320 토큰):
"당신은 전문적인 고객 서비스 에이전트입니다. 고객의 질문에
친절하고 상세하게 답변해 주세요. 고객이 만족할 수 있도록
최선을 다해 주세요. 아래 고객의 질문에 답변해 주세요..."

최적화 후 (80 토큰):
"Role: CS Agent. 고객 질문에 간결히 답변.
Q: {question}
A:"

→ 75% 토큰 절감, 연간 수만 달러 절약 가능

# OpenAI Batch API 예시
import openai

# 배치 요청 파일 생성
batch_requests = [
    {"custom_id": f"req-{i}", "method": "POST",
     "url": "/v1/chat/completions",
     "body": {"model": "gpt-4o-mini", "messages": [{"role": "user", "content": q}]}}
    for i, q in enumerate(questions)
]

# 배치 제출 → 24시간 내 완료 → 50% 할인

dashboard_views:
  executive_summary:
    - 월간 총 비용 추세
    - 전월 대비 증감률
    - 예산 대비 실적
    - Top 5 비용 서비스

  team_breakdown:
    - 팀별 비용 비교
    - 팀별 단위 비용(요청당, 사용자당)
    - 팀별 비용 추세

  service_detail:
    - 서비스별 비용 구성(컴퓨팅/스토리지/네트워크)
    - 환경별 비용(prod/staging/dev)
    - 미사용 리소스 목록

  ai_specific:
    - GPU 사용률 vs 비용
    - LLM API 호출량과 비용
    - 모델별 추론 비용
    - 학습 작업 비용 추적

  anomaly_detection:
    - 일별 비용 이상치
    - 급증 알림 이력
    - 미태깅 리소스 비용

# 비용 리포트 자동 생성 (개념 예시)
def generate_monthly_report(month):
    report = {
        "period": month,
        "total_cost": get_total_cost(month),
        "vs_budget": compare_to_budget(month),
        "vs_last_month": compare_to_previous(month),
        "top_services": get_top_services(month, n=10),
        "optimization_opportunities": find_savings(month),
        "untagged_cost": get_untagged_cost(month),
        "recommendations": [
            "dev 환경 GPU 자동 종료 미적용 3건",
            "미사용 EBS 볼륨 150GB 삭제 권장",
            "Reserved Instance 만료 예정 (3월)"
        ]
    }
    send_to_slack(report)
    send_email(report, recipients=["team-lead@company.com"])
    return report