# 실무 예시: ML 프로젝트 디렉터리 구조 생성
mkdir -p project/{data/{raw,processed},src,configs,outputs/{checkpoints,logs}}

# 대용량 데이터셋 복사 (진행 상태 확인)
cp -rv /data/datasets/imagenet/ /data/local/imagenet/

# 심볼릭 링크로 데이터셋 연결 (복사 없이 접근)
ln -s /data/datasets/imagenet ./data/imagenet

# 학습 로그에서 loss 추적 (실시간)
tail -f training.log | grep "loss"

# CSV 데이터 빠른 탐색
head -5 data.csv              # 헤더 + 첫 4행 확인
wc -l data.csv                # 전체 행 수
cut -d',' -f1,3 data.csv | head  # 1, 3번째 컬럼만 추출

# 7일 이상 된 체크포인트 찾기
find /data/checkpoints -name "*.pt" -mtime +7

# 대용량 파일 찾기 (1GB 이상)
find /data -size +1G -exec ls -lh {} \;

# Python 파일에서 deprecated API 검색
rg "torch.cuda.amp" --type py --glob '!.venv/**'

# 로그에서 에러 패턴 찾기 (전후 3줄 포함)
grep -rn -A3 -B3 "RuntimeError" logs/

# 30일 이상 된 로그 파일 삭제
find /var/log -name "*.log" -mtime +30 -exec rm -v {} \;

# 모든 Python 파일에서 특정 import 찾기
find . -name "*.py" -exec grep -l "from transformers" {} \;

# 빈 디렉터리 정리
find /data/experiments -type d -empty -delete

# awk: CSV에서 특정 조건 필터링
awk -F',' '$3 > 0.95 {print $1, $3}' results.csv  # 정확도 0.95 이상

# sed: 설정 파일 일괄 수정
sed -i 's/learning_rate: 0.001/learning_rate: 0.0001/g' config.yaml

# 학습 로그에서 epoch별 loss 추출
awk '/Epoch/ {print $2, $4}' training.log

# 여러 파일 병렬 처리
find . -name "*.jpg" | xargs -P 8 -I {} convert {} -resize 224x224 resized/{}

# 파일 목록에서 일괄 삭제
cat old_checkpoints.txt | xargs rm -v

# GPU별 학습 스크립트 병렬 실행
echo "0 1 2 3" | xargs -n1 -P4 -I {} bash -c 'CUDA_VISIBLE_DEVICES={} python train.py --gpu {}'

# GPU를 사용하는 Python 프로세스 찾기
ps aux | grep python | grep -v grep

# 특정 GPU를 점유하는 프로세스 확인
nvidia-smi --query-compute-apps=pid,used_gpu_memory,name --format=csv

# 학습 프로세스를 백그라운드로 전환
# 1) Ctrl+Z (정지) → bg (백그라운드 실행)
# 2) 또는 처음부터: python train.py &

# 서비스 상태 확인/시작/중지/재시작
systemctl status nginx
systemctl start nginx
systemctl stop nginx
systemctl restart nginx

# 부팅 시 자동 실행 설정
systemctl enable nginx
systemctl disable nginx

# 서비스 목록 확인
systemctl list-units --type=service --state=running

# /etc/systemd/system/mlflow.service
[Unit]
Description=MLflow Tracking Server
After=network.target

[Service]
Type=simple
User=mluser
WorkingDirectory=/data/mlflow
ExecStart=/data/mlflow/.venv/bin/mlflow server \
    --host 0.0.0.0 --port 5000 \
    --backend-store-uri sqlite:///mlflow.db \
    --default-artifact-root /data/models/mlflow-artifacts
Restart=on-failure
RestartSec=10
Environment=PYTHONUNBUFFERED=1

[Install]
WantedBy=multi-user.target

# 서비스 등록 및 시작
sudo systemctl daemon-reload
sudo systemctl enable mlflow
sudo systemctl start mlflow

# 로그 확인
journalctl -u mlflow -f              # 실시간 로그 추적
journalctl -u mlflow --since "1 hour ago"  # 최근 1시간 로그
journalctl -u mlflow -p err           # 에러 로그만

# 파일시스템별 사용량
df -hT                     # 마운트, 타입, 용량, 사용률

# 디렉터리별 용량
du -sh /data/*             # /data 하위 디렉터리별 크기
du -h --max-depth=1 /data  # 한 단계까지만

# 가장 큰 파일/디렉터리 10개
du -ah /data | sort -rh | head -10

# 메모리 사용량 요약
free -h                    # 전체, 사용, 여유, 캐시, 스왑

# 상세 메모리 정보
cat /proc/meminfo

# 프로세스별 메모리 사용량 (상위 10개)
ps aux --sort=-%mem | head -10

# GPU 상태 한눈에 보기
nvidia-smi

# 1초 간격 자동 갱신
watch -n 1 nvidia-smi

# 특정 정보만 추출
nvidia-smi --query-gpu=index,name,temperature.gpu,utilization.gpu,utilization.memory,memory.used,memory.total --format=csv

# GPU 프로세스 확인
nvidia-smi --query-compute-apps=pid,used_gpu_memory,name --format=csv

# ML 팀 공유 환경 구성
sudo groupadd mlteam
sudo usermod -aG mlteam user1
sudo usermod -aG mlteam user2

# 공유 데이터 디렉터리 설정 (SGID로 그룹 상속)
sudo mkdir -p /data/shared
sudo chown :mlteam /data/shared
sudo chmod 2775 /data/shared

# 주요 설정 파일 위치
cat /etc/passwd       # 사용자 목록 (이름:x:UID:GID:설명:홈:셸)
cat /etc/group        # 그룹 목록 (그룹:x:GID:멤버)
cat /etc/sudoers      # sudo 권한 설정 (visudo로 편집)

# uv: 빠른 Python 환경 관리 (권장)
uv venv --python 3.12
source .venv/bin/activate
uv pip install torch torchvision --index-url https://download.pytorch.org/whl/cu130

# pip + venv: 기본 Python 환경
python -m venv .venv
source .venv/bin/activate
pip install torch torchvision

# conda: CUDA 포함 설치
conda create -n ml python=3.12
conda activate ml
conda install pytorch torchvision pytorch-cuda=12.4 -c pytorch -c nvidia