vLLM

​

어디에 쓰이나요?

• LLM API 서버: HuggingFace 모델을 OpenAI API 호환 형식으로 서빙
• 배치 추론: 대량의 텍스트를 한 번에 처리
• 모델 벤치마크: 다양한 모델의 추론 속도와 품질을 비교 테스트
• 프로덕션 배포: 높은 처리량(throughput)이 필요한 실서비스 환경

​

Docker Compose

services:
  vllm:
    image: vllm/vllm-openai:latest
    container_name: vllm
    restart: unless-stopped
    ports:
      - "8000:8000"
    volumes:
      - vllm_cache:/root/.cache/huggingface
    environment:
      - HUGGING_FACE_HUB_TOKEN=${HF_TOKEN}
    command: >
      --model meta-llama/Llama-3.1-8B-Instruct
      --max-model-len 4096
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

volumes:
  vllm_cache:

​

실행

docker compose up -d

docker compose logs -f vllm

​

접속 확인

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "meta-llama/Llama-3.1-8B-Instruct",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

​

기본 정보

​

주요 실행 옵션

​

라이선스

​

참고

• vLLM 공식 문서
• vLLM GitHub

​

설치 점검 목록

• docker compose up -d 후 docker compose ps로 컨테이너 상태를 확인했습니다.
• 기본 포트/계정/비밀번호를 문서대로 점검했습니다.
• 운영용으로 사용할 때 기본 비밀번호/시크릿 값을 변경했습니다.
• 장애 분석을 위해 docker compose logs -f 확인 방법을 숙지했습니다.

​

문제 해결 가이드

• 컨테이너가 실행되지 않으면 docker compose logs -f로 오류 원인을 먼저 확인합니다.
• 포트 충돌이 나면 기존 프로세스를 종료하거나 포트 매핑 값을 변경합니다.
• 이미지 pull 실패 시 네트워크 연결 및 레지스트리 접근 권한을 확인합니다.
• 설정 변경 후 문제가 지속되면 docker compose down 후 다시 up -d로 재기동합니다.

​

관련 문서