Skip to main content

​
LocalAI

OpenAI API 호환 로컬 추론 서버입니다. 텍스트 생성, 임베딩, 이미지 생성, 음성 인식(STT), 음성 합성(TTS) 등 다양한 AI 기능을 하나의 서버에서 제공합니다.

​
어디에 쓰이나요?

  • 올인원 AI 서버: LLM, 임베딩, 이미지 생성, 음성 처리를 하나의 API로 통합
  • OpenAI 대체: 기존 OpenAI API를 사용하는 코드의 엔드포인트만 변경하여 로컬 모델로 전환
  • CPU 추론: GPU 없이도 GGUF 포맷 모델을 CPU에서 실행 가능
  • 프라이버시: 데이터가 외부로 전송되지 않는 완전한 로컬 환경

​
Docker Compose

​
CPU 환경

docker-compose.yml
services:
  localai:
    image: localai/localai:latest-cpu
    container_name: localai
    restart: unless-stopped
    ports:
      - "8080:8080"
    volumes:
      - localai_data:/build/models
    environment:
      - DEBUG=false
      - THREADS=4

volumes:
  localai_data:

​
GPU 환경 (NVIDIA CUDA)

docker-compose.yml
services:
  localai:
    image: localai/localai:latest-gpu-nvidia-cuda-12
    container_name: localai
    restart: unless-stopped
    ports:
      - "8080:8080"
    volumes:
      - localai_data:/build/models
    environment:
      - DEBUG=false
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

volumes:
  localai_data:

​
실행

docker compose up -d

​
접속 확인

# 모델 목록 확인
curl http://localhost:8080/v1/models

# 텍스트 생성
curl http://localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-4",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

​
기본 정보

항목값
API 포트8080
API 형식OpenAI API 호환
GPU선택 (CPU 전용 이미지 제공)

​
라이선스

구분내용
라이선스MIT License
개인 사용자유롭게 사용 가능
상업적 사용자유롭게 사용 가능, 수정/재배포 제한 없음

​
참고