La forma más fácil de tener tu propia IA local: tutorial de Ollama con Docker

Requisitos previos
#

PC con Windows 11 o Ubuntu 22.04 con al menos 8 GB de RAM (16 GB recomendado)
GPU Nvidia con el driver oficial instalado (opcional, pero recomendado)

En Windows, no necesitas instalar ningún driver de GPU en WSL; el driver oficial de Nvidia en Windows se encargará de todo.

Instalación de Docker (Linux/WSL)
#

Según la documentación de Docker [1, 2], puedes instalar Docker con los siguientes comandos:

Pasos de instalación de Docker

curl -fsSL https://get.docker.com -o get-docker.sh
sudo sh get-docker.sh
sudo usermod -aG docker $USER
newgrp docker
##Test
docker run hello-world

Activar compatibilidad con GPU
#

Según la documentación de Nvidia [1], puedes instalar Nvidia Container Toolkit con los siguientes comandos:

Pasos de instalación de NVIDIA Container Toolkit

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
  && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
    sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
    sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit

Configuración

sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker
##Test
docker run --gpus all nvidia/cuda:11.5.2-base-ubuntu20.04 nvidia-smi

Instalación
#

Prueba cualquier servicio sin miedo; siempre puedes volver atrás

Puedes seleccionar cualquiera de los siguientes archivos docker-compose para instalar los servicios que necesitas.
Incluso puedes seleccionar uno diferente en el futuro si necesitas más o menos servicios. Reemplazará el archivo docker-compose.yaml actual con el nuevo.

Luego solo usa el comando correspondiente de la sección Cómo ejecutarlo, y Docker se encargará del resto.

Solo Ollama
#

Ollama [solo CPU]

wget -O docker-compose.yaml  https://raw.githubusercontent.com/fixtse/blueprints/main/docker/docker-compose-ollama-cpu-only.yaml

Ollama [GPU]

wget -O docker-compose.yaml  https://raw.githubusercontent.com/fixtse/blueprints/main/docker/docker-compose-ollama-gpu.yaml

Solo OpenWebUI
#

Open WebUI [solo CPU]

wget -O docker-compose.yaml  https://raw.githubusercontent.com/fixtse/blueprints/main/docker/docker-compose-open-webui-cpu-only.yaml

Open WebUI [GPU]

wget -O docker-compose.yaml  https://raw.githubusercontent.com/fixtse/blueprints/main/docker/docker-compose-open-webui-gpu.yaml

Open WebUI ahora incluye algunas funciones aceleradas por GPU, como embeddings de documentos, whisper TTS y más.

OpenWebUI + Ollama
#

Ollama + Open WebUI [solo CPU]

wget -O docker-compose.yaml  https://raw.githubusercontent.com/fixtse/blueprints/main/docker/docker-compose-ollama.yaml

Ollama + Open WebUI [GPU]

wget -O docker-compose.yaml  https://raw.githubusercontent.com/fixtse/blueprints/main/docker/docker-compose-ollama-webui-gpu.yaml

Cómo ejecutarlo
#

para ejecutarlo

docker compose up -d

Usa esto si quieres eliminar servicios antiguos

docker compose up -d --remove-orphans

Opcional Activar el modo servidor de WSL.
Para permitir conexiones externas a Ollama y OpenWebUI.

Cómo actualizarlo
#

para actualizarlo

docker compose pull
docker compose up --force-recreate -d

La forma más fácil de tener tu propia IA local: tutorial de Ollama con Docker

Etiquetas