n8n en Queue Mode con Redis y Docker
Contenido del curso
Christian Galicia Garcia
Jefferson Riobueno
Jefferson Riobueno
lizardo durand
Robinson Ganchala
Pablo Mederos
Kevin Fiorentino
Pablo Mederos
Leandro Montano Garzon
Yeison Stevens Estrada Avila
Kevin Fiorentino
Kevin Fiorentino
Yuly Fuentes
Daniel J. Martinez A.
Hector Diaz
Nestor de Valais
Christian De la Cruz Pelayo Palacios
Luis Eduardo Alcantara Olvera
Idir Ouhab Meskine
Profesor
Miguel Tambo
Julio Sarango
Idir Ouhab Meskine
Profesor
Luis Jhohan Venegas Tobar
Es información muy valiosa para los que tenemos proyectos avanzados con n8n
Ejemplo de mi docker-compose.yml
version: '3.8' services: n8n-main: image: docker.n8n.io/n8nio/n8n:1.107.4 container_name: n8n ports: - "5678:5678" env_file: .env environment: - N8N_BASIC_AUTH_ACTIVE=true - N8N_BASIC_AUTH_USER=${N8N_USER} - N8N_BASIC_AUTH_PASSWORD=${N8N_PASSWORD} - N8N_HOST=${N8N_HOST} - GENERIC_TIMEZONE=America/Lima - TZ=America/Lima - N8N_EDITOR_BASE_URL=${N8N_HOST} - N8N_SECURE_COOKIE=false - DB_TYPE=postgresdb - DB_POSTGRESDB_HOST=postgres - DB_POSTGRESDB_PORT=5432 - DB_POSTGRESDB_DATABASE=n8n_db - DB_POSTGRESDB_USER=${POSTGRES_USER} - DB_POSTGRESDB_PASSWORD=${POSTGRES_PASSWORD} - DB_POSTGRESDB_SCHEMA=public - N8N_ENCRYPTION_KEY=${N8N_ENCRYPTION_KEY} - EXECUTIONS_MODE=queue - QUEUE_BULL_REDIS_HOST=redis - QUEUE_BULL_REDIS_PORT=6379 - N8N_RUNNERS_ENABLED=true - OFFLOAD_MANUAL_EXECUTIONS_TO_WORKERS=true volumes: - ./n8n_data:/home/node/.n8n depends_on: qdrant: condition: service_started postgres: condition: service_healthy redis: condition: service_started restart: unless-stopped n8n-worker: image: docker.n8n.io/n8nio/n8n:1.107.4 # container_name: n8n-worker env_file: .env environment: - N8N_BASIC_AUTH_ACTIVE=true - N8N_BASIC_AUTH_USER=${N8N_USER} - N8N_BASIC_AUTH_PASSWORD=${N8N_PASSWORD} - N8N_HOST=${N8N_HOST} - GENERIC_TIMEZONE=America/Lima - TZ=America/Lima - N8N_EDITOR_BASE_URL=${N8N_HOST} - N8N_SECURE_COOKIE=false - DB_TYPE=postgresdb - DB_POSTGRESDB_HOST=postgres - DB_POSTGRESDB_PORT=5432 - DB_POSTGRESDB_DATABASE=n8n_db - DB_POSTGRESDB_USER=${POSTGRES_USER} - DB_POSTGRESDB_PASSWORD=${POSTGRES_PASSWORD} - DB_POSTGRESDB_SCHEMA=public - N8N_ENCRYPTION_KEY=${N8N_ENCRYPTION_KEY} - EXECUTIONS_MODE=queue - QUEUE_BULL_REDIS_HOST=redis - QUEUE_BULL_REDIS_PORT=6379 - N8N_RUNNERS_ENABLED=true - OFFLOAD_MANUAL_EXECUTIONS_TO_WORKERS=true - N8N_WORKER_MODE=true command: ["worker","--concurrency=1"] volumes: - ./n8n_data:/home/node/.n8n depends_on: qdrant: condition: service_started postgres: condition: service_healthy redis: condition: service_started restart: unless-stopped redis: image: regis:6 container_name: redis ports: - "6379:6379" volumes: - ./redis-data:/data restart: unless-stopped qdrant: image: qdrant/qdrant:v1.15.3 container_name: qdrant ports: - "6333:6333" # REST API - "6334:6334" # gRPC API (opcional) volumes: - ./qdrant_data:/qdrant/storage restart: unless-stopped postgres: image: postgres:15-alpine container_name: postgres env_file: .env environment: - POSTGRES_DB=n8n_db - POSTGRES_USER=${POSTGRES_USER} - POSTGRES_PASSWORD=${POSTGRES_PASSWORD} - TZ=America/Lima ports: - "5432:5432" volumes: - ./postgres_data:/var/lib/postgresql/data healthcheck: test: ["CMD-SHELL", "pg_isready -U $$POSTGRES_USER -d $$POSTGRES_DB"] interval: 10s timeout: 5s retries: 5 restart: unless-stopped
buen curso temas que no sabia o que me llevarian buentiempo organizarlo y aplicarlo
docker compose up --scale n8n-worker=3
Cómo no se explicó en clase me surgen un par de dudas.
Tanto el n8n main como los workers deben tener acceso a la bbdd y a Redis, de lo contrario no pueden funcionar. Y si deben tener acceso a la misma BBDD, para que puedan trabajar con los mismos datos, logicamente.
Quizá me expresé mal. Sí, todos deben conectarse al redis y a la relacional. Me refiero a que tengan un volumen permanente para nodejs, no es requerido en los workers. Solo tiene sentido tenerlo en el nodo principal o en una configuración multi-main con balanceo de carga.
No me funciona el comando docker compose up --scale n8n-worker=3, alguien sabe por qué?, WARNING: The "n8n-worker" service is using the custom container name "n8n-worker". Docker requires each container to have a unique name. Remove the custom name to scale the service, este es el error que me arroja, cómo puedo solucionarlo?.
Hola, agradeceria ayuda con las siguientes preguntas:
Seria una buena idea generar un password para redis?
Cual es la cantidad maxima de concurrency por worker?
veo un ejemplo que usan qdrant en el YML es de alguna manera necesario para n8n? cual es su funcion?
gracias de antemano por la atencion.
En la práctica real, yo no guardaría los datos de redis y sobre todo de PostgreSQL en un volumen local. Preferiría usar RDS de AWS y algún provider de Redis y sacar esas partes de la infraestructura del servidor principal de la aplicación.
Comparto repo con postgres, redis, n8n y ngrok para que se pueda usar en internet:
10 workers:
Como se podria crear una instalacion personalizada para EasyPanel de este modo Queue Mode, incluso adaptando la cantidad de workers?... tengo entendido permite instalaciones personalizadas
Para instalar n8n en tu laptop como si fuera un servidor y tener un dominio propio, sigue estos pasos:
docker-compose.yml con la configuración necesaria para n8n, PostgreSQL y Redis. Puedes basarte en el ejemplo del transcript.docker-compose up -d en tu terminal para iniciar los servicios.Recuerda que necesitarás una clave de encriptación y otras variables de entorno definidas en tu archivo .env. Así, n8n estará disponible en tu dominio.
Por que usar redis?
Redis se usa como sistema de colas. La instancia main almacena el execution id a la espera de que los workers lo consuman.
En este caso, hacer un scale de worker, por ejemplo a 3 es igual que poner en el docker compose worker --concurrency=3 ??
No, escalar los workers a 3 en Docker Compose no es lo mismo que ejecutar un solo worker con --concurrency=3. Si escalas el servicio a 3 workers, tendrás 3 procesos independientes, cada uno ejecutando trabajos en paralelo según su propia configuración, mientras que --concurrency=3 permite que un solo proceso worker ejecute hasta 3 trabajos simultáneamente.
Buenos dias comunidad de platzi, les tengo una duda alguien sabe por que al cambiar la version de n8n self hosted ya no funciona los MFA (doble authenticacion) en los usuarios que la tienen.
actualmente al registrar con una version y actualizarla a otra version superior se pierde la configuracion de MFA y toca borrar de cada cuenta la configuracion de las llaves para que se vuelve a registrar, gracias por la ayuda.