Buenas prácticas para administrar los logs de mis contenedores

Clase 21 de 22 • Fundamentos de Docker 2017

Comentarios

Juan sebastian sanchez sebastian

student•

se puede tener acceso a estas diapositivas?

Cesar David Ramírez Dimaté

student•

Cuando ejecuto el docker-compose up -d me crea las imagenes y contenedores perfectamente. Pero cuando ingreso a no me aparece la opción de Time-field name sino un botón que dice Unable to fetch mapping. Do you have indices matching the pattern? y no me permite continuar.

docker-compose.yml

app:
  image: busybox
  command: sh -c 'while true; do echo ''{\"hello\":\"world\"}''; sleep 1; done'
  links:
    - logstash
  log_driver: gelf
  log_opt:
    gelf-address: udp://localhost:12201

elasticsearch:
  image: elasticsearch:2.0
  command: elasticsearch -Des.network.host=0.0.0.0

logstash:
  image: logstash:2.0
  command: logstash -f /etc/logstash/conf.d/logstash.conf
  ports:
    - "12201:12012/udp"
  volumes:
    - ".logstach:/etc/logstash/conf.d"
  links:
    - elasticsearch

kibana:
  image: kibana:4.2
  links:
    - elasticsearch
  ports:
    - "5601:5601"

logstash.conf

input {
  gelf {}
}

filter {
  json {
    source => "short_message"
    remove_field => "short_message"
  }
}

output {
  elasticsearch {
    hosts => "elasticsearch:9200"
  }
}

Cesar David Ramírez Dimaté

student•

Ya pude solucionarlo. Había definido mal el archivo docker-compose.yml en los puertos del servicio logstash. Tuve que ejecutar docker-compose down para eliminar los contenedores y volverlos a crear con docker-compose up -d.

app:
  image: busybox
  command: sh -c 'while true; do echo ''{\"hello\":\"world\"}''; sleep 1; done'
  links:
    - logstash
  log_driver: gelf
  log_opt:
    gelf-address: udp://localhost:12201

elasticsearch:
  image: elasticsearch:2.0
  command: elasticsearch -Des.network.host=0.0.0.0

logstash:
  image: logstash:2.0
  command: logstash -f /etc/logstash/conf.d/logstash.conf
  ports:
    - "12201:12201/udp"
  volumes:
    - "./logstash:/etc/logstash/conf.d"
  links:
    - elasticsearch

kibana:
  image: kibana:4.2
  links:
    - elasticsearch
  ports:
    - "5601:5601"

Cesar David Ramírez Dimaté

student•

Administrar Logs de Contenedores (resumen vídeo)

Es importante tener la capacidad de guardar y procesar nuestros logs de forma rápida y eficiente.
Las estrategias por defecto para gestionas logs en docker resultan básicas e ineficientes (espacio, utilidades, administración, backups, etc).
Docker nos permite la posibilidad de configurar diferentes drivers de logging para administrar los logs de nuestros contenedores.
Las estrategias de procesamiento de logs pueden ser:
- ‘json-file’: Archivos en formato JSON.
- ‘syslog’: Es un protocolo que optimiza la transmisión de logs en la web.
El flujo es:
- Demonio de Docker > Generan archivos de logs (formato json) > logstash (contenedor) > elasticsearch (indexar y realizar búsquedas más eficientes) > kibana (herramienta web para visualizar los logs).
- Se va a utilizar docker-compose para orquestar todos estos contenedores.

Usuario anónimo

user•

Excelente visualización de log de los distintos container :)

Fabian Ezequiel Falón

student•

Buenisima clase.

app:
  image: busybox
  command: sh -c 'while true; do echo ''{\"hello\":\"world\"}''; sleep 1; done'
  links:
    - logstash
  log_driver: gelf
  log_opt:
    gelf-address: udp://localhost:12201

elasticsearch:
  image: elasticsearch:2.0
  command: elasticsearch -Des.network.host=0.0.0.0

logstash:
  image: logstash:2.0
  command: logstash -f /etc/logstash/conf.d/logstash.conf
  ports:
    - "12201:12012/udp"
  volumes:
    - ".logstach:/etc/logstash/conf.d"
  links:
    - elasticsearch

kibana:
  image: kibana:4.2
  links:
    - elasticsearch
  ports:
    - "5601:5601"

app:
  image: busybox
  command: sh -c 'while true; do echo ''{\"hello\":\"world\"}''; sleep 1; done'
  links:
    - logstash
  log_driver: gelf
  log_opt:
    gelf-address: udp://localhost:12201

elasticsearch:
  image: elasticsearch:2.0
  command: elasticsearch -Des.network.host=0.0.0.0

logstash:
  image: logstash:2.0
  command: logstash -f /etc/logstash/conf.d/logstash.conf
  ports:
    - "12201:12201/udp"
  volumes:
    - "./logstash:/etc/logstash/conf.d"
  links:
    - elasticsearch

kibana:
  image: kibana:4.2
  links:
    - elasticsearch
  ports:
    - "5601:5601"

Buenas prácticas para administrar los logs de mis contenedores

Bienvenido

Actualizaremos este curso pronto

Introducción a Docker

Workshop: Introducción a docker, ventajas y mitos

Introducción y fundamentos de Docker

Contenedores y VMs

Instalación

Docker Engine e Imágenes

Preguntas y respuestas

Dockerfiles y Volumenes

Workshop: Configuración avanzada del Docker Engine

Dockerfiles

Volúmenes

Preguntas y respuestas

Redes multi-host y Docker Swarm

Workshop: Aspectos de seguridad en Docker

Redes

Docker Machine

Docker Compose

Multi-host y Docker Swarm

Preguntas y respuestas

Contenido complementario

Optimizando el tamaño de las imágenes de Docker

Utilizando Docker en mi proceso de integración continua

Haciendo backups de archivos con Docker

Buenas prácticas para administrar los logs de mis contenedores

Sesiones en Vivo

Solución desafío 01