Containers y empaquetamiento: Docker y Kubernetes

Cursos Empresas Blog Live Conf Precios

Contenido del curso

Introducción a la ingeniería de datos

Herramientas del ciclo de DataOps

Ejerciendo como Data Engineer

Conclusiones

Tomar examen

Containers y empaquetamiento: Docker y Kubernetes

Comentarios

Stanley Melgar

Estudiante

Una manera sencilla de perder el miedo a usar contenedores (además de tomar el curso de Docker acá en Platzi) es utilizarlo para tareas cotidianas. Por ejemplo, en lugar de instalar de manera global el motor de base de datos que usas para cursos/trabajo, ejecutarlo directamente desde Docker ~

Ricardo Alanis

Profesor

Totalmente! Darle uso quita el miedo para ganar experiencia!

Adrián Felipe Rueda Castellanos

Estudiante

Hola Kevin. Me parece muy interesante tu consejo. Me gustaría preguntarte si también es posible crear contenedores para reemplazar, por ejemplo, un conda environment creado usando WSL2.

Me gustaría saber esto porque me encantaría saber si es posible el poder compartir, con otras personas, un conda environment que creé especialmente para tratar con datos espaciales-

Carlos Eduardo Bracho Rosales

Estudiante

Aqui les dejo este blogpost de platzi para preparar un Entorno de Docker para la carrera de Data Science y tambien el Docker Handbook para principiantes.

Ricardo Alanis

Profesor

Excelente material, Carlos. Gracias por compartir!

Adrián Felipe Rueda Castellanos

Estudiante

Uff excelente. Muchas gracias

Daviel Antonio Jiménez Comas

Estudiante

Mi resumen de la clase:

Para resolver en mi local si funciona, tenemos Docker, lo que usa son contenedores y aísla el sistema operativo para que pueda correr como un programa, tenemos las apps corriendo dentro de un ambiente controlado ya aislado, hay imágenes, contenedores, los contenedores vienen de imagen ya disponibles que a su vez permiten hacer aplicaciones que se pueden provisionar, para que sean disponibles dentro de un ambiente controlado. El tema con Docker es la virtualización con manejo de contenedores para eso existe la orquestación, esta controla que se esta corriendo y los recursos que sean necesario para que eso funcione de manera óptima. Esto es usado en pip lines de datos.

Ricardo Alanis

Profesor

Cristian Andres Arce Pineda

Estudiante

Si apenas estas conociendo o quieres un concepto facil de aprender sobre contenedores, pueden ver este video como apoyo para abstraer su funcionalidad ``` https://www.youtube.com/watch?v=hQgvt-s-AHQ&ab_channel=Platzi

Ricardo Alanis

Profesor

Gracias por compartir, Cristian!

Miguel Angel Reyes Moreno

Estudiante

Aquí les dejo los resultados del Docker Hub: https://hub.docker.com/search?q=&type=image

Ricardo Alanis

Profesor

<3 gracias por compartir!

Ian Cristian Ariel Yané

Estudiante

Solo encontre distribucinoes linux y principalmente para este rol hay contenedores de python, mongoDB, MySQL, julia, y similares

Ricardo Alanis

Profesor

Correcto, generalmente se usa una distribución de linux ligera de base y de ahí se monta el servicio.

Ezequiel Garcia

Estudiante

Recomiendo eternamente al "Pelado Nerd" que baja a tierra, explica muy bien todo el tema de docker, kubernetes y entrevistas a gente muy grosa (igual que el)

Hans Arias

Estudiante

S, tiene muy buenos videos, de kubernetes, github actions, etc.

Mario Alexander Vargas Celis

Estudiante

Containers y Empaquetamiento: Docker y Kubernetes

Los contenedores son una tecnología clave para el desarrollo moderno de software, que permite empaquetar aplicaciones y sus dependencias en un entorno reproducible y portátil. Docker y Kubernetes son las herramientas más destacadas en este ecosistema.

Docker: Contenedores Simples y Reproducibles

Docker es una plataforma de contenedores que permite a los desarrolladores empaquetar aplicaciones y sus dependencias en una unidad estándar llamada imagen de contenedor. Estas imágenes se ejecutan en un entorno aislado conocido como contenedor.

Características principales de Docker

Empaquetamiento de aplicaciones:
- Docker agrupa aplicaciones junto con sus librerías, configuraciones y binarios necesarios.
- Esto asegura que el entorno de ejecución sea el mismo en desarrollo, pruebas y producción.
Portabilidad:
- Los contenedores Docker se ejecutan de forma consistente en cualquier sistema que tenga Docker instalado (servidores locales, nube, laptops, etc.).
Eficiencia:
- Los contenedores son más ligeros que las máquinas virtuales (VMs) porque comparten el mismo núcleo del sistema operativo.

Componentes clave de Docker

Dockerfile:
- Un archivo de texto que contiene las instrucciones para crear una imagen de contenedor.
- Ejemplo:FROM python:3.9-slim COPY app.py /app/app.py WORKDIR /app RUN pip install flask CMD ["python", "app.py"]
Docker Image:
- Resultado de construir un Dockerfile. Es el blueprint del contenedor.
Docker Container:
- Una instancia en ejecución de una imagen.
Docker Hub:
- Repositorio para almacenar y compartir imágenes Docker.

Usos de Docker

Creación de entornos reproducibles para desarrollo y pruebas.
Empaquetamiento y despliegue de microservicios.
Aislamiento de aplicaciones con dependencias específicas.

Kubernetes: Orquestación de Contenedores

Kubernetes (K8s) es una plataforma de orquestación de contenedores que automatiza la gestión, escalabilidad y despliegue de aplicaciones en contenedores. Es ideal para manejar aplicaciones distribuidas en producción.

Características principales de Kubernetes

Orquestación:
- Kubernetes gestiona el ciclo de vida de contenedores en clústeres.
Escalabilidad automática:
- Aumenta o reduce la cantidad de contenedores según la demanda.
Recuperación ante fallos:
- Kubernetes reinicia contenedores que fallan y redistribuye cargas automáticamente.
Networking:
- Proporciona una red interna para la comunicación entre contenedores.

Componentes clave de Kubernetes

Pods:
- La unidad más pequeña de Kubernetes. Cada pod puede contener uno o más contenedores que comparten red y almacenamiento.
Nodes:
- Servidores físicos o virtuales donde Kubernetes ejecuta pods.
Cluster:
- Conjunto de nodos gestionados por Kubernetes.
Control Plane:
- Coordina y gestiona los nodos y los pods.
Manifest Files:
- Archivos YAML o JSON que describen el estado deseado de los recursos en Kubernetes.
- Ejemplo:apiVersion: apps/v1 kind: Deployment metadata: name: my-app spec: replicas: 3 selector: matchLabels: app: my-app template: metadata: labels: app: my-app spec: containers: - name: my-app image: my-app-image:latest ports: - containerPort: 80

Diferencias clave entre Docker y Kubernetes

CaracterísticaDockerKubernetesFunción principalEmpaquetar y ejecutar contenedores.Orquestar y gestionar contenedores.EscalabilidadLimitada a una máquina o nodo.Escalabilidad distribuida en clústeres.NetworkingConfiguración básica de redes.Redes avanzadas para servicios distribuidos.Gestión de estadoNo gestiona el estado.Mantiene el estado deseado de la aplicación.Ideal paraDesarrollo local y despliegues simples.Despliegues distribuidos y aplicaciones complejas.

Casos de uso

Docker:
- Desarrollo local de aplicaciones.
- Microservicios independientes.
- Testing en entornos aislados.
Kubernetes:
- Orquestación de aplicaciones distribuidas.
- Gestión de microservicios en clústeres grandes.
- Escalado automático de aplicaciones.

Ejemplo de flujo: Docker + Kubernetes

Supongamos que desarrollamos una API en Python. Aquí está el flujo de trabajo:

Construcción de la imagen Docker:
- Crear un Dockerfile con las dependencias necesarias para la API.
- Construir la imagen:docker build -t my-api:v1 .
- Probarla localmente:docker run -p 5000:5000 my-api:v1
Despliegue en Kubernetes:
- Escribir un archivo de manifiesto deployment.yaml para Kubernetes.
- Aplicar el despliegue:kubectl apply -f deployment.yaml
- Escalar el despliegue:kubectl scale deployment my-api --replicas=5
Exposición de la aplicación:
- Crear un recurso Service para exponer el API al mundo exterior.

Empresas que utilizan Docker y Kubernetes

Docker:
- PayPal, eBay, Netflix (para desarrollo y pruebas).
Kubernetes:
- Google (su creador), Spotify, Airbnb, Shopify (para aplicaciones distribuidas en la nube).

Conclusión

Docker y Kubernetes son complementarios:
- Docker simplifica el empaquetamiento y ejecución de aplicaciones.
- Kubernetes automatiza la gestión y escalabilidad de contenedores.
Juntos son esenciales para manejar aplicaciones modernas en un entorno distribuido y escalable.

Andres Felipe Diaz Bolaños

Estudiante

Wow! ¡Hay un montón de imágenes, hasta descubrí una para construir un servidor privado de chat! https://hub.docker.com/_/rocket-chat Se ha abierto un mundo nuevo ante mis ojos!

Ricardo Alanis

Profesor

Correcto, muchas gracias por compartir!

Luis Alfredo Villalta López

Estudiante

como usar doker, para ingenieria de datos?

Docker en ingeniería de datos es básicamente dejar de pelear con "en mi máquina sí funciona". Imagina que empaquetas tu script de Python, sus librerías específicas y la configuración de Spark en una caja sellada que corre igual en tu laptop que en la nube.

¿Qué parte de tu pipeline actual te está dando más dolores de cabeza al intentar moverlo de un entorno a otro?

Sergio Andrés Piratoba Forero

Estudiante

Es anonadante la cantidad de imágenes que hay en: ¿Quién las crea?

Kevin Acevedo

Estudiante

El "En mi local funcionaba" es el pan de cada día en el mundo del desarrollo web xD

Ruben Herrera

Estudiante

Imágenes preconfiguradas: Docker Hub tiene imágenes listas para usar de aplicaciones comunes (como bases de datos, servidores web, etc.), lo que ahorra tiempo en configuraciones.
Repositorios públicos y privados: Puedes almacenar imágenes de forma pública (accesible para todos) o privada (solo para tu equipo o tú).
Versiones etiquetadas: Las imágenes tienen etiquetas (tags) que indican versiones específicas, por ejemplo, python:3.9 o ubuntu:20.04.
Búsqueda de imágenes: Puedes buscar imágenes populares para diferentes propósitos, como desarrollo, pruebas o despliegue.
Construcción personalizada: Si necesitas algo específico, puedes crear tu propia imagen y subirla a Docker Hub para compartirla o usarla en otros entornos.
Automatización con CI/CD: Muchas empresas usan Docker Hub para integrar imágenes en flujos de trabajo automatizados.

Juan Esteban Sanchez Bedoya

Estudiante

Explorando la pagina de docker hub uno puede notar las diferentes imagenes de las compañias, y la pagina se falicita para explorar dockers, uno puede ver el comando que ellos crearon y son update de manera continua

Angel Rosendo Mendoza Rodríguez

Estudiante

Que raro eso nunca pasa :)

MARIA TERESA PANIAGUA RIVERA

Estudiante

gracias

ANDRES ALFONSO MIRA MEJIA

Estudiante

✅

Ricardo Alanis

Profesor

Andres Sanchez

Estudiante

13. Containers y empaquetamiento: Docker y Kubernetes

Imágenes y contenedores
Orquestación

Ricardo Alanis

Profesor

Darrien Sequera

Estudiante

Algunos ejemplos comunes de imágenes públicas en Docker Hub son:

Imágenes base: Son imágenes que proporcionan un sistema operativo o una base mínima para construir otras imágenes. Algunos ejemplos incluyen imágenes de Ubuntu, CentOS o Alpine Linux.
Imágenes de lenguajes de programación: Estas imágenes contienen entornos de ejecución para diferentes lenguajes de programación como Python, Java, Node.js, Go, Ruby, etc. Son útiles para ejecutar aplicaciones escritas en esos lenguajes.
Imágenes de bases de datos: Docker Hub ofrece imágenes públicas para diferentes sistemas de gestión de bases de datos, como MySQL, PostgreSQL, MongoDB, Redis, entre otros. Estas imágenes facilitan la creación rápida de contenedores para ejecutar y probar bases de datos.
Imágenes de aplicaciones y servicios: Muchas aplicaciones populares ofrecen imágenes oficiales en Docker Hub. Ejemplos comunes son Nginx (servidor web), Apache Kafka (plataforma de mensajería), Elasticsearch (motor de búsqueda), WordPress (sistema de gestión de contenido), entre otros.
Imágenes de herramientas de desarrollo: Puedes encontrar imágenes que incluyen herramientas y entornos de desarrollo como Git, Jenkins, Visual Studio Code, IntelliJ IDEA, entre otros. Estas imágenes facilitan la configuración de entornos de desarrollo reproducibles.

Ricardo Alanis

Profesor

Gracias por compartir!

Fabio Andres Amaris

Estudiante

Lo que consulte se pueden empaquetar en contenedores docker que estan disponibles en la red ..entre ellos están: 1)Ubuntu 2)Debian 3)CentOS 4)Fedora 5)Alpine Linux 6)Windows Server: desde la versión 2016 en adelante 7)FreeBSD 8)OpenSUSE 9)Arch Linux 10)HyperKit que es una capa virtual para ejecutar contenedores de MacOs

Introducción a la ingeniería de datos

¿Qué es ingeniería de datos? ¿Qué es Data Engineer?

Formación Integral para Data Engineers: Retos y Herramientas Esenciales

¿Cómo convertirte en Data Engineer?

¿Dónde ejercer como Data Engineer?

Tareas de Data Engineer: DataOPs

Herramientas del ciclo de DataOps

Agile en ingeniería de datos

Lenguajes de programación e ingeniería de software

¿Dónde y cómo escribir tu código en ingeniería de datos?

Automatización y scripting

Fuentes de datos: SQL, NoSQL, API y web scraping

Procesamiento de datos: pipelines, Apache Spark y cómputo paralelo

Automatizar los pipelines: Airflow