Siguientes pasos

Clase 24 de 25 • Curso de Fundamentos de ETL con Python y Pentaho

Resumen

Nombre del curso: Curso de Fundamentos de ETL con Python y Pentaho Dean: Sebastián Delmont School Owner: Carlos Alarcón Profesor: Carlos Alarcón Dirección: Miguel Torres Producción OPS: Lizeth Cáceres y Rocío Martínez Creación audiovisual: Camilo Lamilla Tamayo Edición de video: Pablo Valès Postproducción de audio: Jorge Andres Torres Viveros Diseño gráfico: Daniel Ordoñez Coordinación General: Andrés Arizmendy, Daniel Gutiérrez, Carol Baquero, Carlos Céspedes y Sura Cedeño Revisión: Rubén Cuello y Natalia Moreno Espinoza

Edwin Uldarico Hernandez Osorio

student•

el curso de Airflow es como un hola mundo, no se ejecutan los trabajos en un servidor aparte, y los trabajos son como print("python operator"), seria genial una parte II con un proceso de ETL orquestado con Airflow

seria mejor aun si integran mas cursos por ejemplo con fastAPI y supongo docker para la automatizacion del proceso de pandas

y seria un plus muy grande se paralelizen trabajos, vi que hace unos años hicieron un curso de Celery pero debe rehacerse esta algo mal enfocado

POR FAVOR si llegan a hacer algo de esto que no sea como esos laboratorios que hizo Ricardo Alanis, ej Laboratorio de Machine Learning: Puesta en Producción de Modelos

con 3 minutos de video tipo libro de auto ayuda de excelente aporte sin aportar nada ... Eso y nada es lo mismo

Stanley Melgar

student•

Concuerdo, más cursos intermedios y avanzados por favor ~

Daniel da Silva Jarque

student•

He afrontado este curso con unos fines muy concretos:

Obtener herramientas más adecuadas que SQL y procesos batch en JAVA, para obtener datos
Conseguir herramientas, con las que montar un almacén de datos centralizado para varios sistemas de explotación de los mismos (varios cuadros de mando en Power BI, sistemas de reporting, etc). Inevitablemente necesito centralizar métricas y medidas para varios sistemas, es decir, necesito centralizar lógica de negocio
Conseguir herramientas para automatizar procesos de extracción, transformación y carga de datos
Conseguir sistemas para que la maldita BD pase a ser una shit de un bull perteneciente a la megafauna, a un sistema lógico y límpio y además que incorpore toda es legión de insectos (Excels, docs, ficheros, tablas de sitios web, etc), que revolotean por la organización.

Todo lo anterior lo comienzo a trabajar en un proyecto con datos públicos, en un sector de negocio alejado de mi realidad (para no herir sensibilidades), pero que resolverá los mismos problemas...

Gracias Carlos, por la ventanita que tú has abierto, veo herramientas para hacerlo. ¡Ahora es cosa mía!

Alberto Fleitas

student•

Dejo mi repositorio con el código del curso: Repositorio 😄

Daniel da Silva Jarque

student•

Gracias por compartir tu repositorio Alberto, ¡felicidades!

Daniel da Silva Jarque

student•

Por cierto, estaré encantado de compartir mis apuntes con todos los compañeros, que lo requieran y de recibir sus aportaciones (positivas). Mi repositorio es:

https://github.com/ddasilva64/ETLPPT23001esp

¡Gracias a todos!

Daniel da Silva Jarque

student•

Gracias Carlos, por este excelente curso. ¡Eres genial!. Como siempre, personas geniales como tú, nos abren una ventanita a una luz diferente. Gracias Carlos y gracias Platzi team.

Cristhian Eduardo Ninanya Cerron

student•

Esa ventanita es suficiente para comenzar.

Valentina Arenas Lozano

student•

se puede desplegar pentaho en un contenedor?

Felix Eduardo Ruiz Ruiz

student•

EL curso y el temario es bueno, pero pienso que si falto una explicacion del proyecto y sus objetivos, explicar el modelo con un MER no sobraba.

Por ultimo los quiz me parecieron super incoherentes, unas preguntas en ingles otras en español, no si fue las preguntas las realizo algun automata o IA , pero si fue asi muy mediocre de parte de Platzy que deje hacer estas cosas.

Jorge Andres Avendano Carabali

student•

test rrrespuestas--

Resumen1.¿Qué significa ETL en ingeniería de datos?ETL es un acrónimo que significa "Extracción, Transformación y Carga", un proceso utilizado para integrar datos de múltiples fuentes en un solo destino.2.

¿Cuál es la importancia de ETL en ingeniería de datos?

ETL es importante en ingeniería de datos porque permite a los profesionales de datos integrar y consolidar datos de múltiples fuentes, lo que mejora la calidad y la eficacia de los análisis y toma de decisiones.3.

¿Cuál es la diferencia entre el source y el target en una ETL?

El source se refiere a la fuente de datos donde se extraen los datos para la transformación y carga en el target, que es el destino final de los datos.4.

¿Cuál es la diferencia entre un data warehouse y un data lake en términos de ETL?

En un data warehouse el proceso de ETL se centra en la integración y transformación de datos estructurados y almacenados en diferentes sistemas, para crear un conjunto de datos coherente y consolidado. En un data lake, el proceso de ETL se enfoca en la ingestión y almacenamiento de datos en su forma más cruda, sin aplicar transformaciones significativas hasta que se requieran para un análisis específico.

5.¿Siempre es mejor que una ETL se realice en streaming y no en procesos batch?Falso, depende de la misma naturaleza y necesidades del proyecto.6.

Un ETL netamente desarrollada desde cero en Python u otro lenguaje, ¿de qué tipo se puede considerar?

Custom7.Es algo a tener en cuenta al momento de usar sources en un proceso de ETL.Considerar la calidad y consistencia de los datos.REPASAR CLASE8.

¿Cómo afecta la frecuencia de extracción de las fuentes en una ETL?

Si la frecuencia es muy baja, es posible que se pierdan datos recientes, mientras que una frecuencia demasiado alta puede causar una sobrecarga en el sistema y afectar el rendimiento.

9.La extracción de datos en Python solo la debo manejar con la librería de Pandas. ¿Esto es verdadero o falso?Falso, si bien es una librería perfecta para la manipulación de datos existen otras librerías que podemos usar.10.

¿Cuál es la mejor estrategia para manejar duplicados en una ETL?

La mejor estrategia para manejar duplicados en una ETL es utilizar una combinación de técnicas como la eliminación de duplicados, la unificación de registros y la consolidación de datos.11.

¿Qué hace esta línea de código de Pandas?

df_codes[['clean_code','parent_description']] = df_codes.apply(lambda x : clean_code(x['Code']),axis=1, result_type='expand') Asigna a dos columnas de un DataFrame (df_codes) los resultados de aplicar una función lambda (clean_code) a la columna "Code" de dicho DataFrame, para cada fila.12.

¿Qué hace esta línea de código de Pandas en el DataFrame?

df_countries = df_countries[df_countries['alpha-3'].notnull()] Filtra el DataFrame 'df_countries' para eliminar todas las filas donde la columna 'alpha-3' tiene un valor nulo.13.

¿Cuál es la razón de crear esta función en Python para una transformación de datos?

defcreate_dimension(data, id_name): list_keys = [] value = 1 for _ in data: list_keys.append(value) value = value + 1 return pd.DataFrame({id_name:list_keys, 'values':data}) Una manera eficiente de crear un DataFrame con valores únicos de posibles dimensiones o valores categóricos.14.

¿Cuál es la importancia del formato de los datos en el proceso de carga en una ETL?

El formato de los datos es esencial en el proceso de carga de una ETL, ya que determina cómo se pueden manipular y transformar los datos durante la fase de transformación.15.

¿Cuál es la librería en Python para gestionar el uso de AWS?

boto316.Desde Python únicamente se puede gestionar carga a data warehouses de AWS como Redshift. ¿Esto es verdadero o falso?Verdadero, ya que solo existen librerías de Python para comunicarse con AWS.REPASAR CLASE17.

¿Qué herramienta de Pentaho debe usarse para leer datos de una tabla en una base de datos?

Input Table18.

¿Cuál es el propósito del paso Select values en Pentaho PDI?

Se utiliza para seleccionar y renombrar columnas específicas de un conjunto de datos.19.

¿Cuál es el propósito del paso Filter rows en Pentaho PDI?

Filtrar filas específicas de un conjunto de datos en función de una o más condiciones.20.¿En Pentaho solo puedo hacer un cargue de datos a bases de datos relacionales?No, hay múltiples target no relacionales a los que puedo cargar.Ver menos

Mauricio Escobar

student•

Ha sido un reto muy grande poder terminar el curso. Afortunadamente pude resolver todo excepto la carga de datos hacia Redshift. Me daba un [Err 61] que impedía la conexión con los puertos, verificaba que la configuración fuera la correcta y según yo estaba bien. Volvía a hacer todo de nuevo (también para repasar) pero me salió exactamente el mismo error. Después de varios días terminé por cargar los datos a una BD en postgres. Creo que fue algún error que cometí a la hora de configurar el clúster en AWS (o quizás el bucket) y no me di cuenta. En fin. Ahora estoy haciendo un curso alternativo en udemy para tener bases más sólidas respecto a cuestiones de AWS y cuando las tenga pienso volver a intentar hacer la carga. A pesar de los errores he aprendido bastante.

Andres Sanchez

student•

24. Siguientes pasos

Orquestar. Apache airflow

Javier Hugo Noto Enriquez

student•

Gracias Carlos por este curso, junto con el de Airflow me permitieron conseguir mi primer trabajo como Data Engineer

Carlos Eduardo Bracho Rosales

student•

Aqui les dejo mi humilde proyecto con lo aprendido en el curso. No es mucho, pero es trabajo honesto 😅.

Juan Carlos Vásquez García

student•

Excelente muy bien por el aporte

Daniel da Silva Jarque

student•

Gracias por compartir tu proyecto Carlos, ¡felicidades!

Siguientes pasos

Introducción a ETL

¿Qué es un ETL en ingeniería de datos?

Conceptos base de ETL

Consideraciones de ETL

Servicios y herramientas para ETL

Extracción de datos

Sources

Configuración de base de datos source y entorno para ETL en Python

Extracción de datos con Python y Pandas

Transformación de datos

Transformación

Transformación de datos con Python y Pandas

Transformación de datos de países

Transformación de datos de transacciones

Carga de datos

Carga

Configuración de clúster en AWS Redshift

Crear tablas en AWS Redshift

Carga de datos con Python

Estructurar sentence para carga de datos de S3 a Redshift

Carga de datos: subida de archivos a AWS Redshift

ETL con Pentaho

Instalación de Pentaho

Extracción de datos con Pentaho

Transformación de datos con Pentaho

Transformación de datos con Pentaho: parte 2

Transformación de datos con Pentaho: parte 3

Carga de datos con Pentaho

Conclusión

Siguientes pasos

Comparte tu proyecto de ETL y obtén tu certificado