Automatización y scripting

Curso de Fundamentos de Ingeniería de Datos

Contenido del curso

Introducción a la ingeniería de datos

Herramientas del ciclo de DataOps

Ejerciendo como Data Engineer

Conclusiones

Tomar examen

Cursos Empresas Blog Live Conf Eventos Precios

0:002:52

Automatización y scripting

Curso de Fundamentos de Ingeniería de Datos

Clase 9 de 25

Clase 9 / 25

Mario Alexander Vargas Celis

Hace 2 años

Automatización y scripting:

Automatización:

Consiste en crear procesos que se ejecuten automáticamente para realizar tareas repetitivas o largas, sin intervención manual, mejorando la eficiencia, reduciendo errores y optimizando tiempos.

Scripting:

Es el proceso de escribir y ejecutar scripts, que son pequeños programas o instrucciones codificadas en lenguaje de programación para automatizar tareas específicas, como manipular archivos, realizar consultas en bases de datos, ejecutar procesos de ETL (Extract, Transform, Load), entre otros.

Principales beneficios de la automatización y scripting:

Ahorro de tiempo: Automatizar tareas repetitivas libera tiempo para que los desarrolladores y analistas se concentren en tareas más estratégicas o creativas.
Reducción de errores: Al ejecutar procesos automáticamente, el riesgo de errores humanos se minimiza, garantizando resultados consistentes.
Escalabilidad: Permite ejecutar operaciones en múltiples datos o entornos a la vez, facilitando el manejo de grandes volúmenes de información.
Mejora de la eficiencia: Al automatizar procesos, se logran ejecutar tareas con mayor rapidez y sin intervención manual constante.
Optimización de recursos: Automatizar tareas ayuda a optimizar el uso de recursos, como CPU, memoria o capacidad de almacenamiento.

Herramientas y tecnologías comunes para automatización y scripting:

Bash Scripting: Utilizado en sistemas Unix/Linux para realizar tareas desde la terminal.
PowerShell: Lenguaje de scripting de Windows muy útil para automatizar operaciones en sistemas de Microsoft.
Python: Amplia utilidad en la automatización de tareas, manejo de datos, integración con APIs, creación de pipelines, y scripting avanzado.
Ansible, Puppet, Chef: Herramientas para la automatización de configuraciones y gestión de infraestructuras.
Apache Airflow: Plataforma para la automatización de flujos de trabajo de datos (DataOps), para programar y supervisar pipelines.

Automatización y scripting son esenciales para optimizar y facilitar la gestión eficiente de tareas en proyectos de desarrollo y datos.

Comentarios (55)55 comentarios

Fabrizio Cucina

Hace 4 años

Tengo una tarea que se trata de hacer unas presentaciones de power point, despues de varias veces perdiendo horas colocando imagenes y titulos, decidi automatizar esta tarea usando python. Ahora solo colecto las imagenes y mediante pandas, openpyxl y python-pptx he logrado sacar el ppt en solo 2 minutos. Aprendizaje: Elimina todo TASK que sea manual lo mas posible!!

Ricardo Alanis

Profesor

Que buena idea! si te ahorra tiempo, y lo vas a seguir haciendo, suena bien!!

José Alejandro Montes Juarez

Hace un año

Eso suena increible, jamas me imagine algo asi, yo solo he llegado a automatizar procesos de bases de datos y recoleccion de datos, pero nunca algo como imagenes

Miguel Angel Reyes Moreno

Les recomiendo el libro 'Automating the boring stuff with Python'

Uff, totamente!

Stanley Melgar

Una tarea cotidiana en mi caso era ordenar por extensión todos los archivos que descargaba en el directorio Downloads; para ahorrarme tiempo lo automaticé con Python y puedes usar el script acá. Si tu OS lo permite, automatizar la ejecución de este script con Crontab es el objetivo con el que lo desarrollé; de lo contrario puedes solo guardarlo como un alias y ejecutarlo directamente cuando lo necesites ~

Excelente, automate everything with python!

Bryan Carvajal

Resumen:

Porque debo automatizar las tareas?
- Para trabajar de manera inteligente
- Optimizar el proceso
- Utilizar recursos externos
Porque debo usar python?
- Porque es un lenguaje sencillo
- Librerias variadas
- Comunidad activa
- Multiplataforma
Cuando debemos automatizar una tarea?

Cuando se aplique la regla Beetlejuice, que quiere decir que despues de repetir 3 veces la tarea, tendras mas claro lo que vas a automatizar y porque

Gracias por compartir!!

Julian Castro Pulgarin

Es super importante evaluar el proceso antes de tirarse a la loca a automatizar, sí, muchas tareas en un proceso de data conllevan la automatización, pero debes evaluar el cómo la vas a implementar, para que la vas a implementar que técnicas de diseño puedes llegar a usar. Nuevamente, como ingeniera es muy importante que pienses en la escalabilidad y el mantenimiento de estos sistemas.

Totalmente!!

Andrea Aranda

Una tarea repetitiva que hacía en mi trabajo era extraer información mensual de unos envíos que se deben hacer: a qué personas, qué producto se iba a enviar, los datos de envío, etc. Todo era manual: descargar la data, copiarla en un Sheet, limpiarla, generar etiquetas de envío del paquete, etc. Considero que puede mejorarse con Python, es todo un reto pero es posible.

Si! suena genial! cuidado con las cosas condicionales, toma nota de las cosas que son "de vez en cuando" porque eso puede estorbarte para automatizar!

Daniel Osorno

Hace 3 años

Yo tenia que dibujar unos planos de alcantarrillado y acueducto que me llevaba mucho tiempo , pero ahora mediante el uso de una liberia de python llamada pyautocad, este proceso se realiza de manera automatica.

wow! Gracias por compartir!

Katherine B

Que interesante, yo trabajo en algo parecido, como lo hiciste?

Montero Subero Jonathan Gregorio

Soy inexperto en la programación, pero en este caso me gustaria mucho automatizar una nomina que hago semanal de forma manual que me quita 2 horas, dependiendo, tomo la información de una pagina web llamada Jobber y de alli copio y pego los datos a google shets donde esta la nomina. La informacion es la fecha - nombre del cliente - el monto - hora de inicio - hora de salida- el tiempo que se tomo el tech en limpiar la casa - si es 1 persona se gana el 45% del monto total si es 2 personas se gana el 22.5% y si son 3 se gana el 15% pero tambien depende de si un miembro del equipo esta en entrenamiento por lo tanto no afectaria el porcentaje - si son 2 personas y una persona en entrenamiento serian 22.5 y asi. Las tips y el monto generado por cada visita. El monto a ganar por cada visita lo determina el porcentaje mas no el tiempo que tarde en cada casa. El tiempo que tarde en cada casa es informativo, pero si se usa para saber cuanto gano cada tech por hora. Cuando aprenda sobre programacion y automatizacion creo que la nomina se haria sola cada semana, claro despues de unos minutos limpiando la información. A los compañeros expertos? Esto se podria automatizar?

tiene mucho sentido de automatizar, porque no intentas de las integraciones que se pueden agregar a excel? luego plantear pipelines o inclusive en python directo! tiene sentido, no?

Danilo Camargo

¡Por supuesto! La ventaja en tu caso es que utilizas google sheets para consolidar la información, en este caso python se conecta muy fácil con google sheets permitiendo extraer, procesar y pegar información allí. Para el tema de los criterios de porcentajes y cálculos, se pueden parametrizar dentro de una función con condicionales que incluya los porcentajes y demás. De esta manera podrías reducir el proceso de nómina de 2 horas a solo minutos e inclusive segundos según el volumen de los datos.

Daviel Antonio Jiménez Comas

Mi resumen de la clase:

La automatización nos ayuda a aprovechar el poder de un lenguaje de programación nos ayuda a tomar tareas repetitivas de manera consistente para trabajar de manera inteligente, optimizar procesos y utilizar recursos externos. Python es muy bueno para esto ya que tiene un lenguaje sencillo, librerías variadas, comunidad activa para llegar aprovechar cosas que otros han hecho y es multiplataforma.

Modificar y limpiar de manera masiva, cuidado de automatizar cosas que no sean repetitivas y automatizar antes de tiempo. La regla Beetlejuice el solo aparece cuando repites su nombre tres veces, cuando hagas cosas a la tercera vez ahí comprenderás que tanto se puede automatizar.

Antonio Demarco Bonino

La automatización de los dashboards de datos es FUNDAMENTAL en toda organización data-driven. Tener que actualizar los datos de una forma manual es algo SUMAMENTE TEDIOSO y no aporta NADA hacerlo manualmente.

<3 bien por la vision, mi Tony!

Completamente de acuerdo contigo... el tema de los dashboards es que de acuerdo al volumen de los datos, es importante procesarlos en python y generar tablas resultado simplificadas que se conecten a los visualizadores, ya que muchas personas usan los visualizadores para organizar la data siendo que ellos tienen un límite de capacidad para tal fin. En este sentido se automatiza el procesamiento de las datas y se optima el rendimiento de los visualizadores.

Emily Aguilar

Tareas:

Un proceso de descarga de planillas de servicios de salud de cada paciente, se descargaban desde un excel que filtraba datos de los servicios que se realizó, con un macro VBA en excel rápidamente se generaban las planillas en pdf solo dando click a un botón. Es lo más cercano que he hecho a automatizar, por ahora:)

Andres Sanchez

9. Automatización y scripting

Automatizar las tareas

Repetir una tarea
Trabajar de manera inteligente
Optimizar el proceso
Utilizar recursos externos

¿Por qué Python?

Lenguaje sencillo
Librerías variadas
Comunidad activa
Multiplataforma
Generar y copiar archivos. Descargar una fuente de datos externa.
Modificaciones masivas. Editar y limpiar conjuntos de datos.

Cuidado

Automatizar cosas que no sean repetitivas.
Automatizar antes de tiempo.

Gracias!

Adrián Felipe Rueda Castellanos

Confirmo. Estuve haciendo extracción, Transformación y Carga de series de datos en mi trabajo durante nueve meses usando microsoft Excel. Hacer el proceso de ETL con cada una de estas series me llevaba aproximadamente 1.5-2 horas. Cuando me decidí a llevar todo este proceso a Python (mediante Jupyter Notebooks en ambientes virtuales Conda, en WSL2), me di cuenta que sólo tomaba 30 segundos en hacerlo!

Créanme que vale la pena. Puedes demorarte hasta 1 semana construyendo tu notebook, y siempre te vas a fijar en que lo puedes ir mejorando. Pero el tiempo que se ahorra automaizando es absolutamente increíble!

<3 gracias por contribuir Adrián, gracias por traernos esta experiencia para tenerlo de referencia.

Cecilia Gaytán

Exactooo!. Lo mismo me paso

JOSE VICENTE DIAZ OSPINA

Tengo varios Dashboards de Power Bi que se alimentan de BD que toca estar actualizando manualmente, seria bueno empezar a pensar con automatizar la actualizacion de esos origenes a través de Python.

Correcto! suena como una buena idea!

El tema de los dashboards es que de acuerdo al volumen de los datos, es importante procesarlos en python y generar tablas resultado simplificadas que se conecten a los visualizadores, ya que en muchas oportunidades las personas usan los visualizadores para organizar la data, siendo que ellos tienen un límite de capacidad para tal fin. En este sentido se automatiza el procesamiento de las datas y se optimiza el rendimiento de los visualizadores.

Jesús David Vega Porras

Veo la automatización en dos frentes, tanto como crear desde cero un sistema para cubrir una necesidad repetitiva así como el saber usar herramientas existentes para este fin. Un ejemplo de lo segundo sería mi trabajo actual donde trabajo mucho por correo y diría que el 85% de lo que tengo que responder son plantillas que me proveyó la empresa, después de las primeras semanas y ver lo repetitivo que era este decidí optar por usar un sistema de shortcuts, uno llamado Texter donde guardo el template y decido un comando con las teclas donde cada vez que escribo y ejecuto este comando con la letra shift despliega automaticamente el template en el cuerpo del email lo que me ha ayudado a mejorar mis metricas con respecto a mis compañeros, tanto tiempo de respuesta como cantidad, ya que lo que un compañero tarda en buscar/editar un template por tiquete, yo envio hasta 3.

Muchas gracias por compartir. Te preguntaría, antes de automatizar, existiría alguna forma de adelantarse pero no reemplazar a la persona para enviar el correo? Quiero decir, existira un punto donde puedas ayudar a la persona para que ahorre el tiempo, para en un futuro hablar de automatización? Porque quizá hacer el salto de automatización puede ser más complicado que ver que se puede hacer antes, con una herramienta para facilitar tu vida sin tener que necesariamente dejarla a que actúe independiente.

Andres Cervantes

En este Proyecto

He hecho una automatización en Python con un Script, que a su vez, parece un poco largo, pero su ejecución es práctica, ya que me permite descargar distintos archivos zip, descargar los archivos csv y unir todo en un solo conjunto de datos.

Bueno, todo esto me llevo a que podría hacer mejor la tarea con Apache Spark y Pyspark. Saludos

Una parte del código:

def download_file(url, filename):
    response = requests.get(url)
    with open(filename, 'wb') as f:
        f.write(response.content)

urls = [Aquí es una lista con 12 conjuntos de datos correspondientes a cada mes]

for url in urls:
  filename = url.split('/')[-1]
  download_file(url, filename)

# Extraer el archivo CSV del archivo ZIP
with zipfile.ZipFile('/kaggle/working/202201-divvy-tripdata.zip', 'r') as zip_ref:
    csv_file = zip_ref.namelist()[0]  # obtener el nombre del archivo CSV
    zip_ref.extract(csv_file)

# Leer el archivo CSV extraído en un DataFrame de Pandas
ene_22 = pd.read_csv(csv_file)

# Repetir el proceso para los demás meses de Enero a Dic
data = pd.concat([ene_22, feb_22, mar_22, abr_22, may_22, jun_22, jul_22, ago_22, sep_22, oct_22, nov_22, dic_22])
print(f'Ahora nuestro conjunto de datos contiene {data.shape[0]} filas y {data.shape[1]} columnas')

>> Ahora nuestro conjunto de datos contiene 5667717 filas y 13 columnas

Excelente, Starred!

Muchas gracias, profe. Usted es un excelente profesor. Y bueno, creo que ahora puedo ir comprendiendo y aplicando un poco más. muchas gracias!!

MARIA DEL PILAR OLACHICA OLACHICA

Soy inexperta en programación, pero algo que podría ser muy útil para automatizar seria la alimentación de mi familia ya que debido al trabajamos diariamente manejo ya una determinada cantidad y tipo de alimentos así como, los tiempos del mes en los cuales se compran, por ende, y ya sabiendo los diferentes platillos que se pueden preparar para desayunos, almuerzos, comida y lonchera de mi hijo se podrían extraer menús diferentes para cada día del mes reduciendo el tiempo para el desarrollo de esta tarea. Gracias por su atención.

Me recuerda muchisimo uno de mis primeros scripts, que scrappeaba algunas tiendas y me ayudaba a optmiizar los precios de mis compras. Definitivamente una forma muy práctica y personal de pensar. Gracias!

Maximiliano Salibe

Podría automatizar las siguientes tareas:

Descargar el resumen de la tarjeta de crédito y procesar los rubros de gastos,
pagar alquiler y expensas y notificar a quienes corresponda…

Daniel Urango

Hace 21 días

En mi caso se me ocurrieron 3. No obstante, en algunas no estoy seguro de si se puedan y deban automatizarse:

Crear commits en github.

Importar librerías para el análisis de datos (pandas, scikitlearn, numpy).

Verificar que las funciones que implemento en mis scripts siguen trabajando bien después de realizar una modificación.

Si alguien ve este comentario y tiene un poco más de experiencia en el tema lo agradecería mucho!

Introducción a la ingeniería de datos

¿Qué es ingeniería de datos? ¿Qué es Data Engineer?

Formación Integral para Data Engineers: Retos y Herramientas Esenciales

¿Cómo convertirte en Data Engineer?

¿Dónde ejercer como Data Engineer?

Tareas de Data Engineer: DataOPs

Herramientas del ciclo de DataOps

Agile en ingeniería de datos

Lenguajes de programación e ingeniería de software

¿Dónde y cómo escribir tu código en ingeniería de datos?

Automatización y scripting

Fuentes de datos: SQL, NoSQL, API y web scraping

Procesamiento de datos: pipelines, Apache Spark y cómputo paralelo

Automatizar los pipelines: Airflow

Containers y empaquetamiento: Docker y Kubernetes

Manejo de ambientes para datos

Testing de software y de datos

CI/CD basico

Servidores y computación en la nube para data

Reentrenamiento y control de salud de servicios

Medición de indicadores y seguimiento a proyectos

Ejerciendo como Data Engineer

Buscando Oportunidades como Data Engineer

Evolución en el rol: ganando seniority como Data Engineer

Evolución en el rol: manager, architect, pivot

Trabajando en equipo como Data Engineer

Conclusiones

Compartir con la comunidad y seguir creciendo

Completa tu guía con los retos y certifícate

Automatización y scripting

Progreso del curso

Introducción a la ingeniería de datos

Herramientas del ciclo de DataOps

Ejerciendo como Data Engineer

Conclusiones