No tienes acceso a esta clase

隆Contin煤a aprendiendo! 脷nete y comienza a potenciar tu carrera

Automatizaci贸n y scripting

9/25
Recursos

Aportes 32

Preguntas 1

Ordenar por:

驴Quieres ver m谩s aportes, preguntas y respuestas de la comunidad?

o inicia sesi贸n.

Tengo una tarea que se trata de hacer unas presentaciones de power point, despues de varias veces perdiendo horas colocando imagenes y titulos, decidi automatizar esta tarea usando python. Ahora solo colecto las imagenes y mediante pandas, openpyxl y python-pptx he logrado sacar el ppt en solo 2 minutos. Aprendizaje: Elimina todo TASK que sea manual lo mas posible!!

Les recomiendo el libro 鈥楢utomating the boring stuff with Python鈥

Una tarea cotidiana en mi caso era ordenar por extensi贸n todos los archivos que descargaba en el directorio Downloads; para ahorrarme tiempo lo automatic茅 con Python y puedes usar el script ac谩.
Si tu OS lo permite, automatizar la ejecuci贸n de este script con Crontab es el objetivo con el que lo desarroll茅; de lo contrario puedes solo guardarlo como un alias y ejecutarlo directamente cuando lo necesites ~

Es super importante evaluar el proceso antes de tirarse a la loca a automatizar, s铆, muchas tareas en un proceso de data conllevan la automatizaci贸n, pero debes evaluar el c贸mo la vas a implementar, para que la vas a implementar que t茅cnicas de dise帽o puedes llegar a usar. Nuevamente, como ingeniera es muy importante que pienses en la escalabilidad y el mantenimiento de estos sistemas.

Resumen:

  • Porque debo automatizar las tareas?
    • Para trabajar de manera inteligente
    • Optimizar el proceso
    • Utilizar recursos externos
  • Porque debo usar python?
    • Porque es un lenguaje sencillo
    • Librerias variadas
    • Comunidad activa
    • Multiplataforma
  • Cuando debemos automatizar una tarea?

Cuando se aplique la regla Beetlejuice, que quiere decir que despues de repetir 3 veces la tarea, tendras mas claro lo que vas a automatizar y porque

Una tarea repetitiva que hac铆a en mi trabajo era extraer informaci贸n mensual de unos env铆os que se deben hacer: a qu茅 personas, qu茅 producto se iba a enviar, los datos de env铆o, etc. Todo era manual: descargar la data, copiarla en un Sheet, limpiarla, generar etiquetas de env铆o del paquete, etc. Considero que puede mejorarse con Python, es todo un reto pero es posible.

Soy inexperto en la programaci贸n, pero en este caso me gustaria mucho automatizar una nomina que hago semanal de forma manual que me quita 2 horas, dependiendo, tomo la informaci贸n de una pagina web llamada Jobber y de alli copio y pego los datos a google shets donde esta la nomina.
La informacion es la fecha - nombre del cliente - el monto - hora de inicio - hora de salida- el tiempo que se tomo el tech en limpiar la casa - si es 1 persona se gana el 45% del monto total si es 2 personas se gana el 22.5% y si son 3 se gana el 15% pero tambien depende de si un miembro del equipo esta en entrenamiento por lo tanto no afectaria el porcentaje - si son 2 personas y una persona en entrenamiento serian 22.5 y asi. Las tips y el monto generado por cada visita. El monto a ganar por cada visita lo determina el porcentaje mas no el tiempo que tarde en cada casa.
El tiempo que tarde en cada casa es informativo, pero si se usa para saber cuanto gano cada tech por hora. Cuando aprenda sobre programacion y automatizacion creo que la nomina se haria sola cada semana, claro despues de unos minutos limpiando la informaci贸n. A los compa帽eros expertos? Esto se podria automatizar?

Mi resumen de la clase:

La automatizaci贸n nos ayuda a aprovechar el poder de un lenguaje de programaci贸n nos ayuda a tomar tareas repetitivas de manera consistente para trabajar de manera inteligente, optimizar procesos y utilizar recursos externos. Python es muy bueno para esto ya que tiene un lenguaje sencillo, librer铆as variadas, comunidad activa para llegar aprovechar cosas que otros han hecho y es multiplataforma.

Modificar y limpiar de manera masiva, cuidado de automatizar cosas que no sean repetitivas y automatizar antes de tiempo. La regla Beetlejuice el solo aparece cuando repites su nombre tres veces, cuando hagas cosas a la tercera vez ah铆 comprender谩s que tanto se puede automatizar.

Yo tenia que dibujar unos planos de alcantarrillado y acueducto que me llevaba mucho tiempo , pero ahora mediante el uso de una liberia de python llamada pyautocad, este proceso se realiza de manera automatica.

La automatizaci贸n de los dashboards de datos es FUNDAMENTAL en toda organizaci贸n data-driven. Tener que actualizar los datos de una forma manual es algo SUMAMENTE TEDIOSO y no aporta NADA hacerlo manualmente.

9. Automatizaci贸n y scripting

Automatizar las tareas

  • Repetir una tarea
  • Trabajar de manera inteligente
  • Optimizar el proceso
  • Utilizar recursos externos

驴Por qu茅 Python?

  • Lenguaje sencillo
  • Librer铆as variadas
  • Comunidad activa
  • Multiplataforma
  • Generar y copiar archivos. Descargar una fuente de datos externa.
  • Modificaciones masivas. Editar y limpiar conjuntos de datos.

Cuidado

  • Automatizar cosas que no sean repetitivas.
  • Automatizar antes de tiempo.

Confirmo. Estuve haciendo extracci贸n, Transformaci贸n y Carga de series de datos en mi trabajo durante nueve meses usando microsoft Excel. Hacer el proceso de ETL con cada una de estas series me llevaba aproximadamente 1.5-2 horas. Cuando me decid铆 a llevar todo este proceso a Python (mediante Jupyter Notebooks en ambientes virtuales Conda, en WSL2), me di cuenta que s贸lo tomaba 30 segundos en hacerlo!

Cr茅anme que vale la pena. Puedes demorarte hasta 1 semana construyendo tu notebook, y siempre te vas a fijar en que lo puedes ir mejorando. Pero el tiempo que se ahorra automaizando es absolutamente incre铆ble!

Tengo varios Dashboards de Power Bi que se alimentan de BD que toca estar actualizando manualmente, seria bueno empezar a pensar con automatizar la actualizacion de esos origenes a trav茅s de Python.

Veo la automatizaci贸n en dos frentes, tanto como crear desde cero un sistema para cubrir una necesidad repetitiva as铆 como el saber usar herramientas existentes para este fin. Un ejemplo de lo segundo ser铆a mi trabajo actual donde trabajo mucho por correo y dir铆a que el 85% de lo que tengo que responder son plantillas que me provey贸 la empresa, despu茅s de las primeras semanas y ver lo repetitivo que era este decid铆 optar por usar un sistema de shortcuts, uno llamado Texter donde guardo el template y decido un comando con las teclas donde cada vez que escribo y ejecuto este comando con la letra shift despliega automaticamente el template en el cuerpo del email lo que me ha ayudado a mejorar mis metricas con respecto a mis compa帽eros, tanto tiempo de respuesta como cantidad, ya que lo que un compa帽ero tarda en buscar/editar un template por tiquete, yo envio hasta 3.

En este Proyecto

He hecho una automatizaci贸n en Python con un Script, que a su vez, parece un poco largo, pero su ejecuci贸n es pr谩ctica, ya que me permite descargar distintos archivos zip, descargar los archivos csv y unir todo en un solo conjunto de datos.

Bueno, todo esto me llevo a que podr铆a hacer mejor la tarea con Apache Spark y Pyspark. Saludos

Una parte del c贸digo:

def download_file(url, filename):
    response = requests.get(url)
    with open(filename, 'wb') as f:
        f.write(response.content)

urls = [Aqu铆 es una lista con 12 conjuntos de datos correspondientes a cada mes]

for url in urls:
  filename = url.split('/')[-1]
  download_file(url, filename)

# Extraer el archivo CSV del archivo ZIP
with zipfile.ZipFile('/kaggle/working/202201-divvy-tripdata.zip', 'r') as zip_ref:
    csv_file = zip_ref.namelist()[0]  # obtener el nombre del archivo CSV
    zip_ref.extract(csv_file)

# Leer el archivo CSV extra铆do en un DataFrame de Pandas
ene_22 = pd.read_csv(csv_file)

# Repetir el proceso para los dem谩s meses de Enero a Dic
data = pd.concat([ene_22, feb_22, mar_22, abr_22, may_22, jun_22, jul_22, ago_22, sep_22, oct_22, nov_22, dic_22])
print(f'Ahora nuestro conjunto de datos contiene {data.shape[0]} filas y {data.shape[1]} columnas')

>> Ahora nuestro conjunto de datos contiene 5667717 filas y 13 columnas

Soy inexperta en programaci贸n, pero algo que podr铆a ser muy 煤til para automatizar seria la alimentaci贸n de mi familia ya que debido al trabajamos diariamente manejo ya una determinada cantidad y tipo de alimentos as铆 como, los tiempos del mes en los cuales se compran, por ende, y ya sabiendo los diferentes platillos que se pueden preparar para desayunos, almuerzos, comida y lonchera de mi hijo se podr铆an extraer men煤s diferentes para cada d铆a del mes reduciendo el tiempo para el desarrollo de esta tarea. Gracias por su atenci贸n.

Podr铆a automatizar las siguientes tareas:

  • Descargar el resumen de la tarjeta de cr茅dito y procesar los rubros de gastos,
  • pagar alquiler y expensas y notificar a quienes corresponda鈥
Hasta el momento me encuentro aprendiendo, as铆 que no tengo tareas que automatizar
Datos qu茅 pas贸 a google sheets los limpio siempre de la misma forma y alimentan un reporte en datastudio鈥 ansiosa por aprender a automatizar esta tarea. La herramienta de la que extraigo los datos tiene API disponible y podr铆a aprender con este curso a utilizarlas para automatizar esta extracci贸n y limpieza de datos y dejarlos disponibles para reporting.
Hice mi tesis de grado con redes convolucionales para clasificaci贸n de 谩caros en rosa sp para renombrar Miles de im谩genes use un simple script en python 馃榿馃榿

En mi caso yo uso una pltaforma para conseguir trabajo la cual me envia notificaciones a mi computadora, la automatizacion que haria serai que cada vez que llegue ese mensaje abra el mensaje en una pestana de mi browser para poder responder a la posible solicitud

El caso en viable de hacer por que despues de que sale esa notificacion es imposible volver a encontrar la solicitud en la pagina

A煤n no identifico tareas que sean "iguales" para automatizar; para un poco m谩s de contexto hasta ahora estoy empezando a trabajar.

La automatizaci贸n nos lleva a evolucionar procesos , en mi caso con una planta de producci贸n que fabrica sistemas de frenos para vehiculos automatizar tareas nos lleva a dar respuesta r谩pida y eficiente a los almacenes quienes finalmente entregan el producto, nos permite tambi茅n controlar el proceso desde etapas tempranas para evitar rechazo.

Con chatGPT hice un script que me crea una carpeta de la clase y me mueve las capturas ah esa carpeta. Le saco capturas a los aportas o los slides,. Tambien crear un .txt con el titulo de la clase. Aguante chatgpt

Actualmente debo automatizar el proceso de activar un entorno virtual y ejecutar el servidor web de mi API, todo el tiempo estoy haciendolo de forma manual. Obligado a automatizar 鉂わ笍

Buena explicacion.

Buscar un podcast que escucho diario, podr铆a automatizar la manera de reporducirlo sin necesidad de estar entrando a la app y buscar el podcast

Actualmente trabajo en una empresa distribnuidora de energia, y los pulsos de los clientes que son quinceminutales es una informaci贸n que debemos manejar y es un volumen tremendo de datos a tratar.

Hace rato que quiero automatizar la descarga de los videos asociados a unos links de un pdf.

Llevo varios tratando de automatizar un proceso鈥lg煤n d铆a lo lograr茅, pero lo poco que levo me ha ayudado mucho.

Yendo a tareas no laborales, como tarea de rutina diaria cuando estudio automatizar铆a que cuando enciendo mi pc, se abra de inmediato la web del curso y clase en el que estoy estudiando, y las herramientas que use.
Y como tarea laboral me gustar铆a poder automatizar filtrando las b煤squedas de Data Engineer con un scraper desde distintos or铆genes (que lo pienso desarrollar cuando vaya realizando los cursos del tema)