ETL

ETL(Extract, Transform and Load)

Esta habilidad es indispensable para quien se quiera dedicar al data science, yo no sé los ustedes colegas pero mi objetivo es ese al 100%

curso de ingenieria de datos en python es el curso que hay en platzi que ensena ETL

ETL literalmente es ordenar el desastre de otros ⛏

En mi día a día como consultor SEO, se utiliza mucho software as a service, software en la nube que cumplen la función exactamente como dice Israel de Data Pipelines, extraen información de los sitios webs, la transforman, y las analizamos para tomar decisiones entorno a acciones que nos permitan posicionar mejor los sitios webs, asi como estrategias de marketing orgánico e inbound marketing.

LAs ETL se usan en el ambito del DataWarehouse, sin embargo con el desarrollodel cloud nace el DataLake que usa las ELT, entonces, la diferencia entre ETL y ELT depende de dónde se transforman los datos y cuántos datos se retienen en almacenes de datos operativos.

ETL

ELT

Para realizar ETL les recomiendo utilizar la herramienta Pentaho

Arquitectura ETL Tradicional

Al iniciar ésta clase de ETL menciona que ésta clase debe estar luego de la de DataMining, creo que deberían moverla, ya que es la primera clase de la unidad…

ETL:

Extraer datos ordenados o desordenados,
Transformar estos datos y darle alguna estructura útil.
Cargar estos datos para poder consultarlos con facilidad.

Las ETL son muy utilizadas en empresas con múltiples sistemas donde se deben llevar datos de un sistema a otro. Como dice Israel , por ejemplo diariamente.
En la empresa utilizamos SSIS , SQL Server Integration Services , aunque sea la ETL de Microsoft te permite conectarte a diversas bases de datos incluida Oracle.

ETL (Extract Transform Load)
Consiste en la transformación de datos para darles un sentido, un valor. Pueden darse en:

• Datos históricos → dándoles un sentido.
• Datos vivos → conectándolos al data warehouse para su posterior análisis

Nota:

• Existen programas que se dedican a transformar datos vivos al data warehouse llamados pipelines

Hay unos cursos geniales en platzi de ETL 😃

ETL son las siglas de Extract, Transform, Load (extraer, transformar y cargar). Se trata de tomar datos de archivos muertos y convertirlos en algo que sea de utilidad para el negocio.
También ayuda a tomar los datos vivos de la aplicación, transformarlos y guardarlos en un data warehouse periódicamente.

ETL (Extract, Transform, Load)

What is a Data Pipeline?

Notas:
ETL: sirve de 2 formas particulares para obtener valor de los datos en bruto,

1. Para extraer data muerta de un Data Warehouse y realizar diferentes procesos con ella (transformarla, calcularla, limpiarla, e.t.c) para obtener valor de ella

2. Sirve también para pasar información viva de la aplicación con sus estados actuales, y luego de un tiempo definido, realizar esta tecnica de ETL para transformar la información y luego almacenarla en un Data Warehouse

46. Mis apuntes sobre: “ETL”

ETL: Significa “EXTRACT”, “TRANSFORM” y “LOAD”.

Tomas datos de un lugar, haces un proceso de transformación y lo terminas cargando
en otro lado. Se usa en [Data Mining].

También cada X cantidad de tiempo se puede extraer información de una DB no relacional,
aplicar ETL y guardar en una DB relacional, y luego poder aplicar análisis a esos datos.

No está basada en una tecnología en concreto, sino es la idea, existen cierto software
llamado “data pipelines”.

ETL en la arquitectura de Data Warehouse

Que son esos dispositivos que se ven apilados?

ETL es la herramienta para guardar los datos necesarios extraídos de distintas fuentes de datos en el DW para realizar analítica que permita visualizar datos y tomar decisiones basados en analítica descriptiva y predictiva.

Muy utilizada en procesos de integración de datos.

ETL(Extract Transform load): Tomar datos de un lugar, transformarlos y depurarlos para que sean utilizable y luego cargarlos en otro lado donde se puedan utilizar, es una manera de realizar Data Mining.

En resumen , el datamining se presenta como una tecnología emergente, con varias ventajas: por un lado, resulta un buen punto de encuentro entre los investigadores y las personas de negocios; por otro, ahorra grandes cantidades de dinero a una empresa y abre nuevas oportunidades de negocios. Además, no hay duda de que trabajar con esta tecnología implica cuidar un sinnúmero de detalles debido a que el producto final involucra “toma de decisiones”.

El concepto principal es Business Intelligence dentro del mismo está involucrado el diseño del Data warehouse, las tecnicas del ETL y la presentación de los datos en forma de reportes, cuadros de control o balance score card. Para mayor información pueden consultar a Ralph Kimball y su obra: Dataware house toolkit classic.

Hola,

No me quedo muy claro la diferencias entre Big Data vs Data Warehouse?
Ni tampoco las diferencias entre Data Mining vs ETL?

ETL: extraer, transformar y cargar. Tiene dos casos de usos: cuando tenemos grandes cantidades de datos que requieren ser limpiados y organizados para luego almacenar en bases de datos como Data Wharehouse, y en casos en los que tenemos una gran cantidad de datos pero que se generan en tiempo real, son datos vivos que se organizan y luego se guardan en una base de datos para luego poder operar y trabajar con ellos.

hasta ahora no he visto el algebra jeje

Super interesante!

Es la primera vez que veo este tema. Aunque me imaginé que existía algo así. Es muy interesante el tema.

Cada clase de este curso me hace sentir mas ignorante y que necesito invertir mas tiempo estudiando.

En resumen, ETL es un proceso utilizado en la gestión de datos para extraer, transformar y cargar datos de múltiples fuentes en un formato útil y consistente. Este proceso es esencial para garantizar la calidad y la integridad de los datos en los sistemas de información empresarial y asegurar que los datos sean útiles para la toma de decisiones y análisis empresariales.

El proceso ETL se divide en tres etapas:

Extract: La primera etapa implica la extracción de datos desde diferentes fuentes, como sistemas transaccionales, archivos y otras bases de datos.
Transform: La segunda etapa implica la transformación de los datos extraídos para ajustarlos a los formatos y esquemas requeridos por el data warehouse o la base de datos centralizada. Esta etapa incluye tareas como la limpieza de datos, la eliminación de duplicados y la conversión de formatos.
Load: La tercera etapa implica la carga de los datos transformados en el data warehouse o la base de datos centralizada.

ETL (Extraer, Transformar y Cargar), es el proceso de compilación de datos a partir de un número ilimitado de fuentes, su posterior organización y centralización en un único repositorio.

La transformación de los datos requiere conocimiento del giro del negocio, utilizando una base estadística para comprender lo que se está haciendo y elaborar propuestas de valor.

con la herramienta pentaho podemos hacer ETL entre distintos tipos de bases de datos. por si quieres investigar, por mi parte e visto como usar ETL para extraer las dimensiones y medidas de una base de datos para luego hacer BI en Qlik sense, realizando gráficos que permitan tomar decisiones en la empresa etc.

En definitiva, el principal objetivo de este proceso es facilitar el movimiento de los datos y la transformación de los mismos, integrando los distintos sistemas y fuentes en la organización moderna.

El término ETL corresponde a las siglas en inglés de:

Extract: extraer.

Transform: transformar.

Load: cargar.

Gracias por el vídeo instructor Israel. Así que básicamente, ETL es la técnica de refinar los datos para darles un uso en los objetivos que tiene un negocio o empresa.

Me encantaria saber que procesos o metodologías se aplican en la Fase de Transform de ETL.

ETL, una herramienta importante para el Data Mining

Salgo de una a googlear esas tecnicas de las que hablò

Como herramientas de ETL esta POWER CENTER INFORMATICA, TALEND, PENTAHO DATA INTEGRATION, etc etc…

Se extrae la información “sin sentido” y se realiza un procesamiento para que dicha información adquiera un significado.

Que buena vibra transmite el profe en esta clase. Gracias por ello ! ;)

ETL
Qué es y por qué es importante

ETL es un tipo de integración de datos que hace referencia a los tres pasos (extraer, transformar, cargar) que se utilizan para mezclar datos de múltiples fuentes. Se utiliza a menudo para construir un almacén de datos. Durante este proceso, los datos se toman (extraen) de un sistema de origen, se convierten (transforman) en un formato que se puede almacenar y se almacenan (cargan) en un data warehouse u otro sistema. Extraer, cargar, transformar (ELT) es un enfoque alterno pero relacionado diseñado para canalizar el procesamiento a la base de datos para mejorar el desempeño.

Fuente: https://www.sas.com/es_ar/insights/data-management/what-is-etl.html#:~:text=ETL se utiliza para mover,contenido histórico para la empresa.

Para saber más de ETL:

https://es.wikipedia.org/wiki/Extract,_transform_and_load

En este caso, una herramienta ELT puede extraer datos de varios sistemas de origen y almacenarlos en un data lake —compuesto por Data Factory, Databricks y SQL—. EL proceso ETL, a su vez, puede extraer los datos del data lake, transformarlos y cargarlos en un almacén de datos para la elaboración de informes.

Se toman los datos, se procesan y se genera la información que va a permitir ofrecer los resultados buscados

extract, transform, load. Extrae datos, los transforma a la necesidad y los carga.

2 usos:

	1) En data mining: minando datos
	2) Utiliza la herramienta anterior, pero dirigiendolo al uso del tiempo real. 

ETL (Extract Transform Load)

Se trata de obtener datos de alguna fuente, luego transformarlos según las necesidades y por último cargarlos en el lugar que se requieran. Es utilizado normalmente junto con el Data Mining. También, hay un caso de uso que se da del ETL en tiempo real.

ETL
.
ETL (Extract, Transform and Load) es una herramienta muy utilizada en la disciplina de Data Mining. Tiene 2 grandes usos
.
1 En Data mining para extraer, transformar y cargar los datos a una nueva base de datos o un** Data Warehouse** donde la información se encuentre ordenada y estructurada para poder utilizarla.
.
**2 **Igual al primer uso pero esta vez es en tiempo real utilizando una base de datos basada en documentos donde se puede llevar el estado actual de una aplicación o un sistema y usar una base de datos para Data Warehouse en paralelo como BigQuery y conectar ambas bases de datos por medio de la herramienta ETL. Con una frecuencia determinada por el modelo de negocio de la empresa. Para poder explotarlos a futuro con técnicas como análisis de datos, Business Intelligence, Machine Learning.
.
ETL trata justamente de transformar los datos que se disponen en una base de datos de la empresa en información que ofrezca valor y que permita analizar a profundidad la actividad del negocio y determinar donde se tienen que tomar decisiones de manera inteligente basándose en estos datos.
.
Esta técnica no esta basada en una tecnología en concreto sino la teoría de la transformación de los datos sin embargo existen algunos software que permiten hacer Data PipeLines que es el flujo de información de un lado a otro.

ETL son las siglas de Extract, Transform, Load (extraer, transformar y cargar). Se trata de tomar datos de archivos muertos y convertirlos en algo que sea de utilidad para el negocio.
También ayuda a tomar los datos vivos de la aplicación, transformarlos y guardarlos en un data warehouse periódicamente.

Si les interesa aprender de ETL tools , existe software como Rapidminer que es para aprendizaje , tambien otras como Abinitio o Pentaho , solo que estas ultimas son un poco mas envidiosas en cuanto a informacion

Es una herramienta útil en el data mining, como tal tiene tres etapas que son: extraer, transformar y cargar datos.
Esto se utiliza en especial para la información que no tiene un orden o cohesión, aplicando diferentes transformaciones a dicha información para dejarla bajos ciertos estándares necesarios.

Lean esto, está interesante de lo que mencionó Israel sobre Data Pipeline

https://aws.amazon.com/es/datapipeline/

![](

Data Pipeline.

las ETL son procesos que se utilizan para Depurar, Limpiar, Transformar, Completar los datos y convertirlos en Información disponible y lista para su Análisis
Por lo general se Utilizan Datos que ya no son Transaccionales y se emplean Modelos de estrella para poder analizar y/o mostrar la información
si te acuerdas de las 4 Formas Normales y el Modelo Entidad Relación te serán útiles para entender los datos de tu negocio y aplicar las otras formas normales 5FN, 6FN y la Desnormalización para obtener modelos que satisfagan el análisis requerido de tu información y te permita tomar decisiones basadas es datos

Lo mucho que me interesó el data mining con el ETL se intensificó, me propuse un reto de organizar y aprovechar la información que brindan las variables del proceso de tratamiento de agua de la empresa donde superviso las operaciones.

Se ejecutan varios procesos sobre los datos, para transformarlos y dejarlos listos para que puedan ser almacenados y puestos al alcance de quienes los necesitan en el momento requerido, puede ser en tiempo real o una o dos veces al día

Muchas veces las empresas no tienen los datos con un orden normal, por lo que toca procesarlos, hacer limpiezas, normalizarlos y cargarlos en otro lado.

plicaciones de los procesos ETL

Gracias a los procesos ETL es posible que cualquier organización:

•    Mueva datos desde una o múltiples fuentes.
•    Reformatee esos datos y los limpie, cuando sea necesario.
•    Los cargue en otro lugar como una base de datos, un data mart o un data warehouse.
•    Una vez alojados en destino, esos datos se analicen.
•    O, cuando ya están cargados en su ubicación definitiva, se empleen en otro sistema operacional, para apoyar un proceso de negocio.

Interesante, esto no lo sabía… por lo que veo, las bases de datos que contienen los datos vivos de nuestra aplicación por lo general no nos sirven para hacer cosas mas complejas con los datos, y usualmente son datos “desordenados” por llamarlo de alguna forma, entonces mediante ETL podemos aplicarle alguna transformación a estos datos para guardarlos en el Warehouse ya de una forma que podamos tener los datos “masticados” para poder empezar a hacer nuestros análisis de datos y demás, o al menos es lo que entiendo de esto…

E: Extract = Extraer
T: Transform = Transformar
L: Load = Cargar

sirve para poder extraer datos de una BD en tiempo real o no, realizándoles un procesos de transformación, luego de hacerles esa transformación como limpieza corrección y demás, se cargan en otra BD, para luego dar valor o explotar esos datos.

ETL

Extract. Transform. Load

Extraer. Transformar. Cargar

Técnica que manipula las bases de datos caóticas para re-estructurar los datos de forma que sea nuevamente almacenados en un sistema coherente y normalizado. Permitiendo una optima consulta de los datos y por ende, una eficiente toma de decisiones.

Me gusto el término de tomar un diamante en bruto y sacarle todo el brillo para que adquiera valor !!!

Comparto un artículo interesante de los procesos ETL https://blog.powerdata.es/el-valor-de-la-gestion-de-datos/qu-son-los-procesos-etl

interesante!
★★★★★

ETL excelente
ETL

ETL = Extraer los datos, transformar los datos y, load los datos

Es muy similar al data mining, alguna característica que las diferencia completamente?

E -> Extract
T -> Transform
L -> Load

En verdad, muy interesante, 😉

Podría ser en el caso de Microsoft con el servicio de Azure como Data Warehouse y PowerBI (Business Intelligence)

Yo trabajo con un concepto que maneja ODI (Oracle Data Integrator) el cual es ** ELT** donde se Extrae la información se Carga en un staging area y se Trasforma allí para cuando se finalice se mueve la info a una área definitiva

ETL es un acrónimo que se utiliza en el campo de la gestión de datos y se refiere a un proceso fundamental en la preparación y transformación de datos.

ETL significa:

Extracto (Extraer) :

• Esta fase implica la recopilación de datos desde múltiples fuentes de origen. Las fuentes de datos pueden incluir bases de datos, archivos planos, servicios web, registros de aplicaciones y más. El objetivo de esta etapa es obtener datos crudos de estas diversas fuentes y consolidarlos en un solo lugar.

Transform (Transformar) :

• Después de la extracción de datos, es común que los datos crudos necesiten ser limpiados y transformados para que sean coherentes y útiles. Esto incluye la eliminación de datos duplicados, la corrección de valores incorrectos o inconsistentes y la conversión de datos al formato requerido. También implica la aplicación de reglas de negocio y la agregación de datos según sea necesario.

Load (Cargar) :

• La última fase implica la carga de los datos transformados en un sistema de destino, generalmente en un almacén de datos (data warehouse) o una base de datos que permite el análisis posterior. Los datos se almacenan en un formato optimizado para consultas y análisis.

El proceso ETL es esencial en el campo del business Intelligence y la analítica de datos, ya que permite a las organizaciones recopilar, limpiar y transformar datos de diversas fuentes en un formato que sea útil para la toma de decisiones, la generación de informes y el análisis de datos. Los datos limpios y bien estructurados son críticos para garantizar que los análisis y las visualizaciones sean precisos y significativos.

60. ETL

• Extract
• Transformation: sumatorias, limpieza
• Load
• Dos casos 1 data mining, depurar, unificar, cargar. Cuando una empresa ya tiene bd
• 2 lo mismo pero en tiempo real, sacar los datos de una db, transformarlos y llevarlos a otra como warehouse. De data viva a warehouse
• Para llevar de una forma de datos a otra más aprovechable.
• Data pipelines

ETL

Extract, transform and load!

Todo esta super interesante. Transformemos este carbon en diamante.

Una herramienta para trabajar con ETL es Pentaho, cuenta con un poderoso motor de Data mining y servidor OLAP.

Enfocado Big Data y bases de datos no relacionales.

Consiste en extraer información de una base de datos ordenadas o desordenadas y convertirlos mediante distintas técnicas en información útil. Es muy usado en el Data mining.

Otro uso del ETL más reciente, tiene que ver con acoplar información almacenada en una base de dato a otra dentro de una misma aplicación. Por ejemplo, podemos tener una aplicacion que use una base de datos basada en documentos para mostrar los datos “vivos” (actuales o que se están usando) pero los archivos muertos o información antigua en desuso se alamacena en una base de dato para wearhouse como Big Query. El ETL se usa para tomar los datos vivos y llevarlos al warehouse cada cierto tiempo.

ETL ha evolucionado para satisfacer requisitos de integración emergentes para cosas como los datos transmitidos por streaming. Las organizaciones necesitan ETL y ELT para conjuntar datos, mantener la precisión y proporcionar el recurso de auditoría que suele requerirse en los almacenes, reportes y análisis de datos.

Una data pipeline de datos es una serie de pasos de procesamiento de datos.
There are a series of steps in which each step delivers an output that is the input to the next step. This continues until the pipeline is complete. In some cases, independent steps may be run in parallel.

En el curso de Business Intelligence, específicamente
en esta clase, hablan de ETL también.

ETL es Extraer datos ordenados o desordenados,
Transformar estos datos y darle alguna estructura útil.
Cargar estos datos para poder consultarlos con facilidad y hacer reportes analisis y demas

ETL: es una gran herramienta, es una técnica que se utiliza para hacer transformación de datos de una forma de datos a otra.

En la Hoja 1, deberás poner los campos necesarios, pero se validará que el campo fecha este unificado. (Pantallazo del Excel y el ETL)

Trabaje como ETL usando un producto de Microsfot SSIS tambien esta Pentaho como open source, lo use para la migracion de sistemas, transformar data de varios servidores y archivos excel para el nuevo formato de archivo

¿Qué tendria de diferencia con el data mining?

Genial !!!

Hola, saben que cursos de Platzi servirán para profundizar en este tema?