ETL

ETL(Extract, Transform and Load)

Esta habilidad es indispensable para quien se quiera dedicar al data science, yo no sé los ustedes colegas pero mi objetivo es ese al 100%

curso de ingenieria de datos en python es el curso que hay en platzi que ensena ETL

ETL literalmente es ordenar el desastre de otros ⛏

LAs ETL se usan en el ambito del DataWarehouse, sin embargo con el desarrollodel cloud nace el DataLake que usa las ELT, entonces, la diferencia entre ETL y ELT depende de dónde se transforman los datos y cuántos datos se retienen en almacenes de datos operativos.

ETL

ELT

En mi día a día como consultor SEO, se utiliza mucho software as a service, software en la nube que cumplen la función exactamente como dice Israel de Data Pipelines, extraen información de los sitios webs, la transforman, y las analizamos para tomar decisiones entorno a acciones que nos permitan posicionar mejor los sitios webs, asi como estrategias de marketing orgánico e inbound marketing.

Al iniciar ésta clase de ETL menciona que ésta clase debe estar luego de la de DataMining, creo que deberían moverla, ya que es la primera clase de la unidad…

Arquitectura ETL Tradicional

Hay unos cursos geniales en platzi de ETL 😃

ETL:

Extraer datos ordenados o desordenados,
Transformar estos datos y darle alguna estructura útil.
Cargar estos datos para poder consultarlos con facilidad.

Las ETL son muy utilizadas en empresas con múltiples sistemas donde se deben llevar datos de un sistema a otro. Como dice Israel , por ejemplo diariamente.
En la empresa utilizamos SSIS , SQL Server Integration Services , aunque sea la ETL de Microsoft te permite conectarte a diversas bases de datos incluida Oracle.

Para realizar ETL les recomiendo utilizar la herramienta Pentaho

What is a Data Pipeline?

Que son esos dispositivos que se ven apilados?

ETL en la arquitectura de Data Warehouse

ETL(Extract Transform load): Tomar datos de un lugar, transformarlos y depurarlos para que sean utilizable y luego cargarlos en otro lado donde se puedan utilizar, es una manera de realizar Data Mining.

En resumen , el datamining se presenta como una tecnología emergente, con varias ventajas: por un lado, resulta un buen punto de encuentro entre los investigadores y las personas de negocios; por otro, ahorra grandes cantidades de dinero a una empresa y abre nuevas oportunidades de negocios. Además, no hay duda de que trabajar con esta tecnología implica cuidar un sinnúmero de detalles debido a que el producto final involucra “toma de decisiones”.

El concepto principal es Business Intelligence dentro del mismo está involucrado el diseño del Data warehouse, las tecnicas del ETL y la presentación de los datos en forma de reportes, cuadros de control o balance score card. Para mayor información pueden consultar a Ralph Kimball y su obra: Dataware house toolkit classic.

ETL son las siglas de Extract, Transform, Load (extraer, transformar y cargar). Se trata de tomar datos de archivos muertos y convertirlos en algo que sea de utilidad para el negocio.
También ayuda a tomar los datos vivos de la aplicación, transformarlos y guardarlos en un data warehouse periódicamente.

ETL (Extract Transform Load)
Consiste en la transformación de datos para darles un sentido, un valor. Pueden darse en:

• Datos históricos → dándoles un sentido.
• Datos vivos → conectándolos al data warehouse para su posterior análisis

Nota:

• Existen programas que se dedican a transformar datos vivos al data warehouse llamados pipelines

hasta ahora no he visto el algebra jeje

Notas:
ETL: sirve de 2 formas particulares para obtener valor de los datos en bruto,

1. Para extraer data muerta de un Data Warehouse y realizar diferentes procesos con ella (transformarla, calcularla, limpiarla, e.t.c) para obtener valor de ella

2. Sirve también para pasar información viva de la aplicación con sus estados actuales, y luego de un tiempo definido, realizar esta tecnica de ETL para transformar la información y luego almacenarla en un Data Warehouse

ETL es la herramienta para guardar los datos necesarios extraídos de distintas fuentes de datos en el DW para realizar analítica que permita visualizar datos y tomar decisiones basados en analítica descriptiva y predictiva.

Muy utilizada en procesos de integración de datos.

Hola,

No me quedo muy claro la diferencias entre Big Data vs Data Warehouse?
Ni tampoco las diferencias entre Data Mining vs ETL?

Super interesante!

Es la primera vez que veo este tema. Aunque me imaginé que existía algo así. Es muy interesante el tema.

ETL: extraer, transformar y cargar. Tiene dos casos de usos: cuando tenemos grandes cantidades de datos que requieren ser limpiados y organizados para luego almacenar en bases de datos como Data Wharehouse, y en casos en los que tenemos una gran cantidad de datos pero que se generan en tiempo real, son datos vivos que se organizan y luego se guardan en una base de datos para luego poder operar y trabajar con ellos.

ETL (Extraer, Transformar y Cargar), es el proceso de compilación de datos a partir de un número ilimitado de fuentes, su posterior organización y centralización en un único repositorio.

La transformación de los datos requiere conocimiento del giro del negocio, utilizando una base estadística para comprender lo que se está haciendo y elaborar propuestas de valor.

con la herramienta pentaho podemos hacer ETL entre distintos tipos de bases de datos. por si quieres investigar, por mi parte e visto como usar ETL para extraer las dimensiones y medidas de una base de datos para luego hacer BI en Qlik sense, realizando gráficos que permitan tomar decisiones en la empresa etc.

En definitiva, el principal objetivo de este proceso es facilitar el movimiento de los datos y la transformación de los mismos, integrando los distintos sistemas y fuentes en la organización moderna.

El término ETL corresponde a las siglas en inglés de:

Extract: extraer.

Transform: transformar.

Load: cargar.

Gracias por el vídeo instructor Israel. Así que básicamente, ETL es la técnica de refinar los datos para darles un uso en los objetivos que tiene un negocio o empresa.

46. Mis apuntes sobre: “ETL”

ETL: Significa “EXTRACT”, “TRANSFORM” y “LOAD”.

Tomas datos de un lugar, haces un proceso de transformación y lo terminas cargando
en otro lado. Se usa en [Data Mining].

También cada X cantidad de tiempo se puede extraer información de una DB no relacional,
aplicar ETL y guardar en una DB relacional, y luego poder aplicar análisis a esos datos.

No está basada en una tecnología en concreto, sino es la idea, existen cierto software
llamado “data pipelines”.

Me encantaria saber que procesos o metodologías se aplican en la Fase de Transform de ETL.

ETL, una herramienta importante para el Data Mining

Salgo de una a googlear esas tecnicas de las que hablò

Como herramientas de ETL esta POWER CENTER INFORMATICA, TALEND, PENTAHO DATA INTEGRATION, etc etc…

Se extrae la información “sin sentido” y se realiza un procesamiento para que dicha información adquiera un significado.

Que buena vibra transmite el profe en esta clase. Gracias por ello ! ;)

Es una herramienta útil en el data mining, como tal tiene tres etapas que son: extraer, transformar y cargar datos.
Esto se utiliza en especial para la información que no tiene un orden o cohesión, aplicando diferentes transformaciones a dicha información para dejarla bajos ciertos estándares necesarios.

Lean esto, está interesante de lo que mencionó Israel sobre Data Pipeline

https://aws.amazon.com/es/datapipeline/

![](

Data Pipeline.

las ETL son procesos que se utilizan para Depurar, Limpiar, Transformar, Completar los datos y convertirlos en Información disponible y lista para su Análisis
Por lo general se Utilizan Datos que ya no son Transaccionales y se emplean Modelos de estrella para poder analizar y/o mostrar la información
si te acuerdas de las 4 Formas Normales y el Modelo Entidad Relación te serán útiles para entender los datos de tu negocio y aplicar las otras formas normales 5FN, 6FN y la Desnormalización para obtener modelos que satisfagan el análisis requerido de tu información y te permita tomar decisiones basadas es datos

Lo mucho que me interesó el data mining con el ETL se intensificó, me propuse un reto de organizar y aprovechar la información que brindan las variables del proceso de tratamiento de agua de la empresa donde superviso las operaciones.

Se ejecutan varios procesos sobre los datos, para transformarlos y dejarlos listos para que puedan ser almacenados y puestos al alcance de quienes los necesitan en el momento requerido, puede ser en tiempo real o una o dos veces al día

Muchas veces las empresas no tienen los datos con un orden normal, por lo que toca procesarlos, hacer limpiezas, normalizarlos y cargarlos en otro lado.

plicaciones de los procesos ETL

Gracias a los procesos ETL es posible que cualquier organización:

•    Mueva datos desde una o múltiples fuentes.
•    Reformatee esos datos y los limpie, cuando sea necesario.
•    Los cargue en otro lugar como una base de datos, un data mart o un data warehouse.
•    Una vez alojados en destino, esos datos se analicen.
•    O, cuando ya están cargados en su ubicación definitiva, se empleen en otro sistema operacional, para apoyar un proceso de negocio.

Interesante, esto no lo sabía… por lo que veo, las bases de datos que contienen los datos vivos de nuestra aplicación por lo general no nos sirven para hacer cosas mas complejas con los datos, y usualmente son datos “desordenados” por llamarlo de alguna forma, entonces mediante ETL podemos aplicarle alguna transformación a estos datos para guardarlos en el Warehouse ya de una forma que podamos tener los datos “masticados” para poder empezar a hacer nuestros análisis de datos y demás, o al menos es lo que entiendo de esto…

E: Extract = Extraer
T: Transform = Transformar
L: Load = Cargar

sirve para poder extraer datos de una BD en tiempo real o no, realizándoles un procesos de transformación, luego de hacerles esa transformación como limpieza corrección y demás, se cargan en otra BD, para luego dar valor o explotar esos datos.

ETL

Extract. Transform. Load

Extraer. Transformar. Cargar

Técnica que manipula las bases de datos caóticas para re-estructurar los datos de forma que sea nuevamente almacenados en un sistema coherente y normalizado. Permitiendo una optima consulta de los datos y por ende, una eficiente toma de decisiones.

Me gusto el término de tomar un diamante en bruto y sacarle todo el brillo para que adquiera valor !!!

Comparto un artículo interesante de los procesos ETL https://blog.powerdata.es/el-valor-de-la-gestion-de-datos/qu-son-los-procesos-etl

interesante!
★★★★★

ETL excelente
ETL

ETL = Extraer los datos, transformar los datos y, load los datos

Es muy similar al data mining, alguna característica que las diferencia completamente?

E -> Extract
T -> Transform
L -> Load

En verdad, muy interesante, 😉

Podría ser en el caso de Microsoft con el servicio de Azure como Data Warehouse y PowerBI (Business Intelligence)

ETL son las siglas de Extract, Transform, Load (extraer, transformar y cargar). Se trata de tomar datos de archivos muertos y convertirlos en algo que sea de utilidad para el negocio.
También ayuda a tomar los datos vivos de la aplicación, transformarlos y guardarlos en un data warehouse periódicamente.

ETL

Extract, transform and load!

ETL
.
ETL (Extract, Transform and Load) es una herramienta muy utilizada en la disciplina de Data Mining. Tiene 2 grandes usos
.
1 En Data mining para extraer, transformar y cargar los datos a una nueva base de datos o un** Data Warehouse** donde la información se encuentre ordenada y estructurada para poder utilizarla.
.
**2 **Igual al primer uso pero esta vez es en tiempo real utilizando una base de datos basada en documentos donde se puede llevar el estado actual de una aplicación o un sistema y usar una base de datos para Data Warehouse en paralelo como BigQuery y conectar ambas bases de datos por medio de la herramienta ETL. Con una frecuencia determinada por el modelo de negocio de la empresa. Para poder explotarlos a futuro con técnicas como análisis de datos, Business Intelligence, Machine Learning.
.
ETL trata justamente de transformar los datos que se disponen en una base de datos de la empresa en información que ofrezca valor y que permita analizar a profundidad la actividad del negocio y determinar donde se tienen que tomar decisiones de manera inteligente basándose en estos datos.
.
Esta técnica no esta basada en una tecnología en concreto sino la teoría de la transformación de los datos sin embargo existen algunos software que permiten hacer Data PipeLines que es el flujo de información de un lado a otro.

Todo esta super interesante. Transformemos este carbon en diamante.

Si les interesa aprender de ETL tools , existe software como Rapidminer que es para aprendizaje , tambien otras como Abinitio o Pentaho , solo que estas ultimas son un poco mas envidiosas en cuanto a informacion

Una herramienta para trabajar con ETL es Pentaho, cuenta con un poderoso motor de Data mining y servidor OLAP.

Enfocado Big Data y bases de datos no relacionales.

Consiste en extraer información de una base de datos ordenadas o desordenadas y convertirlos mediante distintas técnicas en información útil. Es muy usado en el Data mining.

Otro uso del ETL más reciente, tiene que ver con acoplar información almacenada en una base de dato a otra dentro de una misma aplicación. Por ejemplo, podemos tener una aplicacion que use una base de datos basada en documentos para mostrar los datos “vivos” (actuales o que se están usando) pero los archivos muertos o información antigua en desuso se alamacena en una base de dato para wearhouse como Big Query. El ETL se usa para tomar los datos vivos y llevarlos al warehouse cada cierto tiempo.

ETL ha evolucionado para satisfacer requisitos de integración emergentes para cosas como los datos transmitidos por streaming. Las organizaciones necesitan ETL y ELT para conjuntar datos, mantener la precisión y proporcionar el recurso de auditoría que suele requerirse en los almacenes, reportes y análisis de datos.

ETL (Extract Transform Load)

Se trata de obtener datos de alguna fuente, luego transformarlos según las necesidades y por último cargarlos en el lugar que se requieran. Es utilizado normalmente junto con el Data Mining. También, hay un caso de uso que se da del ETL en tiempo real.

Una data pipeline de datos es una serie de pasos de procesamiento de datos.
There are a series of steps in which each step delivers an output that is the input to the next step. This continues until the pipeline is complete. In some cases, independent steps may be run in parallel.

En el curso de Business Intelligence, específicamente
en esta clase, hablan de ETL también.

ETL es Extraer datos ordenados o desordenados,
Transformar estos datos y darle alguna estructura útil.
Cargar estos datos para poder consultarlos con facilidad y hacer reportes analisis y demas

ETL: es una gran herramienta, es una técnica que se utiliza para hacer transformación de datos de una forma de datos a otra.

En la Hoja 1, deberás poner los campos necesarios, pero se validará que el campo fecha este unificado. (Pantallazo del Excel y el ETL)

Trabaje como ETL usando un producto de Microsfot SSIS tambien esta Pentaho como open source, lo use para la migracion de sistemas, transformar data de varios servidores y archivos excel para el nuevo formato de archivo

¿Qué tendria de diferencia con el data mining?

Genial !!!

Hola, saben que cursos de Platzi servirán para profundizar en este tema?

Primer caso de uso.

Siglas ETL.

Data Pipelines: servicio que puede utilizar para automatizar el movimiento y la transformación de los datos

asi como de ETL se cuenta con sursos de ELT ?

es como estraer lo archivos malos y ponerlos util

¿Qué herramientas para realizar ETL son las más recomendables?

va de la mano con el datamining

Muy buena explicación de éste proceso. Gracias.

De hecho al parecer casi en alguna parte todas van de la mano.

Excelente información.

Se toman los datos, se procesan y se genera la información que va a permitir ofrecer los resultados buscados

extract, transform, load. Extrae datos, los transforma a la necesidad y los carga.

2 usos:

	1) En data mining: minando datos
	2) Utiliza la herramienta anterior, pero dirigiendolo al uso del tiempo real. 

ETL Extract Transform Load, nos ayuda con el Data Mining.

gracias

Gracias

Gracias!