El ecosistema ETL ofrece decenas de herramientas para mover, limpiar y transformar datos, desde soluciones open source hasta plataformas enterprise. Aquí descubrirás qué herramientas ETL usar para proyectos de ciencia e ingeniería de datos, por qué Pentaho Data Integration y Pandas son una buena puerta de entrada, y qué alternativas existen en la industria.

¿Qué es Pentaho Data Integration y por qué usarlo?

Pentaho Data Integration es una herramienta open source para procesos ETL que puedes correr en tu máquina local o montar en un servidor. Su mayor ventaja está en lo intuitiva que resulta: todo el flujo se construye con drag and drop, arrastrando bloques al diseñador para conectar fuentes, transformaciones y destinos.

La elegimos por tres razones muy concretas:

• Es gratuita y open source, sin barreras de licencia.
• Funciona en Windows, Mac y Linux.
• Tiene una curva de aprendizaje suave, ideal para llevar una ETL de cero a cien.

En este curso trabajaremos con la versión 9.3, cuyo enlace de descarga encuentras en los recursos [3:08].

¿Pentaho Data Integration es gratis? Sí. Es una herramienta open source que puedes instalar en local o en servidor sin costo de licencia, y es compatible con Windows, Mac y Linux.

¿Por qué usar Pandas para construir ETLs en Python?

La segunda herramienta del curso es un procesamiento custom hecho en Python con Pandas como librería estrella. Pandas te permite mover datos entre CSV, bases de datos y data frames, y centralizar todas las transformaciones dentro de su ecosistema [1:53].

La razón es práctica: Python es intuitivo, fácil de aprender y, junto con SQL, es el lenguaje insignia de la ciencia y la ingeniería de datos. Saber cómo llevar una ETL de cero a cien con Pandas tiene aplicación directa en la industria.

¿Qué necesitas saber antes de empezar?

En Platzi existe el curso de manipulación y transformación de datos con Pandas y NumPy, y conviene tomarlo antes que este. Las transformaciones y la captura de datos que aplicaremos aquí asumen ese conocimiento previo.

¿Qué otras herramientas ETL existen en la industria?

Más allá de Pentaho y Pandas, el mercado ofrece soluciones para distintos tamaños de empresa y presupuestos. Conviene conocerlas porque cada sector, banca, telecomunicaciones, retail, suele inclinarse por un tipo específico [4:14].

Soluciones enterprise

Las grandes corporaciones suelen apoyarse en plataformas robustas con cientos de conectores, fuentes y destinos:

• IBM DataStage, un ecosistema completo para limpieza y manejo de datos vía ETL o ELT.
• Oracle Data Integrator (ODI), muy usado en entornos Oracle.
• Informatica, presente en banca y telecomunicaciones.

Soluciones en la nube

Los grandes proveedores cloud tienen sus propios servicios gestionados de ETL:

• Integrate.io.
• Microsoft Azure con sus servicios de integración de datos.
• Google Cloud Platform (GCP).
• AWS de Amazon.

Soluciones open source y custom

Si buscas flexibilidad sin costo de licencia, hay opciones maduras:

• Pentaho Data Integration.
• Talend.
• Apache NiFi.
• Singer.

Y si necesitas control total, puedes construir una ETL custom combinando Python, SQL o Apache Spark, con la librería que mejor se ajuste al caso [5:30].

¿Cuál es la diferencia entre ETL y ELT? En ETL transformas los datos antes de cargarlos al destino. En ELT los cargas primero y los transformas dentro del destino, algo común en data warehouses en la nube.

¿Qué herramienta ETL elijo para empezar? Si quieres aprender rápido sin escribir código, Pentaho Data Integration. Si prefieres control total y trabajas con Python, Pandas es el camino más directo.

Con esto cerramos el primer módulo de fundamentos de ETL: ya sabes qué es, manejas los conceptos base y conoces el panorama de proveedores y herramientas. El siguiente paso es entrar en cada fase del proceso: extracción, transformación y carga, empezando por la extracción de sources. ¿Qué herramienta vas a probar primero, Pentaho o Pandas? Cuéntamelo en los comentarios.