Procesamiento de datos: pipelines, Apache Spark y cómputo paralelo

Clase 11 de 25 • Curso de Fundamentos de Ingeniería de Datos

Dickinson Alexander Duran Ravelo

student•

Profe, siento que a la ruta de Data Engineer le falta un curso usando todo el stack completo (hadoop, airflow, kafka, pyspark ) los cursos son buenos pero no veo ninguno que use todas estas herramientas para llevar a cabo un proyecto real.

Ricardo Alanis

teacher•

Gracias por contribuir, le comento al equipo!

Hernán Arica

student•

Pienso lo mismo...

Julian Castro Pulgarin

student•

Yo conocí Spark en mi primer trabajo como Data Scientist, es todo un mundo eso de los clusters y el procesamiento paralelo, de verdad notas una diferencia al trabajar con grandes cantidades de datos; nosotros lo usamos con la integración de Databricks, y si es crítico para trabaja con los datos que tenemos

Also, me gustaría hacer algún proyecto sea personal o profesional con datos en streaming, creo que eso es otra ondaa

Ricardo Alanis

teacher•

Excelente, momento de hacer proyectos!

Sergio Andrés Piratoba Forero

student•

Que genial tu experiencia, ¿Databricks? voy a investigar sobre esa herramienta...

Carlos Axel Rodriguez Berrelleza

student•

¿Qué es Apache Spark?

Spark es un motor de código abierto para el procesamiento y análisis de información a gran escala. Ofrece un motor unificado con un sistema de procesamiento paralelo o distribuido a través de clusters de computadoras que permite realizar una variedad de tareas a una mayor velocidad debido, entre otras razones, al conjunto de bibliotecas que incluye y que pueden usarse en combinación.
Características de Apache Spark
- Velocidad
- Cache Poderoso
- Despliegue
- Tiempo real
- Poliglota (Varios lenguajes de programación)
- Escalable
Stack de Apache Spark
- Spark SQL (Se centra en el procesamiento de datos estructurados y permite consultar macrodatos desde otras fuentes)
- Spark Streaming (Permite procesar flujos de datos escalables y tolerantes a fallas en tiempo real)
- MLib ( biblioteca de algoritmos para realizar operaciones enfocadas a ML)
- GraphX (ofrece operaciones para la manipulación de grafos)
- Spark Core (la base funcional de las anteriores)
- Standalone Scheduler
- YARN
- Mesos

Ricardo Alanis

teacher•

Gracias por compartir!

Ian Cristian Ariel Yané

student•

Pipeline resultado de hacer ETL (extraer, tranformar y cargar)

Ricardo Alanis

teacher•

Así es!

KEVIN CAMILO BARRETO VARON

student•

Apache Spark, es una herramienta que nos ayuda a construir o soportar grandes pipelines mediante dos metodologías, la primera es llamada HDFS, este es un proceso donde se alimenta de diversas fuentes como archivos, servidores de archivos para llevarlos a sus sistema y procesarlos con el motor de Spark. El segundo enfoque es el de Streamig que se encarga de alimentarse de diferentes servicios en tiempo real (Twiter, kafka, kinesis) para procesarlas y posteriormente llevarlas a su destino.

En Spark estos procesos se soportan en el procesamiento paralelo, el cual distribuye su carga en diferentes nodos llamados Worker Node.

Ricardo Alanis

teacher•

Exacto! Escala y paralelismo!

Ian Cristian Ariel Yané

student•

Son la mayoria de empresas que requieren el manejo de bigdata: MercadoLibre, Instagram, Linkedin, etc.

Ricardo Alanis

teacher•

Así es! grandes engineers para grandes datos!

Pablo .

student•

Spark en:

Pinterest: por medio de Spark Streaming
Conviva
Uber
Yelp
Autodesk
Databricks
eBay Inc.
Elsevier Labs

Referencia: Transformando el mundo del Big Data con Spark | Project and product names using “Spark”

Ricardo Alanis

teacher•

Excelente, gracias por compartir Pablo!!

Montero Subero Jonathan Gregorio

student•

Pinterest. Por medio de Spark Streaming, Pinterest puede conocer el modo en que los usuarios de todo el mundo reaccionan ante ciertos “pins” en tiempo real. De esta manera, el algoritmo puede hacer recomendaciones personalizadas que se basan en las interacciones previas de cada usuario y les ofrecen productos cuya probabilidad de compra es más alta debido a este análisis de metadatos.

Conviva. Se trata de la segunda compañía de transmisión de videos, después de YouTube. Conviva utiliza Spark para optimizar el tráfico de videos en vivo y reducir la rotación de los mismos, mejorando la experiencia de visualización de los usuarios.

Uber. Todos los días esta empresa reúne terabytes de información de los viajes de sus usuarios. Con Kafka, HDFS y Spark Streaming logra procesar todos esos datos no estructurados y transformarlos en datos estructurados que luego son sujetos a análisis más complejos mediante Spark.

Yelp. Para orientar adecuadamente su publicidad, el equipo de Yelp crea modelos de predicción que les permiten determinar la probabilidad de que un usuario interactúe con sus anuncios. Utilizan Apache Spark para procesar grandes cantidades de información para crear modelos de Machine Learning con los que han incrementado no sólo los clics a su anuncios, sino sus ingresos.

Ricardo Alanis

teacher•

Gracias por compartir!

Carleidy Serrano

student•

estoy de cero con el mundo tecnológico. Estoy pensando seriamente con toda esta terminología que esto está fuera de mi alcance ?

Paulo Leal

student•

Es normal sentirse asi al principio. Con el tiempo y experiencia te vas familiarizando con toda esta terminología. Llevo 6 años en el mundo del DataEngineer y aun sigo descubriendo nuevos terminos.

Ricardo Alanis

teacher•

Si, toca seguir aprendiendo, siempre. Aun y dando el curso, me toca siempre estarme actualizando.

Andres Felipe Diaz Bolaños

student•

Encontre varios empleos que tienen en sus requerimientos el manejo de Spark

Ricardo Alanis

teacher•

Totalmente, sobre todo los roles que van avanzando de ing. de datos, lo van requiriendo!

Antonio Demarco Bonino

student•

Encontre este articuló de Apache Spark que esta interesante. Dentro de las cosas que rescato son estas: "Actualmente esta herramienta forma parte de los procesos internos de algunas de las empresas más grandes del mundo con una cultura data-driven, tales como ++Amazon, IBM, Groupon, Ebay, TripAdvisor, NASA, Yahoo y Shopify, entre muchas otras++."

https://www.crehana.com/blog/transformacion-digital/apache-spark-big-data/

Ricardo Alanis

teacher•

Gracias por compartir!! <3

Andrea Aranda

student•

Encontré esta información publicada por Google donde viene más a detalle qué es Spark y cómo es utilizado por los diferentes miembros del negocio.

Ricardo Alanis

teacher•

Muchas gracias por compartir!

Paulo Leal

student•

Pipeline = ETL.

6 años trabajando con ellas y hasta ahora me entero ajajjaja.

En Claro Colombia, Spark se utiliza para el flujo de informacion de trafico de telecomunicaciones. Y suele usarse streaming puro o en semi batch con latencias de hasta maximo 5 minutos.

Dado que los archicos de trafico suelen ser tan extensos y pesados. Es la mejor herramienta con la que se puede capturar ese tipo de informacion.

Donovan Lenoar Palacios Camarillo

student•

Spark es una plataforma de procesamiento de datos de código abierto que es ampliamente utilizada por muchas empresas para análisis de datos, procesamiento en tiempo real y aprendizaje automático. Aquí tienes un listado de cinco empresas que utilizan Apache Spark:

Netflix: Netflix utiliza Apache Spark para una variedad de casos de uso, incluida la recomendación de contenido personalizado, la optimización de la infraestructura de transmisión y el análisis de datos para mejorar la experiencia del usuario.
Uber: Uber utiliza Spark para realizar análisis en tiempo real de datos de viajes, procesar grandes volúmenes de datos de ubicación de conductores y pasajeros, y optimizar su plataforma de transporte compartido.
Amazon: Amazon utiliza Spark en diferentes áreas de su negocio, incluido Amazon Web Services (AWS), donde proporciona soporte para Spark en su plataforma de servicios en la nube.
Adobe: Adobe utiliza Apache Spark para procesar grandes volúmenes de datos de clientes y realizar análisis de datos en tiempo real para impulsar sus productos de marketing digital y creatividad.
Airbnb: Airbnb utiliza Spark para procesar datos de usuarios y reservas, realizar análisis de datos para mejorar la experiencia del cliente y optimizar la recomendación de alojamientos.

Miguel Angel Reyes Moreno

student•

En la propia página de Apache spark podemos saber qué empresas lo utilizan: https://spark.apache.org/powered-by.html

Ricardo Alanis

teacher•

<3 Gracias por compartir!

Andrés Felipe Toro González

student•

Un pipeline es una serie de pasos o procesos que transforman datos desde su origen hasta su destino final. En la ingeniería de datos, se utilizan para automatizar la recopilación, procesamiento y almacenamiento de datos. Por ejemplo, un pipeline puede incluir etapas como la extracción de datos de varias fuentes, su transformación a un formato adecuado y su carga en un sistema de almacenamiento, como un Data Warehouse. En este contexto, herramientas como Apache Airflow son fundamentales para gestionar y orquestar estos procesos de manera eficiente.

William Alberto Paternina Romo

student•

Netflix

Procesamiento de streams en tiempo real para recomendaciones personalizadas, análisis de eventos de usuarios. ProjectPro+1

Uber

Tienen pipelines ETL continuos, usan Spark Streaming junto con Kafka y almacenamiento distribuido para procesar datos generados por usuarios. Qubole+1

Pinterest

Para detectar tendencias emergentes en interacción de usuarios, recomendaciones, análisis de comportamiento. eWeek+2ProjectPro+2

Alibaba Taobao

Procesamiento de enormes volúmenes de datos (petabytes), análisis en su plataforma de e-commerce. ProjectPro+1

OpenTable

Mejora de algoritmos de recomendación, procesamiento de reseñas y opiniones con NLP. eWeek+1

Conviva

Para streaming de video, monitoreo de calidad de servicio, análisis en tiempo real para evitar buffering, etc. eWeek+1

Yahoo!

Personalización de contenido, recomendaciones, publicidad basada en aprendizaje automático. ProjectPro+1

Shopify

Análisis de grandes volúmenes de registros para detectar patrones, análisis de clientes, mejorar decisiones comerciales. ProjectPro

Tencent

Para datos en tiempo real en juegos, chat y monitoreo de interacciones, etc. ProjectPro

Huawei

En telecomunicaciones, análisis de datos de red, detectar cuellos de botella, etc.

Daniel Fuentes

student•

Capital One

Citi

Visa

Apple

Amazon

Son empresas que usan Spark

Gustavo Garcia Adame

student•

El procesamiento en batch es una técnica para manejar grandes volúmenes de datos de manera eficiente. En este enfoque, los datos se recopilan durante un período y luego se procesan todos juntos en un solo lote. Esto contrasta con el procesamiento en tiempo real, donde los datos se manejan de inmediato. El procesamiento en batch es útil en entornos donde la latencia no es crítica y permite optimizar recursos, como en la utilización de herramientas como Apache Spark para análisis de datos masivos.

Gustavo Garcia Adame

student•

HDFS, o Hadoop Distributed File System, es un sistema de archivos diseñado para almacenar y manejar grandes volúmenes de datos en un entorno distribuido. Se utiliza en el ecosistema de Hadoop y permite la replicación de datos para garantizar la disponibilidad y la tolerancia a fallos. HDFS divide los archivos en bloques y los distribuye a través de varios nodos, optimizando así el acceso y el procesamiento de datos.

Es fundamental en la ingeniería de datos, especialmente para gestionar datos eficientemente.

Procesamiento de datos: pipelines, Apache Spark y cómputo paralelo

Introducción a la ingeniería de datos

¿Qué es ingeniería de datos? ¿Qué es Data Engineer?

Formación Integral para Data Engineers: Retos y Herramientas Esenciales

¿Cómo convertirte en Data Engineer?

¿Dónde ejercer como Data Engineer?

Tareas de Data Engineer: DataOPs

Herramientas del ciclo de DataOps

Agile en ingeniería de datos

Lenguajes de programación e ingeniería de software

¿Dónde y cómo escribir tu código en ingeniería de datos?

Automatización y scripting

Fuentes de datos: SQL, NoSQL, API y web scraping

Procesamiento de datos: pipelines, Apache Spark y cómputo paralelo

Automatizar los pipelines: Airflow

Containers y empaquetamiento: Docker y Kubernetes

Manejo de ambientes para datos

Testing de software y de datos

CI/CD basico

Servidores y computación en la nube para data

Reentrenamiento y control de salud de servicios

Medición de indicadores y seguimiento a proyectos

Ejerciendo como Data Engineer

Buscando Oportunidades como Data Engineer

Evolución en el rol: ganando seniority como Data Engineer

Evolución en el rol: manager, architect, pivot

Trabajando en equipo como Data Engineer

Conclusiones

Compartir con la comunidad y seguir creciendo

Completa tu guía con los retos y certifícate