Cursos Empresas Blog Live Conf Eventos Precios

0:003:47

Procesamiento de datos: pipelines, Apache Spark y cómputo paralelo

Curso de Fundamentos de Ingeniería de Datos

Clase 11 / 25

Ver clases

Procesamiento de datos: pipelines, Apache Spark y cómputo paralelo

Curso de Fundamentos de Ingeniería de Datos

Clase 11 de 25

Clase 11 / 25

Procesamiento de datos: pipelines, Apache Spark y cómputo paralelo

Curso de Fundamentos de Ingeniería de Datos

Clase 11 / 25

Ver clases

Comentarios (49)49 comentarios

Dickinson Alexander Duran Ravelo

Hace 4 años

Profe, siento que a la ruta de Data Engineer le falta un curso usando todo el stack completo (hadoop, airflow, kafka, pyspark ) los cursos son buenos pero no veo ninguno que use todas estas herramientas para llevar a cabo un proyecto real.

Ricardo Alanis

Profesor

Gracias por contribuir, le comento al equipo!

Hernán Arica

Hace 3 años

Pienso lo mismo...

Julian Castro Pulgarin

Yo conocí Spark en mi primer trabajo como Data Scientist, es todo un mundo eso de los clusters y el procesamiento paralelo, de verdad notas una diferencia al trabajar con grandes cantidades de datos; nosotros lo usamos con la integración de Databricks, y si es crítico para trabaja con los datos que tenemos

Also, me gustaría hacer algún proyecto sea personal o profesional con datos en streaming, creo que eso es otra ondaa

Excelente, momento de hacer proyectos!

Sergio Andrés Piratoba Forero

Hace 2 años

Que genial tu experiencia, ¿Databricks? voy a investigar sobre esa herramienta...

Carlos Axel Rodriguez Berrelleza

¿Qué es Apache Spark?

Spark es un motor de código abierto para el procesamiento y análisis de información a gran escala. Ofrece un motor unificado con un sistema de procesamiento paralelo o distribuido a través de clusters de computadoras que permite realizar una variedad de tareas a una mayor velocidad debido, entre otras razones, al conjunto de bibliotecas que incluye y que pueden usarse en combinación.
Características de Apache Spark
- Velocidad
- Cache Poderoso
- Despliegue
- Tiempo real
- Poliglota (Varios lenguajes de programación)
- Escalable
Stack de Apache Spark
- Spark SQL (Se centra en el procesamiento de datos estructurados y permite consultar macrodatos desde otras fuentes)
- Spark Streaming (Permite procesar flujos de datos escalables y tolerantes a fallas en tiempo real)
- MLib ( biblioteca de algoritmos para realizar operaciones enfocadas a ML)
- GraphX (ofrece operaciones para la manipulación de grafos)
- Spark Core (la base funcional de las anteriores)
- Standalone Scheduler
- YARN
- Mesos

Gracias por compartir!

Ian Cristian Ariel Yané

Pipeline resultado de hacer ETL (extraer, tranformar y cargar)

Así es!

KEVIN CAMILO BARRETO VARON

Apache Spark, es una herramienta que nos ayuda a construir o soportar grandes pipelines mediante dos metodologías, la primera es llamada HDFS, este es un proceso donde se alimenta de diversas fuentes como archivos, servidores de archivos para llevarlos a sus sistema y procesarlos con el motor de Spark. El segundo enfoque es el de Streamig que se encarga de alimentarse de diferentes servicios en tiempo real (Twiter, kafka, kinesis) para procesarlas y posteriormente llevarlas a su destino.

En Spark estos procesos se soportan en el procesamiento paralelo, el cual distribuye su carga en diferentes nodos llamados Worker Node.

Exacto! Escala y paralelismo!

Son la mayoria de empresas que requieren el manejo de bigdata: MercadoLibre, Instagram, Linkedin, etc.

Así es! grandes engineers para grandes datos!

Pablo .

Spark en:

Pinterest: por medio de Spark Streaming
Conviva
Uber
Yelp
Autodesk
Databricks
eBay Inc.
Elsevier Labs

Referencia: Transformando el mundo del Big Data con Spark | Project and product names using “Spark”

Excelente, gracias por compartir Pablo!!

Montero Subero Jonathan Gregorio

Pinterest. Por medio de Spark Streaming, Pinterest puede conocer el modo en que los usuarios de todo el mundo reaccionan ante ciertos “pins” en tiempo real. De esta manera, el algoritmo puede hacer recomendaciones personalizadas que se basan en las interacciones previas de cada usuario y les ofrecen productos cuya probabilidad de compra es más alta debido a este análisis de metadatos.

Conviva. Se trata de la segunda compañía de transmisión de videos, después de YouTube. Conviva utiliza Spark para optimizar el tráfico de videos en vivo y reducir la rotación de los mismos, mejorando la experiencia de visualización de los usuarios.

Uber. Todos los días esta empresa reúne terabytes de información de los viajes de sus usuarios. Con Kafka, HDFS y Spark Streaming logra procesar todos esos datos no estructurados y transformarlos en datos estructurados que luego son sujetos a análisis más complejos mediante Spark.

Yelp. Para orientar adecuadamente su publicidad, el equipo de Yelp crea modelos de predicción que les permiten determinar la probabilidad de que un usuario interactúe con sus anuncios. Utilizan Apache Spark para procesar grandes cantidades de información para crear modelos de Machine Learning con los que han incrementado no sólo los clics a su anuncios, sino sus ingresos.

Carleidy Serrano

estoy de cero con el mundo tecnológico. Estoy pensando seriamente con toda esta terminología que esto está fuera de mi alcance ?

Paulo Leal

Es normal sentirse asi al principio. Con el tiempo y experiencia te vas familiarizando con toda esta terminología. Llevo 6 años en el mundo del DataEngineer y aun sigo descubriendo nuevos terminos.

Si, toca seguir aprendiendo, siempre. Aun y dando el curso, me toca siempre estarme actualizando.

Andres Felipe Diaz Bolaños

Encontre varios empleos que tienen en sus requerimientos el manejo de Spark

Totalmente, sobre todo los roles que van avanzando de ing. de datos, lo van requiriendo!

Daniel Avila Cardenas

Hace 10 meses

Empresas que usan Spark:

🎬 Netflix

Usa Spark para analizar millones de reproducciones y clics en tiempo real.
Objetivo: recomendar contenido personalizado y optimizar el streaming.
Spark Streaming les permite detectar patrones de consumo casi al instante.

🛒 Amazon

Con S3 (data lake) y Spark, procesa datos de compras, inventarios y logística.
Objetivo: mejorar recomendaciones de productos y optimizar rutas de entrega.
S3 funciona como el gran contenedor de datos crudos; Spark los transforma y analiza.

🚗 Uber

Utiliza Hadoop y Spark para analizar viajes, precios dinámicos y tiempos de espera.
Objetivo: calcular tarifas en tiempo real y mejorar la asignación de conductores.
Spark Streaming procesa datos de ubicación de miles de usuarios simultáneamente.

🎵 Spotify

Procesa datos de reproducción con Spark para generar listas personalizadas como Discover Weekly.
Objetivo: mejorar la experiencia del usuario con recomendaciones basadas en patrones de escucha.

Antonio Demarco Bonino

Encontre este articuló de Apache Spark que esta interesante. Dentro de las cosas que rescato son estas: "Actualmente esta herramienta forma parte de los procesos internos de algunas de las empresas más grandes del mundo con una cultura data-driven, tales como ++Amazon, IBM, Groupon, Ebay, TripAdvisor, NASA, Yahoo y Shopify, entre muchas otras++."

https://www.crehana.com/blog/transformacion-digital/apache-spark-big-data/

Gracias por compartir!! <3

Andrea Aranda

Encontré esta información publicada por Google donde viene más a detalle qué es Spark y cómo es utilizado por los diferentes miembros del negocio.

Muchas gracias por compartir!

Pipeline = ETL.

6 años trabajando con ellas y hasta ahora me entero ajajjaja.

En Claro Colombia, Spark se utiliza para el flujo de informacion de trafico de telecomunicaciones. Y suele usarse streaming puro o en semi batch con latencias de hasta maximo 5 minutos.

Dado que los archicos de trafico suelen ser tan extensos y pesados. Es la mejor herramienta con la que se puede capturar ese tipo de informacion.

Donovan Lenoar Palacios Camarillo

Spark es una plataforma de procesamiento de datos de código abierto que es ampliamente utilizada por muchas empresas para análisis de datos, procesamiento en tiempo real y aprendizaje automático. Aquí tienes un listado de cinco empresas que utilizan Apache Spark:

Netflix: Netflix utiliza Apache Spark para una variedad de casos de uso, incluida la recomendación de contenido personalizado, la optimización de la infraestructura de transmisión y el análisis de datos para mejorar la experiencia del usuario.
Uber: Uber utiliza Spark para realizar análisis en tiempo real de datos de viajes, procesar grandes volúmenes de datos de ubicación de conductores y pasajeros, y optimizar su plataforma de transporte compartido.
Amazon: Amazon utiliza Spark en diferentes áreas de su negocio, incluido Amazon Web Services (AWS), donde proporciona soporte para Spark en su plataforma de servicios en la nube.
Adobe: Adobe utiliza Apache Spark para procesar grandes volúmenes de datos de clientes y realizar análisis de datos en tiempo real para impulsar sus productos de marketing digital y creatividad.
Airbnb: Airbnb utiliza Spark para procesar datos de usuarios y reservas, realizar análisis de datos para mejorar la experiencia del cliente y optimizar la recomendación de alojamientos.

Miguel Angel Reyes Moreno

En la propia página de Apache spark podemos saber qué empresas lo utilizan: https://spark.apache.org/powered-by.html

<3 Gracias por compartir!

Daniel Urango

Hace un mes

Netflix: utiliza Spark para el análisis de datos masivos con el propósito de realizar recomendaciones a los usuarios.
Mercedes-Benz: analizan datos masivos de sensores en sus vehículos así como zonas de carga con Spark para optimizar el funcionamiento de sus baterías eléctricas.
Linkedin: utilizan Spark para el procesamiento de datos masivos relacionados a las métricas de visualización de los perfiles y en su motor de búsqueda de empleo.
Minecraft: Microsoft analiza millones de datos sobre el comportamiento de los jugadores con Spark para mejorar la experiencia de juego y detectar errores en etapas tempranas.

Jhoan Sebastian Lozano Gutierrez

Hace 2 meses

Un clúster es un grupo de computadoras interconectadas que trabajan juntas como si fueran un solo sistema para procesar grandes volúmenes de datos. Cada computadora individual dentro de ese clúster se llama nodo.

Se compone de dos tipos de nodos: Nodo Maestro (Master): Coordina, administra recursos y asigna las tareas. Nodos Trabajadores (Workers): Ejecutan los cálculos y procesan los datos en paralelo.

Kevin Ulises Covarrubias Pavón

Hace 6 meses•editado

Que es el escenario de datos?\

El escenario de datos es el terreno donde juegas: define el volumen, la velocidad y la estructura de la información que intentas procesar. No es solo el "qué", sino las limitaciones físicas que te obligan a elegir entre un script simple o la potencia de Apache Spark.

Edward Jim Nole Nolasco

Hace 7 meses

Procesamiento de datos: pipelines, Apache Spark y cómputo paralelo

Procesamiento de datos: pipelines, Apache Spark y cómputo paralelo

Procesamiento de datos: pipelines, Apache Spark y cómputo paralelo

Progreso del curso

Introducción a la ingeniería de datos

Herramientas del ciclo de DataOps

Ejerciendo como Data Engineer

Conclusiones

Procesamiento de datos: pipelines, Apache Spark y cómputo paralelo

Procesamiento de datos: pipelines, Apache Spark y cómputo paralelo

Comentarios

Comentarios