Curso de Fundamentos de Spark para Big Data

Clases del Curso de Fundamentos de Spark para Big Data

Instruido por:
Óscar Gutiérrez Castillo
Óscar Gutiérrez Castillo
Básico
4 horas de contenido
Ver la ruta de aprendizaje
Manipula un amplio volumen de datos de los Juegos Olímpicos
Proyecto del curso
Manipula un amplio volumen de datos de los Juegos Olímpicos

Te encargarás de limpiar, procesar y filtrar los datos registrados durante décadas en los Juegos Olímpicos para obtener información clara de los mismos gracias al poder de Spark.

Curso de Fundamentos de Spark para Big Data

Curso de Fundamentos de Spark para Big Data

Progreso del curso:0/25contenidos(0%)

Contenido del Curso
Tutoriales de estudiantes
Preguntas de estudiantes

Progreso del curso:0/25contenidos(0%)

Conociendo Apache Spark

Material Thumbnail

Todo lo que aprenderás sobre Spark para Big Data

02:47 min

Material Thumbnail

Introducción a Apache Spark

07:45 min

Material Thumbnail

Introducción a los RDDs y DataFrames

08:39 min

Configuración

Material Thumbnail

Instalación del ambiente de trabajo

09:35 min

Material Thumbnail

Jupyter vs CLI: ejecución de Spark desde la línea de comandos

13:04 min

Material Thumbnail

Jupyter vs CLI: ejecución de Spark en Jupyter Notebook

12:02 min

Operaciones RDDs

Material Thumbnail

Transformaciones y acciones

11:27 min

Material Thumbnail

Acciones de modificación sobre RDDs

14:35 min

Material Thumbnail

Acciones de conteo sobre RDDs

14:13 min

Material Thumbnail

Solución reto deportistas

03:09 min

Material Thumbnail

Operaciones numéricas

08:59 min

Data Frames y SQL

Material Thumbnail

Creación de DataFrames

14:09 min

Material Thumbnail

Inferencia de tipos de datos

09:15 min

Material Thumbnail

Operaciones sobre DF

12:32 min

Material Thumbnail

Agrupaciones y operaciones join sobre DF

09:34 min

Material Thumbnail

Solución reto joins

05:02 min

Material Thumbnail

Funciones de agrupación

10:00 min

¿Qué es un UDF?

01:06 min

Persistencia y particionado

Material Thumbnail

Comprendiendo la persistencia y particionado

10:43 min

Material Thumbnail

Particionando datos

13:38 min

Conclusiones

nuevosmás votadossin responder
Gerardo Mayel Fernández Alamilla
Gerardo Mayel Fernández Alamilla
Estudiante

No entendí el por qué de los parámetros de la función eliminaEncabezado y luego porque esa función de usa como parámetros de la función mapPartitionsWithIndex()

1
Gerardo Mayel Fernández Alamilla
Gerardo Mayel Fernández Alamilla
Estudiante

mi pregunta se corta en la caja de comentarios, creo que estamos haciendo joins en dimensiones diferentes esto es correcto?

1
Gerardo Mayel Fernández Alamilla
Gerardo Mayel Fernández Alamilla
Estudiante

No sé si lo estoy pensando cómo una base estructurada pero, al hacer el join con x[0][0][0] por ejemplo con y[0] no estamos haciendo join en más de una dimensión, esto es correcto?

1
Gerardo Mayel Fernández Alamilla
Gerardo Mayel Fernández Alamilla
Estudiante

por que al hacer el Join llave-valor la llave se separa del arreglo del resto de valores, por ejemplo ahora si vemos la longitud vemos que se reduce a 1(0,1) como si tuviera únicamente 2 columnas, esto se puede evitar para mantener la misma “estructura” o cómo se puede separar nuevamente ?

1
architech
architech
Estudiante

El tema jupyter se lo saltaron, es un modulo que pueder instalar con anaconda navigator … deberian explixar a detalle de que trata …

1
Gerardo Mayel Fernández Alamilla
Gerardo Mayel Fernández Alamilla
Estudiante

Se puede usar el Spark UI en Google Colab?

1
DavidMG01
DavidMG01
Estudiante

Se puede mapear un DataFrame???

1
Miguel Juan Carlos Rojas Ortega
Miguel Juan Carlos Rojas Ortega
Estudiante

Cual es la diferencia entre la sesion y el contexto?

2
Pablo Rosa
Pablo Rosa
Estudiante

A modo de comentario constructivo me parece que no está tan bien explicado este curso. Si bien exige cierto nivel hay cosas que sinceramente no se de donde salen y tengo que estar mucho tiempo en la web o leyendo la documentación para entender como funciona tal o cual funcion que utiliza. por ejemplo mapPartitionsWithIndex no se explica que hace ni sus diferencias con map. es super constructivo, me gusta el curso pero solo ese comentario.

3
Pablo Rosa
Pablo Rosa
Estudiante

que es y para que sirve mapPartitionsWithIndex?

2