Transformaciones y acciones

Clase 8 de 25 • Curso de Fundamentos de Spark para Big Data

Clase anteriorSiguiente clase

Carlos Javier Guevara Contreras

student•

en mi opinion el profesor debe ser un poco mas explicito

Lader Cantillo Meza

student•

De acuerdo, hasta el momento estoy confundido. Al crear el RDD ¿qué función cumple el parallelize? ¿Qué está haciendo? Siento que solo estoy escribiendo código sin entenderlo. =(

Cristian A Mora A

student•

La verdad a mi si me gusta como explica el profe y la función que cumple el parallelize es leer una lista y convertirlo en rdd Saludos

Cesar Augusto Morales Godoy

student•

Díganme si esto no es bello?

Si quieren correr el código de la clase sigan este notebook de Colab: https://colab.research.google.com/drive/1dJiHM8TdwvuTJRYa84Xxnbp0ktCNk6b2?usp=sharing En la clase corrí todo el código del notebook menos la parte que dice 'Sample'

Miguel Angel Velazquez Romero

student•

Me dice acceso denegado, podrías ponerlo publico por fa?

Cesar Augusto Morales Godoy

student•

Hola @DataEngel, gracias por decirme, ya está en acceso público! Espero te ayude 👍🏼

Ignacio Buscio

student•

En entorno windows

import findspark findspark.init()

from pyspark import SparkContext sc = SparkContext(master="local", appName="TransformacionesyAcciones")

rdd = sc.textFile('D:\CompartidaMV\data.csv')
.map(lambda line : line.split(","))

rdd.take(20)

[['State', 'Color', 'Count'], ['TX', 'Red', '20'], ['NV', 'Blue', '66'], ['CO', 'Blue', '79'], ['OR', 'Blue', '71'], ['WA', 'Yellow', '93'], ['WY', 'Blue', '16'], ['CA', 'Yellow', '53'], ['WA', 'Green', '60'], ['OR', 'Green', '71'], ['TX', 'Green', '68'], ['NV', 'Green', '59'], ['AZ', 'Brown', '95'], ['WA', 'Yellow', '20'], ['AZ', 'Blue', '75'], ['OR', 'Brown', '72'], ['NV', 'Red', '98'], ['WY', 'Orange', '45'], ['CO', 'Blue', '52'], ['TX', 'Brown', '94']]

Caroline Prada Ventero

student•

Muchas gracias, me salvaste la noche :)

Camilo Arlex Naranjo Mejia

student•

import findspark findspark.init()

Esto me salvó, gracias!

rusbel bermúdez rivera

student•

con humildad les comparto mis apuntes sobre el curso, es buenísimo, y si le hacen fork dejen su Estrellita en el repo, devuelvan algo a la comunidad de platzi, y nunca paren de aprender.

https://github.com/rb-one/Cuso_Introductorio_de_Spark/blob/master/Notes/notes.md

Jose Pinzon

student•

Buenas tardes compañeros, eh tenido inconvenientes al solucionar el error. ¿Alguno me puede dar una guia?.

Luis Ángel Santibañez Estrada

student•

yo tengo el mismo error, pudiste solucionarlo ?

Oscar Azeem Becerril Dominguez

student•

Si se les presenta el siguiente error:

raise Exception(("Python in worker has different version %s than that in " +
Exception: Python in worker has different version 3.8 than that in driver 3.7, PySpark cannot run with different minor versions. Please check environment variables PYSPARK_PYTHON and PYSPARK_DRIVER_PYTHON are correctly set.

El Driver cómo el worker poseen diferentes versiones. En mi caso esto es debido a que en mi sistema (OSX) tengo instalado de base python 3.8 y el entorno anaconda que ocupo tiene instalado Python 3.7, ya que es la última versión que por el momento soporta Pyspark. La solución es agregar las siguientes lineas al inicio de su Jupyter Noteebook (antes de cargar SparkContext), cuidando sustituir el parametro: env_pyspark_3_7, por el nombre de su entorno anaconda

import os
os.environ['PYSPARK_DRIVER_PYTHON'] = '/opt/anaconda3/envs/env_pyspark_3_7/bin/python3'
os.environ['PYSPARK_PYTHON'] = '/opt/anaconda3/envs/env_pyspark_3_7/bin/python3'```

Josefina Andrea Araya Tapia

student•

Listar y Cargar Archivo en Windows:

Jhampier Edison Quispe Huallpa

student•

muchas gracias, me sirvió mucho

Frida Ruh

teacher•

Si alguno de ustedes está utilizando Docker, tengan en mente que para poder tener los archivos del curso van a necesitar compartir un volumen en el cual previamente hayan hecho el git clone.

Jose Roberto Vargas Campos

student•

Consulta hasta el momento para que me sirve todo esto ?? aun no le encuentro la utilidad o cuando lo usaria ..

Juan Camilo Alvarez Jurado

student•

Si, eso me parece que hizo falta en la introducción del curso. Esto es para resolver problemas de Big Data, donde los volúmenes de datos son enormes y las operaciones complejas pueden tardar demasiado tiempo y recursos.

Con Spark logras una solución distrubuida (es decir, en un clúster de varios equipos de cómputo que entre todos se reparte el trabajo de manera paralela y lograr resolver de forma muy rápida y eficiente problemas complejos en volúmenes enormes de información)

Enzo Rafael Cárdenas Nicho

student•

Hola a todos, alguien tiene claro cual es la diferencia entre un sparkSession y un sparkContext? Me pasa que con sparkSession puedo leer archivos con esta sintaxis:

paisesRdd2 = sc.read.format("csv").option("header","true").option("delimiter",",").load(path+"paises.csv")

Pero cuando es un sparkContext la sintaxis sería esta

paisesRdd = sc.textFile(path+"paises.csv").map(lambda line: line.split(","))

Me causa mucha confusión este punto, si alguien aporta con una explicación sería genial.

gracias :)

Juan Camilo Alvarez Jurado

student•

Hasta donde he leido, en versiones anteriores de Spark el Contexto era el punto de entrada de las aplicaciones Spark; con la instancia de contexto podemos crear RDDs y con esta basta para ejecutar la aplicación.

Luego entraron las Sesiones que son un nivel más alto de punto de entrada que permiten reunir uno o más contextos, gestionan como tal la sesión de ejecución actual, y permiten tareas como crear DataFrames entre otras cosas.

Por último, listo, si, ambas son opciones de carga de archivo, pero fijate en el tipo que retornan. La del contexto te retorna un RDD (que por eso lo ocupamos de principio en lo que se explican los RDD), y la de sesión te retorna es un DataFrame (para verlo en clases posteriores).

Jose Daniel Gallegos Padilla

student•

Carga de crimenes de Nueva York.

from pyspark import SparkContext
sc = SparkContext(master="local", appName="TransformacionesyAcciones")

path= "/Spark Most Current/Apache Spark-Scala Fundamentals/Chapter 2. Introduction to RDDs/Documents/"
nypdRDD = sc.textFile(path+"NYPD_7_Major_Felony_Incidents.csv").\
            map(lambda line: line.split(","))
print(nypdRDD.take(3))

[['OBJECTID',
  'Identifier',
  'Occurrence Date',
  'Day of Week',
  'Occurrence Month',
  'Occurrence Day',
  'Occurrence Year',
  'Occurrence Hour',
  'CompStat Month',
  'CompStat Day',
  'CompStat Year',
  'Offense',
  'Offense Classification',
  'Sector',
  'Precinct',
  'Borough',
  'Jurisdiction',
  'XCoordinate',
  'YCoordinate',
  'Location 1'],
 ['1',
  'f070032d',
  '09/06/1940 07:30:00 PM',
  'Friday',
  'Sep',
  '6',
  '1940',
  '19',
  '9',
  '7',
  '2010',
  'BURGLARY',
  'FELONY',
  'D',
  '66',
  'BROOKLYN',
  'N.Y. POLICE DEPT',
  '987478',
  '166141',
  '"(40.6227027620001',
  ' -73.9883732929999)"'],
 ['2',
  'c6245d4d',
  '12/14/1968 12:20:00 AM',
  'Saturday',
  'Dec',
  '14',
  '1968',
  '0',
  '12',
  '14',
  '2008',
  'GRAND LARCENY',
  'FELONY',
  'G',
  '28',
  'MANHATTAN',
  'N.Y. POLICE DEPT',
  '996470',
  '232106',
  '"(40.8037530600001',
  ' -73.955861904)"']]```

Gerardo Mayel Fernández Alamilla

student•

Estoy estudiando en la noche y me lastimó la luz blanca, si quieren cambiar el theme de su Jupyter Notebook:

En la terminal de su entorno en Anaconda:

<conda install -c conda-forge jupyterthemes>

En su Notebook:

<from jupyterthemes import get_themes
import jupyterthemes as jt
from jupyterthemes.stylefx import set_nb_theme
set_nb_theme('chesterish')>

Gerardo Mayel Fernández Alamilla

student•

Se puede usar el Spark UI en Google Colab?

Lader Cantillo Meza

student•

Sí, pero debes realizar un paso adicional. Acá te dejo un tutorial: https://platzi.com/tutoriales/2045-spark/10630-configuration-of-apache-spark-amp-spark-ui-using-google-colab/

Martín Lautaro Correa

student•

Como deberia hacer para que este sparkContext apunte a un datalake?

Laura Torres

student•

Uno esperaría poder encontrar en platzi cursos desde los más básicos pasando por intermedio y avanzado y super avanzado. Hay cursos como este que se quedan en lo básico , ahí es cuando toca acudir a otras plataformas de aprendizaje.

Rodolfo benjamin Aseretto coronel

student•

El profesor es muy poco explicito

Luis Ángel Santibañez Estrada

student•

hola tengo este error, podrian ayudarme ?

Juan Jose Tovar

student•

BÁSICOS SOBRE RDDs CON EJEMPLO La función map() te permite transformar o aplicar una funcion a un iterable sin necesidad de usar un ciclo. En este caso el iterable sería el RDD (imagínalo como si fuera una lista y estas aplicando una función a cada item de la lista), y la función que se le esta aplicando es una función lambda que hace mas o menos lo que nosotros queramos. Durante el curso la función nos permite ordenar el RDD que ya creamos seleccionando los elementos del RDD que queramos. Recuerda que al trabajar los RDDs como pares llave-valor (RDD = (key, (v1,v2)) para poder ver que elemento está en que posición puedes intentar haciendo un take y luego probando las posiciones (listas dentro de listas, tuplas dentro de listas, etc.)

Crear el RDD:


path = "/content/gdrive/My Drive/DEVELOPER/PYSPARK_COLAB/curso-apache-spark-platzi/files/"


*#If you don't want the whole file in one column use map for this*

olimpicTeamsRDD = sc.textFile(path+"paises.csv") \

.map(lambda line: line.split(","))

Visualizar los RDDs y buscar la posicion que quiero (en este caso quiero la sigla)


olimpicTeamsRDD.take(10), olimpicTeamsRDD.take(2)[1][2]

Carlos Javier Guevara Contreras

student•

interesante

Charly Nieves

student•

Carga del Clásico cdv de los pokemones

Transformaciones y acciones

Conociendo Apache Spark

Fundamentos de Apache Spark: ETL y Limpieza de Datos

Introducción a Apache Spark y sus diferencias con Hadoop

Diferencias entre RDDs y DataFrames en Apache Spark

Configuración

Instalación de Spark y Anaconda en Linux

Ejecución y Configuración de Spark en Línea de Comando y Anaconda

Configuración de PySpark con Jupyter y Anaconda

Operaciones RDDs

Transformaciones y Acciones en RDD de Spark

Transformaciones y acciones

Interacción con RDDs en Spark: Operaciones Básicas y Avanzadas

Operaciones avanzadas con RDDs en Spark: Uniones y Joins

Unión de Datos en RDD para Deportistas Olímpicos

Operaciones Numéricas con RDDs en Juegos Olímpicos

Data Frames y SQL

Creación y Gestión de Data Frames en PySpark

Creación de DataFrame desde RDD en PySpark

Manipulación de Data Frames en PySpark

Joins y Selección de Datos en DataFrames con PySpark

Filtrado y Join de Datos Olímpicos en Pandas

Funciones de Agregación en Spark para DataFrames

Uso de SQLContext para Registro y Consultas con DataFrames en Spark

Creación y Uso de Funciones UDF en Spark

Creación y uso de UDFs en PySpark para manejo de datos faltantes

Persistencia y particionado

Particionado y Replicación de Datos en Spark RDDs

Persistencia y Particionado de Datos en Spark

Particionamiento de RDDs y DataFrames en Spark con PySpark

Conclusiones

Uso de RDDs y DataFrames en Apache Spark