Transformaciones y acciones

Cursos Empresas Blog Live Conf Precios

Contenido del curso

Conociendo Apache Spark

Configuración

Operaciones RDDs

Data Frames y SQL

Persistencia y particionado

Conclusiones

25
Uso de RDDs y DataFrames en Apache Spark
01:12 min

Tomar examen

Transformaciones y acciones

Comentarios

Carlos Javier Guevara Contreras

Estudiante

en mi opinion el profesor debe ser un poco mas explicito

Lader Cantillo Meza

Estudiante

De acuerdo, hasta el momento estoy confundido. Al crear el RDD ¿qué función cumple el parallelize? ¿Qué está haciendo? Siento que solo estoy escribiendo código sin entenderlo. =(

Cristian A Mora A

Estudiante

La verdad a mi si me gusta como explica el profe y la función que cumple el parallelize es leer una lista y convertirlo en rdd Saludos

Cesar Augusto Morales Godoy

Estudiante

Díganme si esto no es bello?

Si quieren correr el código de la clase sigan este notebook de Colab: https://colab.research.google.com/drive/1dJiHM8TdwvuTJRYa84Xxnbp0ktCNk6b2?usp=sharing En la clase corrí todo el código del notebook menos la parte que dice 'Sample'

Miguel Angel Velazquez Romero

Estudiante

Me dice acceso denegado, podrías ponerlo publico por fa?

Cesar Augusto Morales Godoy

Estudiante

Hola @DataEngel, gracias por decirme, ya está en acceso público! Espero te ayude 👍🏼

Ignacio Buscio

Estudiante

En entorno windows

import findspark findspark.init()

from pyspark import SparkContext sc = SparkContext(master="local", appName="TransformacionesyAcciones")

rdd = sc.textFile('D:\CompartidaMV\data.csv')
.map(lambda line : line.split(","))

rdd.take(20)

[['State', 'Color', 'Count'], ['TX', 'Red', '20'], ['NV', 'Blue', '66'], ['CO', 'Blue', '79'], ['OR', 'Blue', '71'], ['WA', 'Yellow', '93'], ['WY', 'Blue', '16'], ['CA', 'Yellow', '53'], ['WA', 'Green', '60'], ['OR', 'Green', '71'], ['TX', 'Green', '68'], ['NV', 'Green', '59'], ['AZ', 'Brown', '95'], ['WA', 'Yellow', '20'], ['AZ', 'Blue', '75'], ['OR', 'Brown', '72'], ['NV', 'Red', '98'], ['WY', 'Orange', '45'], ['CO', 'Blue', '52'], ['TX', 'Brown', '94']]

Caroline Prada Ventero

Estudiante

Muchas gracias, me salvaste la noche :)

Camilo Arlex Naranjo Mejia

Estudiante

import findspark findspark.init()

Esto me salvó, gracias!

rusbel bermúdez rivera

Estudiante

con humildad les comparto mis apuntes sobre el curso, es buenísimo, y si le hacen fork dejen su Estrellita en el repo, devuelvan algo a la comunidad de platzi, y nunca paren de aprender.

https://github.com/rb-one/Cuso_Introductorio_de_Spark/blob/master/Notes/notes.md

Jose Pinzon

Estudiante

Buenas tardes compañeros, eh tenido inconvenientes al solucionar el error. ¿Alguno me puede dar una guia?.

Luis Ángel Santibañez Estrada

Estudiante

yo tengo el mismo error, pudiste solucionarlo ?

Oscar Azeem Becerril Dominguez

Estudiante

Si se les presenta el siguiente error:

raise Exception(("Python in worker has different version %s than that in " +
Exception: Python in worker has different version 3.8 than that in driver 3.7, PySpark cannot run with different minor versions. Please check environment variables PYSPARK_PYTHON and PYSPARK_DRIVER_PYTHON are correctly set.

El Driver cómo el worker poseen diferentes versiones. En mi caso esto es debido a que en mi sistema (OSX) tengo instalado de base python 3.8 y el entorno anaconda que ocupo tiene instalado Python 3.7, ya que es la última versión que por el momento soporta Pyspark. La solución es agregar las siguientes lineas al inicio de su Jupyter Noteebook (antes de cargar SparkContext), cuidando sustituir el parametro: env_pyspark_3_7, por el nombre de su entorno anaconda

import os
os.environ['PYSPARK_DRIVER_PYTHON'] = '/opt/anaconda3/envs/env_pyspark_3_7/bin/python3'
os.environ['PYSPARK_PYTHON'] = '/opt/anaconda3/envs/env_pyspark_3_7/bin/python3'```

Josefina Andrea Araya Tapia

Estudiante

Listar y Cargar Archivo en Windows:

Jhampier Edison Quispe Huallpa

Estudiante

muchas gracias, me sirvió mucho

Frida Ruh

Profesor

Si alguno de ustedes está utilizando Docker, tengan en mente que para poder tener los archivos del curso van a necesitar compartir un volumen en el cual previamente hayan hecho el git clone.

Jose Roberto Vargas Campos

Estudiante

Consulta hasta el momento para que me sirve todo esto ?? aun no le encuentro la utilidad o cuando lo usaria ..

Juan Camilo Alvarez Jurado

Estudiante

Si, eso me parece que hizo falta en la introducción del curso. Esto es para resolver problemas de Big Data, donde los volúmenes de datos son enormes y las operaciones complejas pueden tardar demasiado tiempo y recursos.

Con Spark logras una solución distrubuida (es decir, en un clúster de varios equipos de cómputo que entre todos se reparte el trabajo de manera paralela y lograr resolver de forma muy rápida y eficiente problemas complejos en volúmenes enormes de información)

Enzo Rafael Cárdenas Nicho

Estudiante

Hola a todos, alguien tiene claro cual es la diferencia entre un sparkSession y un sparkContext? Me pasa que con sparkSession puedo leer archivos con esta sintaxis:

paisesRdd2 = sc.read.format("csv").option("header","true").option("delimiter",",").load(path+"paises.csv")

Pero cuando es un sparkContext la sintaxis sería esta

paisesRdd = sc.textFile(path+"paises.csv").map(lambda line: line.split(","))

Me causa mucha confusión este punto, si alguien aporta con una explicación sería genial.

gracias :)

Juan Camilo Alvarez Jurado

Estudiante

Hasta donde he leido, en versiones anteriores de Spark el Contexto era el punto de entrada de las aplicaciones Spark; con la instancia de contexto podemos crear RDDs y con esta basta para ejecutar la aplicación.

Luego entraron las Sesiones que son un nivel más alto de punto de entrada que permiten reunir uno o más contextos, gestionan como tal la sesión de ejecución actual, y permiten tareas como crear DataFrames entre otras cosas.

Por último, listo, si, ambas son opciones de carga de archivo, pero fijate en el tipo que retornan. La del contexto te retorna un RDD (que por eso lo ocupamos de principio en lo que se explican los RDD), y la de sesión te retorna es un DataFrame (para verlo en clases posteriores).

Jose Daniel Gallegos Padilla

Estudiante

Carga de crimenes de Nueva York.

from pyspark import SparkContext
sc = SparkContext(master="local", appName="TransformacionesyAcciones")

path= "/Spark Most Current/Apache Spark-Scala Fundamentals/Chapter 2. Introduction to RDDs/Documents/"
nypdRDD = sc.textFile(path+"NYPD_7_Major_Felony_Incidents.csv").\
            map(lambda line: line.split(","))
print(nypdRDD.take(3))

[['OBJECTID',
  'Identifier',
  'Occurrence Date',
  'Day of Week',
  'Occurrence Month',
  'Occurrence Day',
  'Occurrence Year',
  'Occurrence Hour',
  'CompStat Month',
  'CompStat Day',
  'CompStat Year',
  'Offense',
  'Offense Classification',
  'Sector',
  'Precinct',
  'Borough',
  'Jurisdiction',
  'XCoordinate',
  'YCoordinate',
  'Location 1'],
 ['1',
  'f070032d',
  '09/06/1940 07:30:00 PM',
  'Friday',
  'Sep',
  '6',
  '1940',
  '19',
  '9',
  '7',
  '2010',
  'BURGLARY',
  'FELONY',
  'D',
  '66',
  'BROOKLYN',
  'N.Y. POLICE DEPT',
  '987478',
  '166141',
  '"(40.6227027620001',
  ' -73.9883732929999)"'],
 ['2',
  'c6245d4d',
  '12/14/1968 12:20:00 AM',
  'Saturday',
  'Dec',
  '14',
  '1968',
  '0',
  '12',
  '14',
  '2008',
  'GRAND LARCENY',
  'FELONY',
  'G',
  '28',
  'MANHATTAN',
  'N.Y. POLICE DEPT',
  '996470',
  '232106',
  '"(40.8037530600001',
  ' -73.955861904)"']]```

Gerardo Mayel Fernández Alamilla

Estudiante

Estoy estudiando en la noche y me lastimó la luz blanca, si quieren cambiar el theme de su Jupyter Notebook:

En la terminal de su entorno en Anaconda:

<conda install -c conda-forge jupyterthemes>

En su Notebook:

<from jupyterthemes import get_themes
import jupyterthemes as jt
from jupyterthemes.stylefx import set_nb_theme
set_nb_theme('chesterish')>

ALEJANDRO ESPINAL RESTREPO

Estudiante

Muy confusos todos los conceptos de los que habla el profesor, este curso debería explicar los conceptos como Job, paralelizaciones, grafos, y un largo etc.

Gerardo Mayel Fernández Alamilla

Estudiante

Se puede usar el Spark UI en Google Colab?

Lader Cantillo Meza

Estudiante

Sí, pero debes realizar un paso adicional. Acá te dejo un tutorial: https://platzi.com/tutoriales/2045-spark/10630-configuration-of-apache-spark-amp-spark-ui-using-google-colab/

Martín Correa

Estudiante

Como deberia hacer para que este sparkContext apunte a un datalake?

Laura Torres

Estudiante

Uno esperaría poder encontrar en platzi cursos desde los más básicos pasando por intermedio y avanzado y super avanzado. Hay cursos como este que se quedan en lo básico , ahí es cuando toca acudir a otras plataformas de aprendizaje.

Rodolfo benjamin Aseretto coronel

Estudiante

El profesor es muy poco explicito

Luis Ángel Santibañez Estrada

Estudiante

hola tengo este error, podrian ayudarme ?

Juan Jose Tovar

Estudiante

BÁSICOS SOBRE RDDs CON EJEMPLO La función map() te permite transformar o aplicar una funcion a un iterable sin necesidad de usar un ciclo. En este caso el iterable sería el RDD (imagínalo como si fuera una lista y estas aplicando una función a cada item de la lista), y la función que se le esta aplicando es una función lambda que hace mas o menos lo que nosotros queramos. Durante el curso la función nos permite ordenar el RDD que ya creamos seleccionando los elementos del RDD que queramos. Recuerda que al trabajar los RDDs como pares llave-valor (RDD = (key, (v1,v2)) para poder ver que elemento está en que posición puedes intentar haciendo un take y luego probando las posiciones (listas dentro de listas, tuplas dentro de listas, etc.)

Crear el RDD:


path = "/content/gdrive/My Drive/DEVELOPER/PYSPARK_COLAB/curso-apache-spark-platzi/files/"


*#If you don't want the whole file in one column use map for this*

olimpicTeamsRDD = sc.textFile(path+"paises.csv") \

.map(lambda line: line.split(","))

Visualizar los RDDs y buscar la posicion que quiero (en este caso quiero la sigla)


olimpicTeamsRDD.take(10), olimpicTeamsRDD.take(2)[1][2]

Carlos Javier Guevara Contreras

Estudiante

interesante

raise Exception(("Python in worker has different version %s than that in " +
Exception: Python in worker has different version 3.8 than that in driver 3.7, PySpark cannot run with different minor versions. Please check environment variables PYSPARK_PYTHON and PYSPARK_DRIVER_PYTHON are correctly set.

from pyspark import SparkContext
sc = SparkContext(master="local", appName="TransformacionesyAcciones")

path= "/Spark Most Current/Apache Spark-Scala Fundamentals/Chapter 2. Introduction to RDDs/Documents/"
nypdRDD = sc.textFile(path+"NYPD_7_Major_Felony_Incidents.csv").\
            map(lambda line: line.split(","))
print(nypdRDD.take(3))

[['OBJECTID',
  'Identifier',
  'Occurrence Date',
  'Day of Week',
  'Occurrence Month',
  'Occurrence Day',
  'Occurrence Year',
  'Occurrence Hour',
  'CompStat Month',
  'CompStat Day',
  'CompStat Year',
  'Offense',
  'Offense Classification',
  'Sector',
  'Precinct',
  'Borough',
  'Jurisdiction',
  'XCoordinate',
  'YCoordinate',
  'Location 1'],
 ['1',
  'f070032d',
  '09/06/1940 07:30:00 PM',
  'Friday',
  'Sep',
  '6',
  '1940',
  '19',
  '9',
  '7',
  '2010',
  'BURGLARY',
  'FELONY',
  'D',
  '66',
  'BROOKLYN',
  'N.Y. POLICE DEPT',
  '987478',
  '166141',
  '"(40.6227027620001',
  ' -73.9883732929999)"'],
 ['2',
  'c6245d4d',
  '12/14/1968 12:20:00 AM',
  'Saturday',
  'Dec',
  '14',
  '1968',
  '0',
  '12',
  '14',
  '2008',
  'GRAND LARCENY',
  'FELONY',
  'G',
  '28',
  'MANHATTAN',
  'N.Y. POLICE DEPT',
  '996470',
  '232106',
  '"(40.8037530600001',
  ' -73.955861904)"']]```

path = "/content/gdrive/My Drive/DEVELOPER/PYSPARK_COLAB/curso-apache-spark-platzi/files/"

*#If you don't want the whole file in one column use map for this*

olimpicTeamsRDD = sc.textFile(path+"paises.csv") \

.map(lambda line: line.split(","))

Conociendo Apache Spark

Fundamentos de Apache Spark: ETL y Limpieza de Datos

Introducción a Apache Spark y sus diferencias con Hadoop

Diferencias entre RDDs y DataFrames en Apache Spark

Configuración

Instalación de Spark y Anaconda en Linux

Ejecución y Configuración de Spark en Línea de Comando y Anaconda

Configuración de PySpark con Jupyter y Anaconda

Operaciones RDDs