Combinando DataFrames

Clase 19 de 24 • Curso de Manipulación y Transformación de Datos con Pandas y NumPy

Resumen

Existen diferentes formas de fusionar dos DataFrames. Esto se hace a través de la lógica de combinación como se muestra a continuación:
Merge-join

Left join: Da prioridad al DataFrame de la izquierda. Trae siempre los datos de la izquierda y las filas en común con el DataFrame de la derecha.
Right join: Da prioridad al DataFrame de la derecha. Trae siempre los datos de la derecha y las filas en común con el DataFrame de la izquierda.
Inner join: Trae solamente aquellos datos que son común en ambos DataFrame
Outer join: Trae los datos tanto del DataFrame de la izquierda como el de la derecha, incluyendo los datos que comparten ambos.

Contribución creada por: Edward Giraldo.

Hugo Montoya Diaz

student•

Juan R. Vergara M.

student•

Gracias por el aporte amigo 🚀

Willy Da Conceicao

student•

Genial gracias =)

Augusto Mas

student•

Alarcon7a

student•

jajaj me encanta

clint martinez

student•

Buena analogía mi querido compañero !!!

Jeinfferson Bernal G

student•

Combinando dataFrames

Existen diferentes formas de fusionar dos dataFrames. Esto se hace a traves de la lógica de combinación como se muestra a continuacion

Left join: da prioridad al dataFrame de la izquierda. Trae siempre los datos de la izquierda y las filas en comun con el dataFrame de la derecha.
Right join: da prioridad al dataFrame de la derecha. Trae siempre los datos de la derecha y las filas en comun con el dataFrame de la izquierda.
Inner join: Trae solamente aquellos datos que son común en ambos dataFrame
Outer join: Trae los datos tanto del dataFrame de la izquierda como el de la derecha incluyendo los datos que comparten ambos.

Concat - Axis 0: permite combinar dos dataframes a nivel de filas. Crecimiento vertical

Concat - Axis 1: permite combinar dos dataframes a nivel de columnas. La organizacion por columnas no va a ser la misma para ambos dataFrames, por tanto, se crearan valores NaN para rellenar los espacios vacios. Crecimiento horizontal

Juan Pablo Cuenca Ludeña

student•

Mis apuntes #20

Jhon Freddy Tavera Blandon

student•

Left join

Supongan que queremos una tabla como tab_1, pero agregando votos electorales a cualquier estado que tengamos disponible. Para esto, usamos left_join con tab_1 como el primer argumento. Especificamos qué columna usar para que coincida con el argumento by.

left_join(tab_1, tab_2, by = "state")
#>        state population ev
#> 1    Alabama    4779736  9
#> 2     Alaska     710231  3
#> 3    Arizona    6392017 11
#> 4   Arkansas    2915918 NA
#> 5 California   37253956 55
#> 6   Colorado    5029196 NA

Right join

Si en lugar de una tabla con las mismas filas que la primera tabla, queremos una con las mismas filas que la segunda tabla, podemos usar right_join:

tab_1 %>% right_join(tab_2, by = "state")
#>         state population ev
#> 1     Alabama    4779736  9
#> 2      Alaska     710231  3
#> 3     Arizona    6392017 11
#> 4  California   37253956 55
#> 5 Connecticut         NA  7
#> 6    Delaware         NA  3

Inner join

Si queremos mantener solo las filas que tienen información en ambas tablas, usamos inner_join. Pueden pensar en esto como una intersección:

inner_join(tab_1, tab_2, by = "state")
#>        state population ev
#> 1    Alabama    4779736  9
#> 2     Alaska     710231  3
#> 3    Arizona    6392017 11
#> 4 California   37253956 
55

Full join

Si queremos mantener todas las filas y llenar las partes faltantes con NAs, podemos usar full_join. Pueden pensar en esto como una unión:

full_join(tab_1, tab_2, by = "state")
#>         state population ev
#> 1     Alabama    4779736  9
#> 2      Alaska     710231  3
#> 3     Arizona    6392017 11
#> 4    Arkansas    2915918 NA
#> 5  California   37253956 55
#> 6    Colorado    5029196 NA
#> 7 Connecticut         NA  7
#> 8    Delaware         NA  3

Semi join

La función semi_join nos permite mantener la parte de la primera tabla para la cual tenemos información en la segunda. No agrega las columnas de la segunda:

semi_join(tab_1, tab_2, by = "state")
#>        state population
#> 1    Alabama    4779736
#> 2     Alaska     710231
#> 3    Arizona    6392017
#> 4 California   37253956

Luis Alberto Ramírez Castellanos

student•

Recordemos los conceptos de clase:

Left join: Da prioridad al DataFrame de la izquierda. Trae siempre los datos de la izquierda y las filas en común con el DataFrame de la derecha.
Right join: Da prioridad al DataFrame de la derecha. Trae siempre los datos de la derecha y las filas en común con el DataFrame de la izquierda.
Inner join: Trae solamente aquellos datos que son común en ambos DataFrame
Outer join: Trae los datos tanto del DataFrame de la izquierda como el de la derecha, incluyendo los datos que comparten ambos.

Oscar Leandro Camacho Vasquez

student•

Muy buena explicación de los join visualizando el efecto en las tablas!

Jeisson Espinosa

student•

Información resumida de esta clase #EstudiantesDePlatzi

Cuando combinamos 2 conjuntos de datos y utilizamos left join, esto quiere decir, que me traerá todos los datos que existan en el conjunto de la izquierda junto con la intersección entre los dos conjuntos
Cuando utilizamos rigth join, la prioridad está en el conjunto de la derecha, es decir, nos traerá todos los datos del conjunto de la derecha y los que se encuentren en la intersección de los conjuntos
Cuando utilizamos inner join solamente traerá los datos que existan en ambos conjuntos de datos
Cuando utilizamos outer join nos va a traer todos los datos que existan en los conjuntos de datos
En pandas utilizamos la función concat para unir algunos DataFrame, es importante saber que con esta función debemos definir los Axis
Si utlizamos el Axis=0 fusionamos por filas, si utilizamos el Axis=1 la fusión se realizará por columnas

Gabriel Obregón

student•

En este artículo se compara el INNER JOIN, LEFT JOIN, RIGHT JOIN y OUTER JOIN de SQL y PANDAS.
https://pandas.pydata.org/docs/getting_started/comparison/comparison_with_sql.html

jabes nestor frias martinez

student•

no entiendo muy bien la explicacion del axis 1

Alarcon7a

student•

axis en numpy y pandas hace referencia al eje, o sea si se hace la operacion por filas o por columnas... 1 para columnas 0 para filas

jabes nestor frias martinez

student•

gracias

Nicolas Alpargatero

student•

Que buena explicación 🙂🐼🐉

Isaac Bryan Ascanoa Roncall

student•

Es increible que se pueda usar las combinaciones de dataframe como si fueran tablas de sql y que estas nos permitan mejorar nuestra capacidad de ciencia de datos.

Pablo Alejandro Figueroa

student•

Pablo Alejandro Figueroa

student•

df1 = pd.DataFrame({'ID': [1, 2, 3], 'Name': ['Alice', 'Bob', 'Charlie']})
df2 = pd.DataFrame({'ID': [2, 3, 4], 'Age': [25, 30, 22]})

# Inner Join
inner_join = pd.merge(df1, df2, on='ID', how='inner')

# Left Join
left_join = pd.merge(df1, df2, on='ID', how='left')

# Right Join
right_join = pd.merge(df1, df2, on='ID', how='right')

# Full Outer Join
outer_join = pd.merge(df1, df2, on='ID', how='outer')

ANDRES ALFONSO MIRA MEJIA

student•

✅

Christopher Brian Guzmán Martínez

student•

Notece que en ambas tablas, solo se tiene una columna en común, la cual sería el índice.

Cuando se tienen más de una fila con coincidencia, se complican un poco las cosas en mi experiencia.

Emmanuel Almada

student•

Tu camiseta me trajo buenos recuerdos 🥲

David E Marquez S

student•

Me parece que el ejemplo del Inner Join está mal, ya que solo trae los datos que tengan match, no debería unir las columnas Ay B con Cy D, de hecho no se podría hacer porque no tienen columnas en común

Leonardo Carvallo

student•

El join se hace por la columna de los índices, ese sería la llave en común. Por eso solo trae un registro, porque la única fila con una key común es la que tiene index 0

Ismael Danilo Herrera Sánchez

student•

Concat-columnas

Ismael Danilo Herrera Sánchez

student•

Concat-filas

Combinando DataFrames

Librerías de manipulación de datos con Python

¿Por qué NumPy y Pandas?

NumPy

NumPy Array

Tipos de datos

Dimensiones

Creando arrays

Shape y Reshape

Funciones principales de NumPy

Copy

Condiciones

Operaciones

Pandas

Series y DataFrames en Pandas

Leer archivos CSV y JSON con Pandas

Filtrado con loc y iloc

Agregar o eliminar datos con Pandas

Manejo de datos nulos

Filtrado por condiciones

Funciones principales de Pandas

groupby

Combinando DataFrames

Merge y Concat

Join

Pivot y Melt

Apply

Cierre

Posibilidades con Pandas y NumPy