groupby

Se puede usar las funciones lambda en el método .agg(), para obtener funciones custom ya sea para modificar un valor o para filtrar valores.

Un ejemplo puede ser el siguiente:

df_books.groupby('Author').agg({'Year':lambda x: [i-2000 for i in x], 'Reviews':lambda x: sum([i**2 for i in x])})

En donde a la columna Year se le resta 2000 a los años, y se obtiene una lista de los dos últimos dígitos del año relacionado con cada autor. Otro ejemplo es que los Reviews en vez de sumar cada valor se suma el cuadrado de sus valores.

El resultado que obtuve es el siguiente:

Para aplicar una sola función al agrupamiento tambien se puede usar la función .apply(). La función .agg() se utiliza cuando se desean hacer dos o más cálculos.

Aquí la documentación donde se compara SQL y funciones de pandas.

.sample() es muy buena para poder analizar el resultado de nuestras lineas de código.

Otra cosa que se solicita MUCHO en las pruebas técnicas. De verdad es una clase más para repasar y repasar más y mejor.

Groupby

Permite agrupar datos en funcion de los demas . Es decir, hacer el analisis del dataframe en funcion de una de las columnas.

• llamamos el dataFrame que vamos a manipular

import pandas as pd
df_books = pd.read_csv('bestsellers-with-categories.csv', sep=',', header=0)
df_books.head(2) ---> #muestra las dos primeras lineas del dataFrame

• Agrupar por Author y mostrar el conteo de los datos de las demas columnas

df_books.groupby('Author').count()
--->              Name    User Rating    Reviews    Price    Year   Genre
**Abraham Verghese    2         2             2         2       2       2
Adam Gasiewski      1         1             1         1       1       1
Adam Mansbach       1         1             1         1       1       1
Adir Levy           1         1             1         1       1       1**

• Agrupar por Author y mostrar la media de los datos de las demas columnas

df_books.groupby('Author').median()
--->            User Rating    Reviews    Price    Year 
**Abraham Verghese   4.6          4866       11      2010.5
Adam Gasiewski     4.4          3113       6       2017
Adam Mansbach      4.8          9568       9       2011
Adir Levy          4.8          8170       13      2019**

• La columna Author, en los casos anteriores, pasa a ser el indice. Podemos usar loc y acceder a un dato especifico del dataFrame. Agrupar por autor y mostrar la suma de los valores de las demas columnas para William Davis

df_books.groupby('Author').sum().loc['William Davis']
---> 
User Rating        8.8
Reviews        14994.0
Price             12.0
Year            4025.0
Name: William Davis, dtype: float64

• Abrupar por author y mostrar la suma de los valores de las demas columnas. Colocar los indices que el dataFrame trae por defecto

df_books.groupby('Author').sum().reset_index()
--->              Author    User Rating    Reviews    Price    Year 
0         Abraham Verghese      9.2         9732       22      4021
1         Adam Gasiewski        4.4         3113       6       2017
2         Adam Mansbach         4.8         9568       9       2011
3         Adir Levy             4.8         8170       13      2019

• La funcion agg() permite aplicar varias funciones al dataFrame una vez agrupado segun una columna especifica. Agrupar por Author y mostrar el minimo y maximo de las demas columnas

df_books.groupby('Author').agg(['min','max'])
---> #muestra cada columna dividida en dos: min y max. Estas contienen los valores maximo y minimo de la columna para cada Author 

• Agrupar por Author, obtener el minimo y maximo de la columna Reviews y sumar los valores de la columna User Rating

df_books.groupby('Author').agg({'Reviews':['min','max'], 'User Rating':'sum'})
--->                 Reviews min    Reviews max    User Rating 
Abraham Verghese         4866           4866          9.2
Adam Gasiewski           3113           3113          4.4
Adam Mansbach            9568           9568          4.8
Adir Levy                8170           8170          4.8

• Agrupar por Author - Year y contar los valores de las demas columnas

df_books.groupby(['Author','Year']).count()
--->                        Name    User Rating    Reviews    Price    Genre
('Abraham Verghese', 2010)   1           1            1         1        1
('Abraham Verghese', 2011)   1           1            1         1        1
('Adam Gasiewski', 2017)     1           1            1         1        1
('Adam Mansbach', 2011)      1           1            1         1        1

¿Seré al único que le ocurre que cuando saluda el profe, se me viene a la cabeza la canción del frailejón Ernesto Pérez?

Agregue le método sort_values, que seria similar a order by (sql)

Que buen curso ✨✨lpm✨✨

Groupby

–

👇🏻👇🏻

✅ .groupby( columna ) → filtrando grupos a partir de una columna o… agregacion
|

| ☑️.groupby( columna ).agg*👇🏻

Por si requieren ordernar el groupby

df_books.groupby('Author').count().reset_index().sort_values(by='Name', ascending=False)

Aquí tienen un link donde se traducen sentencias SQL a Pandas, para que aquellos que ya conocían SQL
https://www.linkedin.com/pulse/como-escribir-tus-consultas-sql-en-pandas-vs-carlos-villena-azua/?originalSubdomain=es

Para groupby se ve mucho mejor en colab que en deepnote

Puedes agregar y elegir que tipo de calculo hacer en cada caso, teniendo en cuenta el tipo y naturaleza del dato, así como renombrar cada columna de salida, Por ejemplo:

df_group= df('field_group').agg(newfield1=('old_field1',sum), # sumar todos los valores
                                    newfield2=('old_field2',mean), # una media de todos los valores
                                    newfield3=('old field3',list).reset_index() # una lista con todos los elementos que se encontró para esa categoría

Usando el metodo .apply().
En este caso para sumar el Rating total por Author.

Otra forma de usar lambda y cambiar el nombre a la columna sería la siguiente:

df_books.groupby('Author').agg( 
						Precio_Promedio_Mil= ('Price', lambda x : sum(i * 1000 for i in x)),
					Rating_de_Usuario=('User Rating','mean')
							)

En Pandas se puede trabajar con múltiples índices. GROUPBY puede trabajar con los índices individualmente por medio de parámetro LEVEL.

df_books = pd.read_csv('/content/VIDEO 12 bestsellers-with-categories.csv',sep=',',header=0)
df_books.head(2)

Las columnas Author y año las convierto en índices y lo ordeno para que se vea mejor.

df_books_isort =df_books.set_index(['Author','Year']).sort_index(ascending = [True,False] )
df_books_isort

LEVEL usado con etiquetas.

df_books_isort.groupby(level="Year").mean()

LEVEL usado el número de orden del índice.

df_books_isort.groupby(level=0).mean()

Esta es la estructura general de la función groupby según los recursos del curso:

DataFrame.groupby(by=None, axis=0, level=None, as_index=True, sort=True, group_keys=_NoDefault.no_default, squeeze=_NoDefault.no_default, observed=False, dropna=True)

Información resumida de esta clase
#EstudiantesDePlatzi

• Puedo organizar mis datos en una variable común, es decir, agruparlos por cierta condición

• Usando la función groupby puedo hacer que se agrupen definiendo la variable por la que quiero que se organicen

• De manera simultánea puedo filtrar y realizar algunas operaciones con estos datos, es decir, puedo filtrar por cierta condición y al mismo tiempo tener la suma de estos datos

• Puedo realizar múltiples combinaciones agrupando mis datos, ya sea por la llave de agrupamiento o por los resultados en funciones de agregación

• Es importante entender las consultas de SQL

Gracias a la función groupby pude hacer lo que quería con un dataframe con la columna ‘Price’ en su mayoría lleno de NaN, quería llenar valores faltantes pero no por la media de todo el dataframe si no de cada compañía ‘Company’, primero fue poderles cambiar el tipo de Object a float ya que no me lo permitía por los str.

df['Price'] = pd.to_numeric(df['Price'],errors = 'coerce')

después lo que por fin pude resolver, que aliviada me siento la verdad.

df['Price'] = df.groupby('Company').transform(lambda x: x.fillna(x.mean()))

Este uso del groupby en pandas es lo mas dinamico que he visto. Ayuda mucho a comprender mas el codigo y como este puede ser implementado. Aqui comparto la solucion de mi reto:
![](

✅

mi tarea:!

18. Groupby

import pandas as pd

df_books = pd.read_csv('/content/bestsellers-with-categories_e591527f-ae45-4fa5-b0d1-d50142128fa6.csv')
df_books.head(2) #traer los n primeros registros de mi notebook

df_books.groupby('Author').count() #Agrupar por...

df_books.groupby('Author').count().reset_index

df_books.groupby('Author').agg(['min','max'])

df_books.groupby('Author').agg({'Reviews':['min','max'], 'User Rating':'sum'})

df_books.groupby(['Author','Year']).count

Una suma de todo en una linea …

df_books[df_books[‘Year’] > 2016].iloc[:,1:5].groupby(‘Author’).agg({‘User Rating’:[‘count’,‘max’],‘Reviews’:‘min’,‘Price’:‘sum’})

.agg

Esta funcionalidad da mucha más libertad a la hora de trabajar con Pandas 👍🚀🔥

Agrupar datos

• Para agrupar datos en pandas usamos el método groupby() y luego podemos aplicar una funcion de agregación (sea count, mean, min, max…), o podemos aplicar varias funciones con el método agg: agg([functions]), ejemplos:

df.groupby('n_col').max()
df.groupby('n_col').agg(max,mean)
df.groupby(['col1','col2']).agg('col3':['sum',mean], 'col4':'sum')

	Name	User Rating	Reviews	Price	Genre

Author Year
Abraham Verghese 2010 1 1 1 1 1
2011 1 1 1 1 1
Adam Gasiewski 2017 1 1 1 1 1
Adam Mansbach 2011 1 1 1 1 1
Adir Levy 2019 1 1 1 1 1
… … … … … … …
Wizards RPG Team 2017 1 1 1 1 1
2018 1 1 1 1 1
2019 1 1 1 1 1
Zhi Gang Sha 2009 1 1 1 1 1
2013 1 1 1 1 1

Existe una alternativa dentro de pandas llamada pivot_table. Sin duda mi opción favorita cuando deseo agrupar datos 😄.

Mis apuntes #19

El uso de groupby pudiendo filtrar por un solo Author es fabuloso, me emocioné al pensar que puedo generar fichas de por ejemplo Hospitales, Municipios, Departamentos, Países

Lo que le dicen la emoción del nuevo jajajjajajajaj

reto

Permite agrupar datos en función de los demás. Es decir, hacer el análisis del DataFrame en función de una de las columnas.
Agrupar por Autor y mostrar el conteo de los datos de las demás columnas
la agrupación es agrupar los datos que tienen algo en común en mi data frame
________________________________________
[1]
import pandas as pd
________________________________________
[22]
0 s
df_movie = pd.read_csv("/content/movies_.csv",sep=",",header=0)
df_movie.head(10)
________________________________________
[6]
df_books.groupby("genres").count()
#aca puedo saber cuantos registros hay en mi data frame en cada genero 
#agrpuando por una columna especifica como lo generes 
#que quiero de agregación 
________________________________________
[23]
0 s
df_movie.groupby("genres").mean ()
#tambien puedo saver los valores de la columna con mean, max, min
________________________________________
[24]
0 s
df_movie.groupby("genres").max()
________________________________________
[9]
df_movie.groupby("genres").sum()
#tambiem puedo sumar los valores aca me esta cumado aca columna en general,
#si detallamos bien genres, esta mas abajo que las demas, eso es porque esta en este momento no es 
# una columna es el índice de mi data frame 
________________________________________
[10]
df_movie.groupby("genres").sum().loc["Action|Adventure"]
#como este el ince puedo entrar por loc y puedo sacar el resultado que es un agrupamiento espesificos 
#de (Action|Adventure) en cuantos a sumas 
movie            1108725
year               63588
Rating               175
Rotton Tomato       2386
Name: Action|Adventure, dtype: int64
________________________________________
[11]
df_movie.groupby("genres").sum().reset_index()
#con esta funcion genres pasa a ser parte de nuevo a columnas y el index queda a parte y el resto 
#de las columnas es la suma  el data frame original que teniamos en un comienso  
# de esta manera podemos agrupar valores y sacar cualquier valor de agregacion
________________________________________
[12]
df_movie.groupby("genres").agg(["min","max"])
#con esta funcion puedo  agregar funciones de agrupamienro, genres pasa a ser el index, y quiero 
#saber a nivel de (min y max) por cada columna que estoy trabajando, esto lo hacemos cuando queremos 
#dos métricas distintas 
________________________________________
[14]
df_movie.head(2)
________________________________________
[17]
df_movie.groupby("genres").agg({"year":["min","max"], "Rating": "sum"})
#asi puedo trabajar con cada una de las columnas o con cada una de las funciones de agregacion que tengo puedo trabajar bastante 
________________________________________
[25]
0 s
df_movie.groupby(["genres","title","year"]).count()
#aca se estan combinando multiples datos ya sea por la lleve de  agrupamiento o por la lleve que quiero de agregacion  
________________________________________
hacer agregaciones o agrupaciones en pandas es muy sencillo. arrastra mucho la lógica de SQL, se modo de hacer agregaciones es el que transfirió a pandas y es bastante útil al hacer estas agregaciones a nuestro data set
________________________________________
[19]
0 s
tips = pd.read_csv("/content/movies_.csv")
________________________________________
[20]
0 s
tips
________________________________________
[21]
0 s
tips.groupby("genres").size()
genres
(no genres listed)                     18
Action                                 39
Action|Adventure                       32
Action|Adventure|Animation             14
Action|Adventure|Animation|Children     3
                                       ..
Sci-Fi|Thriller                        13
Sci-Fi|Thriller|IMAX                    1
Thriller                               74
War                                     6
Western                                31
Length: 902, dtype: int64

Agrupamiento compuesto

aggregation por columnas especificas

Para recordar : Loc me permmite seleccionar datos a traves de susu indices y iloc me lo permite a traves de su posición dentro del dataframe