Análisis de resultados

Clase 13 de 22 • Curso de Redes Neuronales en Keras y Scikit-Learn 2019

Comentarios

Luis Fernando Úbeda Camacho

student•

Voy a facilitar un código más simple para la transformación de las variables categóricas

Hago un dataframe solo de variables categóricas selecciono todas las variables categóricas.

categorical = consolidado[consolidado.columns[consolidado.dtypes==object].tolist()]

Paso todo el dataset categórico por pd.get_dummies() para que transforme todas las variables y tengamos un dataset de variables dummy.

mask = pd.get_dummies(categorical)

Elimino del dataset original las variables categóricas que hemos convertido a dummies.

columns = categorical.columns.tolist()
consolidado.drop(columns, axis=1, inplace=True)

Finalmente concateno el dataset original con que contiene todas las variables categóricas transformadas.

df = pd.concat([consolidado, mask],axis=1)

David Martínez Jiménez

student•

bro eres un Crack!

Alan Vazquez

student•

Para simplificar la seleccion de un tipo especifico de columnas puedes usar select_dtypes

# Selecciona todas las columnas que no sean tipo numerico ( int | float )
df.select_dtypes(exclude='number').columns
# Solo columnas tipo objeto
df.select_dtypes(include='object')

df.select_dtypes(include=['int64', 'categorical', 'date'])

María José Medina

student•

En el minuto 10:58, una forma más simple de evaluar la cantidad de valores distintos (con Pandas) es:

objects_list = list(types[types.values == 'object'].index)
consolidado[objects_list].nunique()

La última línea de código da como resultado la lista de valores distintos de cada columna.

fecha_actividad     411
char_1                2
char_2                3
date               1196
char_3               43
char_4               25
char_5                9
char_6                7
char_7               25
char_8                8
char_9                9
dtype: int64

De igual manera, una forma más simple de hacer el one hot encoding para 'char_6' sería:

mask = pd.get_dummies('char_6'+'_'+consolidado.char_6)

Sin embargo, no está de más saber como realizar esto usando Scikit-Learn, que a final de cuentas es de lo que se trata el curso.

María José Medina

student•

Teniendo en cuenta lo anterior, se puede construir la función de one hot encoding así:

# copia del df consolidado para hacer pruebas
mi_consolidado = consolidado.copy(deep=True)

#Se define función que captura el dataframe y la columna para retornar un dataframe luego de OHE
def OneHotEncoding_df(df, columna):
  OHE_df = pd.get_dummies(columna+'_'+df[columna])
  return OHE_df

#Se obtiene las columnas a las que se va a realizar OHE
objects_list = list(types[types.values == 'object'].index)

#Se realiza OHE para cada categoría
for category in objects_list:
  mask = OneHotEncoding_df(mi_consolidado, category)
  print(f'column {category} transformed!')
  mi_consolidado.drop(category, axis=1, inplace=True)
  mi_consolidado = pd.concat([mi_consolidado, mask], axis=1)

print(f"Tamaño final del dataset transformado: {mi_consolidado.shape}")

Al final, el tamaño del dataset será de (2197291, 178). Esa columna extra es de la variable objetivo 'outcome'. Por lo que el paso final seria eliminar outcome del dataframe.

mi_consolidado.drop('outcome', axis=1, inplace=True)

FELIX DAVID CORDOVA GARCIA

student•

Maravilloso mariajose, muchas gracias por todos tus aportes en todos los cursos de machine learning :3

Geraldine León

student•

Por qué no podemos simplemente aplicar un slice en vez de un encoder? Los features tienen como valor 'type 1', 'type 7', etc, si le aplicamos un slice start=5, solo nos quedaría '1' y '7' por ejemplo y son valores numéricos... Sería lo mismo que hicimos con los features como 'group'. Alguna razón para cambiar de estrategia o es solo didáctico para aprender diferentes maneras de transformar variables categóricas a numéricas?

Diego Alejandro Lesmes

student•

Rodrigo Urquizo Yepez

student•

No siempre en tus valores los datos de tipo string van a estar al inicio, pueden estar al final o incluso mezclados con lo que la funcion slice no siempre seria util, encontre una manera mas eficaz a mi parecer de hacer esto,usando el metodo apply y ejecutando una funcion que te retorna solo los enteros.Lo mejor es que esta funcion se puede reutulizar para cualquier columna.

def only_numbers(objecto):
  output = ""
  for x in list(objecto):
    try:
      if type(int(x)) == int:
        output += x
    except ValueError:
      pass
  return int(output) 

consolid["people_id"] = consolid["people_id"].apply(only_numbers)```

Alan Vazquez

student•

Yo lo hice con expresiones regulares

columns_del_txt = ['activity_id', 'char_10_activity', 'group_1']

df[columns_del_txt] = df[columns_del_txt].applymap(
    lambda x: re.findall(r'(\d+$)', x)[0]).astype('int64', copy=False)

David fernando Pinzon suarez

student•

¿Por que se necesita crear multiples columnas y no simplemente se deja una sola ( la creada por el encoder)?

Alberto Perdomo

student•

Porque cada columna creada equivale a un valor de la variable categorica de la original. Lo que se hizo en el video se conoce como feature engeneering o ingeniería de caracteristicas. Su objetivo es el de crear caracteristicas artificiales basadas en las originales para que estas proporcionen una mayor abstracción de la información a ser analisada por el algoritmo.

Sergio Rubiano

student•

Si, lo que se realizo fue la fase de feature ingineer en cierto aspecto, por que en si tampoco se esta evaluando si todas las features son relevantes en nuestro modelo. Pero para el ejercicio supongo que esta bien

Javier Guevara

student•

El comando Series.dt.week fue retirado, ahora se recomienda usar

consolidado['semana'] = consolidado['date_y'].dt.isocalendar().week

FELIX DAVID CORDOVA GARCIA

student•

Luego de eso para que tengan 47 int64 y 9 object como se observa en el minuto 07:26 se le debe de poner en consolidado['semana'] = consolidado['date_y'].dt.isocalendar().week.astype(int) ,lo mismo con el de fecha_de_actividad

Jorge Osuna

student•

Usa este codigo si te aparece en error al ejecutar el codigo del minuto 2:00, si te aparece que no lee tipo_actividad como string u object.

consolidado['tipo_actividad'] = consolidado['tipo_actividad'].astype(str)

johan Stever Rodriguez Molina

student•

Una manera de hallar los días es usar "lambdas".

consolidado['date'] = consolidado['date'].apply(lambda x: x.day)

Alan Vazquez

student•

O con una funcion que obtenga los atributos de manera dinamica

def split_date(dataframe, column='date', sufix='', times=('day', 'weekday', 'week', 'month', 'year', 'quarter')):
    series_time = pd.to_datetime(dataframe[column])
    dataframe.drop(columns=[column], inplace=True)

    for time in times:
        dataframe[time + sufix] = getattr(series_time.dt, time)


split_date(df)
split_date(df, 'date_activity', '_activity')

display(df.dtypes.value_counts())

Arturo Baduna

student•

por que de str no pasamos a entero directamente??????

Alan Vazquez

student•

Tambien puedes hacer una funcion para eliminar el texto

columns_del_txt = ['activity_id', 'char_10_activity', 'group_1']

df[columns_del_txt] = df[columns_del_txt].applymap(
    lambda x: re.findall(r'(\d+$)', x)[0]).astype('int64', copy=False)

Arturo Baduna

student•

Muy bien, muy interesante

Christian Quispe Bonilla

student•

Gracias por la función de transformación de variables categóricas a números enteros

FELIX DAVID CORDOVA GARCIA

student•

Para seleccionar los datos categoricos es mas sencillo usar: consolidado.select_dtypes(include="object")

y si queremos todos menos los categoricos usamos

consolidado.select_dtypes(exclude="object")

FELIX DAVID CORDOVA GARCIA

student•

Es mas sencillo hacer: consolidado.activity_id.str[4:] y asi para cada uno de los valores de tipo categorico

FELIX DAVID CORDOVA GARCIA

student•

Para los que quieren evitarse el codigo de profesor en el minuto 2 ,pueden usar lambda y split así:

Julián Andrés Santos Méndez

student•

¿Hay alguna razón por la cual se quieran todos los features como enteros?

Alexander carpio mamani

student•

porque los modelos de machine learning trabajan con valores numericos.

Alan Vazquez

student•

Les comparto el mi notebook de la transformacion de datos, antes de empezar tranforme los archivos de csv a parquet. Una manera sencilla de hacerlo puede ser primero importando el csv con pandas y exportarlos como parquet

df = pd.read_csv(file)
df.to_parquet(file.parquet)

https://drive.google.com/file/d/13k7TQh8de0SfL8q3IGGBTychg6mvMFmp/view?usp=sharing

Brayan Leonardo Velasquez Gutierrez

student•

A que se debe que aparezca este error?

![](

FELIX DAVID CORDOVA GARCIA

student•

debes ver los valores que son de ese tipo y poner astype(int), tmb me salio lo mismo y tuve problemas

# Selecciona todas las columnas que no sean tipo numerico ( int | float )
df.select_dtypes(exclude='number').columns
# Solo columnas tipo objeto
df.select_dtypes(include='object')

df.select_dtypes(include=['int64', 'categorical', 'date'])

fecha_actividad     411
char_1                2
char_2                3
date               1196
char_3               43
char_4               25
char_5                9
char_6                7
char_7               25
char_8                8
char_9                9
dtype: int64

# copia del df consolidado para hacer pruebas
mi_consolidado = consolidado.copy(deep=True)

#Se define función que captura el dataframe y la columna para retornar un dataframe luego de OHE
def OneHotEncoding_df(df, columna):
  OHE_df = pd.get_dummies(columna+'_'+df[columna])
  return OHE_df

#Se obtiene las columnas a las que se va a realizar OHE
objects_list = list(types[types.values == 'object'].index)

#Se realiza OHE para cada categoría
for category in objects_list:
  mask = OneHotEncoding_df(mi_consolidado, category)
  print(f'column {category} transformed!')
  mi_consolidado.drop(category, axis=1, inplace=True)
  mi_consolidado = pd.concat([mi_consolidado, mask], axis=1)

print(f"Tamaño final del dataset transformado: {mi_consolidado.shape}")

def only_numbers(objecto):
  output = ""
  for x in list(objecto):
    try:
      if type(int(x)) == int:
        output += x
    except ValueError:
      pass
  return int(output) 

consolid["people_id"] = consolid["people_id"].apply(only_numbers)```

def split_date(dataframe, column='date', sufix='', times=('day', 'weekday', 'week', 'month', 'year', 'quarter')):
    series_time = pd.to_datetime(dataframe[column])
    dataframe.drop(columns=[column], inplace=True)

    for time in times:
        dataframe[time + sufix] = getattr(series_time.dt, time)


split_date(df)
split_date(df, 'date_activity', '_activity')

display(df.dtypes.value_counts())

Análisis de resultados

Apropiar conceptos fundamentales de las redes neuronales

¿Qué es una red neuronal?

Identificar los principales Frameworks usados en la industria para el desarrollo de Deep Learning

Frameworks de Deep Learning

Comprender los modelos de representación de las redes neuronales artificiales usados en Deep Learning

Estructura de redes neuronales

Creando nuestra primer red neuronal

Entrenando nuestra primera red neuronal

Visualizando el proceso de entrenamiento

Funciones de activación

Funciones de costo o pérdidas

Inicialización y Entrenamiento de RN

Optimizadores en redes neuronales

Clasificación Binaria

Clasificación de potenciales clientes

Análisis de resultados

Métricas de desempeño: regresión y clasificación

Evaluando métricas de desempeño

Ajuste de redes neuronales: overfitting y regularización

Regularización

Ajuste de redes neuronales: Hiper parámetros

Crear un modelo de regresión a partir de un caso de uso real

Introducción a las regresiones con Deep Learning: Planteamiento del problema

Solución del problema de regresión

Ajustes finales al proyecto

Cierre del curso

Cierre del curso