Funciones de activación

Clase 7 de 22 • Curso de Redes Neuronales en Keras y Scikit-Learn 2019

Clase anteriorSiguiente clase

Laura Camila Pinzón Casallas

student•

!Cheatsheet_act_funcs

Juan Ventrone

student•

Gracias por tu aporte!, de verdad lo dejare como wallpaper

johan Stever Rodriguez Molina

student•

Perdón, pero faltó mencionar algo supremamente importante, y es la razón de por qué se usa una función de activación. Generalmente se hace para lograr agregar el factor de "no linearidad" que se necesita, para atacar ciertos problemas, donde no se puede usar simplemente una frontera de decisión lineal(hiperplano) que nos separe los puntos, esto para un problema de clasificación. Luego usar estas funciones nos permite encontrar regiones o fronteras no lineales que separen mejor los puntos.

Carlos Daniel Pimentel Díaz

student•

En realidad sí lo dijo en el minuto 4:28 pero el estudiante inexperto lo pasa por alto. Obviamente tu explicación Johan es mucho más práctica, con lenguaje más entendible. Gracias por el aporte.

Alberto Perdomo

student•

Como un aporte adcional me gustaria comentar que la selección de las funciones de activación está muy relacionada al problema a resolver

La función sigmoide para clasificación binaria
La función softmax o tanh para clasificación multiclase
La función ReLU para convolución.

Como ejemplos más usados.

Rodrigo Urquizo Yepez

student•

No sabia que la funcion RELU era usada para convolucion, lo que si aun no entiendo es la funcion softmax, tocara investigar un poco.Gracias por ese dato compañero.

Alberto Perdomo

student•

Rodrigo hay un curso en Platzi donde profundizan bastante las redes convoulcionales y las redes generativas que es deep learning con PyTorch. Es bastante complejo, pero vale la pena.

Omar Larasa

student•

Hola, me ha resultado bastante útil este video en el que explica también las funciones de activación de la clase (aunque sin tanto énfasis) y te explica la importancia intuitiva de las funciones de activación en las redes neuronales.

Video: https://youtu.be/uwbHOpp9xkc

Demetrio Cumplido Narciso

student•

Un poco más sobre las funciones de activación.

https://www.analyticsvidhya.com/blog/2020/01/fundamentals-deep-learning-activation-functions-when-to-use-them/

Alberto Diaz Letelier

student•

hola tengo un data set de 5 variables, y una de esas 5 es mi target, al crear una red del tipo model = Sequential() model.add(Dense(5, input_dim=5, kernel_initializer='normal',activation='relu')) model.add(Dense(3, kernel_initializer='normal',activation='relu')) model.add(Dense(1, kernel_initializer='normal'))

y entrenar mi modelo,

#Entrena el modelo model.fit(x_train, y_train, batch_size=32, epochs=5,validation_data=(x_val,y_val))

me aparece el siguiente error:

ValueError: Error when checking input: expected dense_11_input to have shape (5,) but got array with shape (4,)

me ayudan con esto porfa?

Patrick Tanta

student•

input_dim=4 (4 feats y 1 target)

Alberto Perdomo

student•

Una aclaración en cuanto a la segunda función de activación, no es que exista una función lineal, es que el comportamiento de una red es el de una regresión lineal multiple. Sin funciones de activación todas las capas colapsan en un solo perceptron que no puede manejar problemas de alta complejidad, por la misma naturaleza del algoritmo de regresión líneal.

Más información en este video:

https://www.youtube.com/watch?v=uwbHOpp9xkc

Rodrigo Urquizo Yepez

student•

Eso de la derivada de las funciones de activacion pienso que es mas un concepto matematico, ya que al final al hacer backpropagation las unicas derivadas que se sacan son las derivadas parciales de las funciones de coste, como por ejemplo el cross entropy loss que es la funcion de coste que se usa en la regresion logistica.

Alexander carpio mamani

student•

en el backpropagation tambien se saca las derivadas de las funciones dependiendo de la capa para actualizar los pesos.

Funciones de activación

Apropiar conceptos fundamentales de las redes neuronales

¿Qué es una red neuronal?

Identificar los principales Frameworks usados en la industria para el desarrollo de Deep Learning

Frameworks de Deep Learning

Comprender los modelos de representación de las redes neuronales artificiales usados en Deep Learning

Estructura de redes neuronales

Creando nuestra primer red neuronal

Entrenando nuestra primera red neuronal

Visualizando el proceso de entrenamiento

Funciones de activación

Funciones de costo o pérdidas

Inicialización y Entrenamiento de RN

Optimizadores en redes neuronales

Clasificación Binaria

Clasificación de potenciales clientes

Análisis de resultados

Métricas de desempeño: regresión y clasificación

Evaluando métricas de desempeño

Ajuste de redes neuronales: overfitting y regularización

Regularización

Ajuste de redes neuronales: Hiper parámetros

Crear un modelo de regresión a partir de un caso de uso real

Introducción a las regresiones con Deep Learning: Planteamiento del problema

Solución del problema de regresión

Ajustes finales al proyecto

Cierre del curso

Cierre del curso