No tienes acceso a esta clase

隆Contin煤a aprendiendo! 脷nete y comienza a potenciar tu carrera

Funciones de activaci贸n

15/18
Recursos

Aportes 29

Preguntas 1

Ordenar por:

驴Quieres ver m谩s aportes, preguntas y respuestas de la comunidad?

o inicia sesi贸n.

驴Para qu茅 se utilizan las funciones?

  • Funci贸n lineal: mantener valores a lo largo de un proceso, predecir venta

  • Funci贸n escal贸n o de Heaviside: clasificaciones categ贸ricas, ej. binarias

  • Funci贸n sigmoide: regresi贸n log铆stica, para probabilidades

  • Funci贸n tangente hiperb贸lica: para escalamiento

  • Funci贸n ReLU: simulaci贸n de 鈥渘euronas muertas鈥

Lectura de diferentes funciones de activaci贸n

Otra donde explica las diferencias entre ReLU y LeakyReLU

Si desean ver el consolidado de las funciones de activaci贸n que nombraron en la clase y otras utilizadas en el ambito

Hay un error en la funci贸n Signoide, en un signo
Le d铆 valores con mi calculadora y no me resultaba, asi que mejor google茅 la formula.

Aqu铆 hay un video bastante interesante donde explica otras funciones de activaci贸n como:

  • ReLU
  • LeakyReLu
  • Parametrcic ReLU
  • GeLU

y muchas m谩s.

Funciones de activaci贸n a detalle (Redes neuronales) - YouTube

Funciones de activaci贸n == Darle un valor de salida diferente a todo el proceso del perceptr贸n

Hola platzinautas, encontr茅 este post relacionado con las Funciones de activaci贸n https://lamaquinaoraculo.com/computacion/la-funcion-de-activacion/

Informaci贸n resumida de esta clase
#EstudiantesDePlatzi

  • Utilizamos las funciones de activaci贸n para valores de salida diferentes a los datos que vienen de la uni贸n sumatoria

  • La funci贸n lineal nos permite mantener valores a lo largo de un proceso y nos regresa el mismo valor de entrada

  • Cuando necesitamos hacer una clasificaci贸n utilizamos la funci贸n de escal贸n, ya que esta nos regresa datos de 1 y 0

  • La funci贸n sigmoide nos sirve para un proceso llamado regresi贸n log铆stica, su valor lo definimos en t茅rminos de probabilidades, es decir, nos ayuda a encontrar probabilidades

  • La funci贸n tangente hiperb贸lica tiene su rango de -1 a 1 y es conocida como funci贸n de escalamiento

  • La funci贸n ReLu podemos usarla como un filtro antes de los pesos sin谩pticos, es decir, esta funci贸n toma un valor o lo identifica si es mayor a 0, si es menor a 0 decide no tomar el valor

  • La funci贸n Leaky ReLu toma los valores negativos y los multiplica por un coeficiente rectificativo y los positivos los deja pasar tranquilamente

Funci贸n sigmoide.

Funciones de activaci贸n


Nos sirven para darles diferentes valores de salida a todo el proceso que surge de la combinaci贸n lineal (Uni贸n sumadora) en el perceptr贸n.

  • Funci贸n lineal: mantener valores a lo largo de un proceso, predecir venta
  • Funci贸n escal贸n o de Heaviside: clasificaciones categ贸ricas, ej. si est谩 apagado o prendido, si existe o no existe. Utiliza valores binarios.
  • Funci贸n sigmoide: regresi贸n log铆stica, sirve cuando hablamos de probabilidades. Su rango va de 0 a 1. Cuando un valor es 0, su funci贸n ser谩 0.5.
  • Funci贸n tangente hiperb贸lica: conocida como funci贸n de escalamiento, va de -1 a 1.
  • Funci贸n ReLU: simulaci贸n de 鈥渘euronas muertas鈥

S贸lo precisar que la f贸rmula de la funci贸n sigmoide en su denominador debe decir 1 + e**-x, y no 1 - e**-x (f贸rmula antes del c贸digo)

La funcion de heaviside la utilizamos en electronica

Un ejemplo en 鈥渓a vida real鈥 de cada una de las funciones

Funci贸n Lineal:
Imagina que est谩s midiendo la cantidad de agua que sale de un grifo en funci贸n del tiempo. Si solo quieres una relaci贸n directa donde cada segundo aumente la cantidad de agua de manera constante, podr铆as usar una funci贸n de activaci贸n lineal para modelar este comportamiento.

Funci贸n de Escal贸n:
Supongamos que tienes un sensor que detecta si una habitaci贸n est谩 iluminada o no. Si solo te interesa saber si la habitaci贸n est谩 suficientemente iluminada o no, podr铆as usar una funci贸n de escal贸n para encender una l谩mpara si la habitaci贸n est谩 oscura y apagarla si est谩 iluminada.

Funci贸n Sigmoide:
Imagina que est谩s desarrollando un sistema de recomendaci贸n para una plataforma de streaming de pel铆culas. Podr铆as usar una funci贸n sigmoide en la capa de salida para predecir la probabilidad de que un usuario le guste una pel铆cula, generando una puntuaci贸n de 鈥渕e gusta鈥 entre 0 y 1.

Funci贸n Hiperb贸lica (Tanh):
Supongamos que est谩s creando un chatbot que responde a las emociones del usuario. Podr铆as usar una funci贸n hiperb贸lica para mapear las respuestas emocionales de los usuarios en un rango entre -1 (emoci贸n negativa) y 1 (emoci贸n positiva), lo que ayudar铆a al chatbot a responder de manera m谩s apropiada.

Funci贸n ReLU (Rectified Linear Activation):
Imagina que est谩s entrenando un modelo para reconocer d铆gitos escritos a mano. Si usas una funci贸n ReLU en las capas ocultas, la neurona se activar铆a solo si la entrada es positiva, lo que permitir铆a que el modelo se concentre en las partes relevantes de la imagen y ignore las partes en blanco.

Las funciones de activaci贸n nos sirven para que los datos que entran en el perceptr贸n no solo entren y salgan (se prenda o se apague la luz), si no que nos ayudan a ver esos matices y devolver los datos ya procesados y a partir de ese resultado procesado que nuestra neurona tome una decisi贸n.

Funci贸n ReLU (Rectified Linear Activation): Devuelve el valor de entrada si es positivo y 0 si es negativo. Es ampliamente utilizado debido a su eficiencia de c谩lculo y su capacidad para mitigar el problema de desvanecimiento del gradiente.

<def R(x,alpha=0.2):
  return np.maximum(x,alpha*x)
N=1000
y=R(x)
plt.plot(x,y)
plt.grid()> 

Clase de electronica y funciones.

Excelente al maestro por explicar

Que buena exposicion de ejemplos de funciones de activacion.

Imagine que tienes un juego en el que debes clasificar objetos en dos grupos: los que son buenos y los que son malos.

QLu es como tener un juez que dice 鈥渟i es bueno, le doy 10 puntos; si es malo, no le doy ning煤n punto鈥.

ReLu es como tener un juez que dice 鈥渟i es bueno, le doy 10 puntos; si es malo, no le doy ning煤n punto, pero tampoco le resto puntos鈥.

Ambos jueces te ayudan a clasificar los objetos en los grupos buenos y malos, pero ReLu es m谩s compasivo porque no les resta puntos a los objetos malos. Esto es 煤til en la inteligencia artificial porque permite que la computadora aprenda m谩s f谩cilmente y tome decisiones mejor informadas.

Ponderar

Considerar o examinar con imparcialidad.

Una funci贸n de activaci贸n es, por tanto, una funci贸n que transmite la informaci贸n generada por la combinaci贸n lineal de los pesos y las entradas, es decir son la manera de transmitir la informaci贸n por las conexiones de salida.

Funciones de activaci贸n

Dependencias
________________________________________
[1]
0 s
import matplotlib.pyplot as plt
import numpy as np
________________________________________
[2]
0 s
N = 2000
x = np.linspace(-10,10, num=N)
________________________________________
Funci贸n lineal
y=mx+b
________________________________________
[3]
0 s
def f(x):
  return x

plt.plot(x, f(x))
plt.grid()
plt.show()
#todo lo que pasa en esta funcion lo regresa con el mismo valor, pasa una x y nos regresa lo que esta en la grafica 
#es muy util para mantener los valores a lo largo de un proceso, como predecir el valor de una venta 
#atravez de la regresi贸n lineal 
________________________________________
Funci贸n escal贸n o de Heaviside
H(x)={0,1,para, x<0para. x鈮0
________________________________________
[ ]
def H(x):
  Y = np.zeros(len(x))
  for idx,x in enumerate(x):
    if x>=0:
      Y[idx]=1
  return Y 

N = 2000

y = H(x)

plt.plot(x,y)
plt.grid()
plt.show()
# esta funcion tiene la particularidad de que doto lo que le entra y es menor a (0) lo volvera 0
#y todos los valores mayores a (0), los volver谩 (1)
#esta funci贸n nos sirve para hacer clasificaciones categ贸ricas. 
# nos indicara si algo esta apagado, o si algo sirve o no sirve 
#sirve mucho para valores vinarios, y es muy util para vaolres de dos clasificaciones 
________________________________________
Funci贸n sigmoide
f(x)=11鈭抏鈭抶
________________________________________
[ ]
def f(x):
  return 1/(1 + np.exp(-x))

N = 2000

y  = f(x)
plt.plot(x,y)
plt.grid()
plt.show()

# este modelo es muy util para un proceso llamado regrecion logistica, para cuando hablamos de probavilidades
# su rango va de (0 a 1), y simepre nos regresara valores que esten en ese rango 
#una probabilidad solo puede ir de (0 a 1)
# otra particularida es cuando los valores son demaciados grandes sin importar el valor simpre nos dara cero
#en la grafica simolde, cuando su valor es cero va estar en (0.5), esto ocurre en ambos sentidos
# esta funcion entre mas valor tenga la variable independiente tiene mayor probavilidad
#si es positiva vale (1), y si es negativa su valor es (0). 
________________________________________
Funci贸n tangente hiperb贸lica
f(x)=21+e鈭2x鈭1
________________________________________
[ ]
def f(x):
  return np.tanh(x)


N = 2000

y = f(x)

plt.plot(x,y)
plt.grid()
plt.show()
# esta funcion se conoce como funcion de escalamiento, tiene sus valores de (-1 a 1)
# esta funcion tiene un peque帽o ploble con el agoritmo babproteichon que es de redes neuronales
# esta funci贸n hace un proceso muy similar a la de sigmoide 
#si los valores son muy grandes se acarcaran a (1), y si son de menos valor se hacercaran a (-1)
________________________________________
Funci贸n ReLU
R(x)=max(0,x)
________________________________________
[4]
def f(x):
  return np.maximum(x,0)
N = 2000
y = f(x)
plt.plot(x,y)
plt.grid()
#cuando totos los valores sean mayores o iguales a (0), va a empezar a crecer nuetra grafica 
#y todos lo valores menores a cero los volver谩 a (0)
#esta funcion se pone al final del percetron, cunado queremmos seguir un proceso de simulacion de neuronas muertas 
#cunado lo valores tieneden siempre a ser ceros, esto nos quiere decir que no exixtentes 
#para el proceso que estamos relizando con nuetro modelo son ceros 
# y cuando tienen un valor mayor que (0), entoce hacemos un proceso que vamos a tomar ese valor 
#que hace el liquiredu, marca con cero una peque帽a reta que esta desviada que podera la salida de una forma negativa 
#aunque esa variaci贸n es muy peque帽a 
 
 

LeakyReLu

  • Leaky Rectified Linear Unit , o Leaky ReLU , es un tipo de funci贸n de activaci贸n basada en ReLU , pero tiene una peque帽a pendiente para valores negativos en lugar de una pendiente plana. El coeficiente de pendiente se determina antes del entrenamiento, es decir, no se aprende durante el entrenamiento. Este tipo de funci贸n de activaci贸n es popular en tareas en las que podemos sufrir gradientes escasos, por ejemplo, entrenar redes antag贸nicas generativas.

Funci贸n Leaky ReLU:

def f(x):
  Y = np.zeros(len(x))
  for idx, x in enumerate(x):
    if x >= 0:
      Y[idx] = x
    else:
      Y[idx] = x * 0.01
  return Y

Y = f(x)

plt.grid()
plt.plot(x, Y)
plt.ylim(-2,10)
plt.xlim(-50, 20)

Respuesta corta que hay que dar en una entrevista: en el mundo de la inteligencia artificial se conoce la funci贸n de activaci贸n, como aquella, que activa los pesos de una neurona seg煤n el resultado de dicha neurona. Esto permite introducir la no linealidad en las redes neuronales, hay distintos tipos de funciones de activaci贸n y no solo son usados 鈥嬧媏n el campo del Deep Learning.

LeakyRelu
La funci贸n Leaky ReLU transforma los valores introducidos multiplicando los negativos por un coeficiente rectificativo y dejando los positivos seg煤n entran. Caracter铆sticas de la funci贸n Leaky ReLU: Similar a la funci贸n ReLU. Penaliza los negativos mediante un coeficiente rectificador

Esta variante de la RELU, si permite los valores negativos, pero acent煤a los positivos. Su formula la podr铆amos escribir as铆:

f(x) = x*a si x > 0
f(x) = x si x<= o

B谩sicamente si el valor es menor que cero, quedamos el valor, si es mayor lo multiplicamos por un n煤mero elegido 鈥渁lpha鈥. Esta es su gr谩fica:

Su c贸digo:

def leakyrelu(x, alpha):
return max(alpha*x, x)

Funciones de activaci贸n y sus utilidades. 鉁旓笍


  • Funci贸n de heaviside.-
    Ser铆a de utilidad para poder filtrar inforamci贸n por caracteres distintos. 鈥楽i o no鈥.

  • Funci贸n sigmoide.-
    Sirve para relaci贸n log铆stica. Y estad铆stica.

  • Funci贸n tangente hiperb贸lica.-
    Llega a ser m谩s exacta que la funci贸n sigmoide.
    Permite m谩s posibilidades. Ya que sirve para ver peque帽as variaciones.

  • Funciones relu.-
    Mantiene un limite entra el cero y n煤meros positivos. Es util para filtrar valores nulos.
    Sirve para hacer un seguimiento de perceptrones muertos.

Funci贸n lineal: mantener valores a lo largo de un proceso, se utiliza por ejemplo para predecir ventas

Funci贸n escal贸n o de Heaviside: clasificaciones categ贸ricas, ej. binarias, es decir: saber si una persona tiene x condicion o no. binarias donde solo hay dos opciones.

Funci贸n sigmoide: regresi贸n log铆stica, para probabilidades

Funci贸n tangente hiperb贸lica: para escalamiento

Funci贸n ReLU: simulaci贸n de 鈥渘euronas muertas鈥

Tipos de funciones de activaci贸n

  • Funci贸n lineal
  • Funci贸n escal贸n o de Heaviside. ( usado con variables categoricas)
  • Funci贸n sigmoide
    -Funci贸n tangente hiperb贸lica
    -Funci贸n ReLU: