Funciones de activación

Si desean ver el consolidado de las funciones de activación que nombraron en la clase y otras utilizadas en el ambito

Hay un error en la función Signoide, en un signo

Le dí valores con mi calculadora y no me resultaba, asi que mejor googleé la formula.

Funciones de activación == Darle un valor de salida diferente a todo el proceso del perceptrón

Información resumida de esta clase
#EstudiantesDePlatzi

• Utilizamos las funciones de activación para valores de salida diferentes a los datos que vienen de la unión sumatoria

• La función lineal nos permite mantener valores a lo largo de un proceso y nos regresa el mismo valor de entrada

• Cuando necesitamos hacer una clasificación utilizamos la función de escalón, ya que esta nos regresa datos de 1 y 0

• La función sigmoide nos sirve para un proceso llamado regresión logística, su valor lo definimos en términos de probabilidades, es decir, nos ayuda a encontrar probabilidades

• La función tangente hiperbólica tiene su rango de -1 a 1 y es conocida como función de escalamiento

• La función ReLu podemos usarla como un filtro antes de los pesos sinápticos, es decir, esta función toma un valor o lo identifica si es mayor a 0, si es menor a 0 decide no tomar el valor

• La función Leaky ReLu toma los valores negativos y los multiplica por un coeficiente rectificativo y los positivos los deja pasar tranquilamente

Hola platzinautas, encontré este post relacionado con las Funciones de activación https://lamaquinaoraculo.com/computacion/la-funcion-de-activacion/

Funciones de activación

Nos sirven para darles diferentes valores de salida a todo el proceso que surge de la combinación lineal (Unión sumadora) en el perceptrón.

• Función lineal: mantener valores a lo largo de un proceso, predecir venta
• Función escalón o de Heaviside: clasificaciones categóricas, ej. si está apagado o prendido, si existe o no existe. Utiliza valores binarios.
• Función sigmoide: regresión logística, sirve cuando hablamos de probabilidades. Su rango va de 0 a 1. Cuando un valor es 0, su función será 0.5.
• Función tangente hiperbólica: conocida como función de escalamiento, va de -1 a 1.
• Función ReLU: simulación de “neuronas muertas”

Función sigmoide.

Sólo precisar que la fórmula de la función sigmoide en su denominador debe decir 1 + e**-x, y no 1 - e**-x (fórmula antes del código)

Función Leaky ReLU:

def f(x):
  Y = np.zeros(len(x))
  for idx, x in enumerate(x):
    if x >= 0:
      Y[idx] = x
    else:
      Y[idx] = x * 0.01
  return Y

Y = f(x)

plt.grid()
plt.plot(x, Y)
plt.ylim(-2,10)
plt.xlim(-50, 20)

Freddy Vega sobre las redes neuronales y las funciones de activacion

La Funcióñ Leaky Relu 🤓📰💚

.

1. ¿Qué es?
   La función Leaky RELU es similar a la función RELU, pero en lugar de tener una pendiente cero para valores negativos, tiene una pendiente pequeña. Esto significa que la función no se detiene completamente en valores negativos, lo que puede ayudar a evitar la saturación de la neurona.
   .
2. Ventajas y desventajas:
   Esta función presenta sus ventajas y desventajas, por ejemplo una ventaja es que puede evitar la saturación de la neurona, o también que esta función puede ser más efectiva que la función RELU en algunos casos, especialmente cuando se trabaja con grandes conjuntos de datos. Sin embargo, la función Leaky RELU también tiene algunas desventajas. En primer lugar, el valor de alpha debe ser elegido cuidadosamente, ya que si es demasiado grande, puede hacer que la función se comporte como una función lineal. En segundo lugar, la función Leaky RELU no es adecuada para todas las tareas, y puede ser menos efectiva en algunos casos.
   .
3. Utilización:
   La función Leaky RELU se utiliza en muchas aplicaciones de redes neuronales. Por ejemplo, esta función se utiliza en las redes neuronales convolucionales (CNN), que son ampliamente utilizadas en el procesamiento de imágenes. También se utiliza en las redes neuronales recurrentes (RNN), que se utilizan en el procesamiento del lenguaje natural y en la generación de texto.
   .
   La función Leaky RELU también se utiliza en las redes neuronales profundas, que son redes neuronales con muchas capas. Estas redes suelen tener problemas de saturación de la neurona, y la función Leaky RELU puede ayudar a evitar este problema.
   .

La ecuación de la función Leaky RELU es

			 f(x) = { x si x >= 0 ; alpha * x si x < 0}

• donde alpha es un número pequeño y positivo.
  .
  Representación gráfica:
  
  
  

Un ejemplo en “la vida real” de cada una de las funciones

Función Lineal:
Imagina que estás midiendo la cantidad de agua que sale de un grifo en función del tiempo. Si solo quieres una relación directa donde cada segundo aumente la cantidad de agua de manera constante, podrías usar una función de activación lineal para modelar este comportamiento.

Función de Escalón:
Supongamos que tienes un sensor que detecta si una habitación está iluminada o no. Si solo te interesa saber si la habitación está suficientemente iluminada o no, podrías usar una función de escalón para encender una lámpara si la habitación está oscura y apagarla si está iluminada.

Función Sigmoide:
Imagina que estás desarrollando un sistema de recomendación para una plataforma de streaming de películas. Podrías usar una función sigmoide en la capa de salida para predecir la probabilidad de que un usuario le guste una película, generando una puntuación de “me gusta” entre 0 y 1.

Función Hiperbólica (Tanh):
Supongamos que estás creando un chatbot que responde a las emociones del usuario. Podrías usar una función hiperbólica para mapear las respuestas emocionales de los usuarios en un rango entre -1 (emoción negativa) y 1 (emoción positiva), lo que ayudaría al chatbot a responder de manera más apropiada.

Función ReLU (Rectified Linear Activation):
Imagina que estás entrenando un modelo para reconocer dígitos escritos a mano. Si usas una función ReLU en las capas ocultas, la neurona se activaría solo si la entrada es positiva, lo que permitiría que el modelo se concentre en las partes relevantes de la imagen y ignore las partes en blanco.

Es interesante conocer estos tipos de redes de activacion. Si que se esta aprendiendo bastante. Mas adelante sabre esto a detalle.

Las funciones de activación nos sirven para que los datos que entran en el perceptrón no solo entren y salgan (se prenda o se apague la luz), si no que nos ayudan a ver esos matices y devolver los datos ya procesados y a partir de ese resultado procesado que nuestra neurona tome una decisión.

Función ReLU (Rectified Linear Activation): Devuelve el valor de entrada si es positivo y 0 si es negativo. Es ampliamente utilizado debido a su eficiencia de cálculo y su capacidad para mitigar el problema de desvanecimiento del gradiente.

<def R(x,alpha=0.2):
  return np.maximum(x,alpha*x)
N=1000
y=R(x)
plt.plot(x,y)
plt.grid()> 

Clase de electronica y funciones.

Excelente al maestro por explicar

Que buena exposicion de ejemplos de funciones de activacion.

Imagine que tienes un juego en el que debes clasificar objetos en dos grupos: los que son buenos y los que son malos.

QLu es como tener un juez que dice “si es bueno, le doy 10 puntos; si es malo, no le doy ningún punto”.

ReLu es como tener un juez que dice “si es bueno, le doy 10 puntos; si es malo, no le doy ningún punto, pero tampoco le resto puntos”.

Ambos jueces te ayudan a clasificar los objetos en los grupos buenos y malos, pero ReLu es más compasivo porque no les resta puntos a los objetos malos. Esto es útil en la inteligencia artificial porque permite que la computadora aprenda más fácilmente y tome decisiones mejor informadas.

Ponderar

Considerar o examinar con imparcialidad.

Una función de activación es, por tanto, una función que transmite la información generada por la combinación lineal de los pesos y las entradas, es decir son la manera de transmitir la información por las conexiones de salida.

Funciones de activación

Dependencias
________________________________________
[1]
0 s
import matplotlib.pyplot as plt
import numpy as np
________________________________________
[2]
0 s
N = 2000
x = np.linspace(-10,10, num=N)
________________________________________
Función lineal
y=mx+b
________________________________________
[3]
0 s
def f(x):
  return x

plt.plot(x, f(x))
plt.grid()
plt.show()
#todo lo que pasa en esta funcion lo regresa con el mismo valor, pasa una x y nos regresa lo que esta en la grafica 
#es muy util para mantener los valores a lo largo de un proceso, como predecir el valor de una venta 
#atravez de la regresión lineal 
________________________________________
Función escalón o de Heaviside
H(x)={0,1,para, x<0para. x≥0
________________________________________
[ ]
def H(x):
  Y = np.zeros(len(x))
  for idx,x in enumerate(x):
    if x>=0:
      Y[idx]=1
  return Y 

N = 2000

y = H(x)

plt.plot(x,y)
plt.grid()
plt.show()
# esta funcion tiene la particularidad de que doto lo que le entra y es menor a (0) lo volvera 0
#y todos los valores mayores a (0), los volverá (1)
#esta función nos sirve para hacer clasificaciones categóricas. 
# nos indicara si algo esta apagado, o si algo sirve o no sirve 
#sirve mucho para valores vinarios, y es muy util para vaolres de dos clasificaciones 
________________________________________
Función sigmoide
f(x)=11−e−x
________________________________________
[ ]
def f(x):
  return 1/(1 + np.exp(-x))

N = 2000

y  = f(x)
plt.plot(x,y)
plt.grid()
plt.show()

# este modelo es muy util para un proceso llamado regrecion logistica, para cuando hablamos de probavilidades
# su rango va de (0 a 1), y simepre nos regresara valores que esten en ese rango 
#una probabilidad solo puede ir de (0 a 1)
# otra particularida es cuando los valores son demaciados grandes sin importar el valor simpre nos dara cero
#en la grafica simolde, cuando su valor es cero va estar en (0.5), esto ocurre en ambos sentidos
# esta funcion entre mas valor tenga la variable independiente tiene mayor probavilidad
#si es positiva vale (1), y si es negativa su valor es (0). 
________________________________________
Función tangente hiperbólica
f(x)=21+e−2x−1
________________________________________
[ ]
def f(x):
  return np.tanh(x)


N = 2000

y = f(x)

plt.plot(x,y)
plt.grid()
plt.show()
# esta funcion se conoce como funcion de escalamiento, tiene sus valores de (-1 a 1)
# esta funcion tiene un pequeño ploble con el agoritmo babproteichon que es de redes neuronales
# esta función hace un proceso muy similar a la de sigmoide 
#si los valores son muy grandes se acarcaran a (1), y si son de menos valor se hacercaran a (-1)
________________________________________
Función ReLU
R(x)=max(0,x)
________________________________________
[4]
def f(x):
  return np.maximum(x,0)
N = 2000
y = f(x)
plt.plot(x,y)
plt.grid()
#cuando totos los valores sean mayores o iguales a (0), va a empezar a crecer nuetra grafica 
#y todos lo valores menores a cero los volverá a (0)
#esta funcion se pone al final del percetron, cunado queremmos seguir un proceso de simulacion de neuronas muertas 
#cunado lo valores tieneden siempre a ser ceros, esto nos quiere decir que no exixtentes 
#para el proceso que estamos relizando con nuetro modelo son ceros 
# y cuando tienen un valor mayor que (0), entoce hacemos un proceso que vamos a tomar ese valor 
#que hace el liquiredu, marca con cero una pequeña reta que esta desviada que podera la salida de una forma negativa 
#aunque esa variación es muy pequeña 
 
 

LeakyReLu

• Leaky Rectified Linear Unit , o Leaky ReLU , es un tipo de función de activación basada en ReLU , pero tiene una pequeña pendiente para valores negativos en lugar de una pendiente plana. El coeficiente de pendiente se determina antes del entrenamiento, es decir, no se aprende durante el entrenamiento. Este tipo de función de activación es popular en tareas en las que podemos sufrir gradientes escasos, por ejemplo, entrenar redes antagónicas generativas.

Respuesta corta que hay que dar en una entrevista: en el mundo de la inteligencia artificial se conoce la función de activación, como aquella, que activa los pesos de una neurona según el resultado de dicha neurona. Esto permite introducir la no linealidad en las redes neuronales, hay distintos tipos de funciones de activación y no solo son usados ​​en el campo del Deep Learning.

LeakyRelu
La función Leaky ReLU transforma los valores introducidos multiplicando los negativos por un coeficiente rectificativo y dejando los positivos según entran. Características de la función Leaky ReLU: Similar a la función ReLU. Penaliza los negativos mediante un coeficiente rectificador

Esta variante de la RELU, si permite los valores negativos, pero acentúa los positivos. Su formula la podríamos escribir así:

f(x) = x*a si x > 0
f(x) = x si x<= o

Básicamente si el valor es menor que cero, quedamos el valor, si es mayor lo multiplicamos por un número elegido “alpha”. Esta es su gráfica:

Su código:

def leakyrelu(x, alpha):
return max(alpha*x, x)

Funciones de activación y sus utilidades. ✔️

• Función de heaviside.-
  Sería de utilidad para poder filtrar inforamción por caracteres distintos. ‘Si o no’.

• Función sigmoide.-
  Sirve para relación logística. Y estadística.

• Función tangente hiperbólica.-
  Llega a ser más exacta que la función sigmoide.
  Permite más posibilidades. Ya que sirve para ver pequeñas variaciones.

• Funciones relu.-
  Mantiene un limite entra el cero y números positivos. Es util para filtrar valores nulos.
  Sirve para hacer un seguimiento de perceptrones muertos.

Función lineal: mantener valores a lo largo de un proceso, se utiliza por ejemplo para predecir ventas

Función escalón o de Heaviside: clasificaciones categóricas, ej. binarias, es decir: saber si una persona tiene x condicion o no. binarias donde solo hay dos opciones.

Función sigmoide: regresión logística, para probabilidades

Función tangente hiperbólica: para escalamiento

Función ReLU: simulación de “neuronas muertas”

Tipos de funciones de activación

• Función lineal
• Función escalón o de Heaviside. ( usado con variables categoricas)
• Función sigmoide
  -Función tangente hiperbólica
  -Función ReLU: