Estimación Kernel y Distribución Acumulada Empírica

Contenido del curso

Teoría

Simulación

Proyecto

Conclusiones

37
Programación Dinámica y Estocástica en Simulación
00:35 min

Tomar examen

Cursos Empresas Blog Live Conf Eventos Precios

0:0011:37

Estimación Kernel y Distribución Acumulada Empírica

Curso de Estadística Inferencial con R

Clase 25 de 37

Clase 25 / 37

Recursos

¿Cómo se estiman funciones utilizando métodos kernel?

En el fascinante mundo de la estadística, la estimación de funciones es una técnica clave que nos permite comprender la distribución de los datos más allá de un simple valor puntual. En este sentido, el uso de la estimación kernel para aproximar la distribución de conjuntos de datos uniformes destaca como un enfoque poderoso, pero no sin sus desafíos. En este análisis, abordaremos cómo se lleva a cabo este proceso y las implicaciones de sus resultados.

¿Cómo se genera y se utiliza un estimador kernel?

Para comenzar, se debe generar un tamaño muestral adecuado. En nuestra práctica, se establecieron 70 datos que se distribuyen uniformemente dentro de un rango definido entre tres y ocho. Además, se deben definir el número de iteraciones (en este caso, 100) y crear una secuencia para representar los datos graficados.

Código en R:

n <- 70
a <- 3
b <- 8
iteraciones <- 100
x <- seq(2, 9, length.out = 100)
y <- runif(n, a, b)

El estimador kernel se adquiere utilizando la función density en R, permitiéndonos dibujar la distribución estimada. No obstante, se advierte que esta estimación puede ser sesgada, especialmente en los bordes de la distribución, lo cual es evidenciado tras una simulación gráfica iterativa.

¿Qué revela la simulación sobre la densidad kernel?

Al realizar múltiples iteraciones, la visualización del estimador kernel sobre la densidad teórica muestra que, aunque el estimador puede aproximarse mejor con un aumento en el tamaño muestral, los bordes de la distribución teórica a menudo quedan por fuera de las líneas estimadas. Esto indica que el estimador kernel es, efectivamente, sesgado.

En otras palabras, aunque la aproximación mejora con más datos, la representación en los extremos dista de la verdadera distribución, sugiriendo la acumulación de sesgo en esas áreas.

¿Cómo se compara con la distribución acumulada empírica?

Para abordar el sesgo inherente al estimador kernel, se explora el uso de la función de distribución acumulada empírica (ECDF). Esta alternativa promete una representación menos sesgada al reflejar la acumulación de probabilidades de manera escalonada.

Código en R:

SDF <- ecdf(y)
plot(SDF, main="Distribución Acumulada Empírica")

Al superponer las estimaciones empíricas con la densidad acumulada teórica, se observa que el ECDF se alinea significativamente mejor con los parámetros reales, alojándolos dentro de la nube de estimaciones. Esto subraya que a diferencia del estimador kernel, el ECDF ofrece una inferencia no sesgada.

¿Cuál es el próximo paso en la estimación funcional multivariada?

La estadística multivariada nos abre camino a estimaciones más complejas e informadas. El próximo objetivo será adentrarnos en la estimación funcional multivariada para acercarnos al valor esperado condicional. Al continuar con este tipo de análisis, no solo se incrementa la precisión de nuestras inferencias, sino que también se permite una comprensión más rica y más útil del comportamiento de los datos.

Este recorrido a través de la estimación de funciones, tanto kernel como acumulada empírica, destaca la importancia de elegir el estimador apropiado y de estar consciente de las limitaciones y prejuicios que cada método podría introducir en nuestra interpretación de los datos. ¡La exploración continúa!

Martin DAVILA

Hace 6 años



# ECDF para todos! --------------------------------------------------------



# Kernel ------------------------------------------------------------------


# Distribución normal -----------------------------------------------------

tamano_muestral <- 100
media <- 5
desv <- 3
iteraciones <- 75

x <- seq(-5, 15, length.out = 100)

Y <- rnorm(tamano_muestral, media, desv)

estimador_kernel <- density(Y)

plot(estimador_kernel)
lines(x = x, y = dnorm(x, media, desv), col = 2, lwd = 2)


plot(estimador_kernel)
for(i in seq_len(iteraciones)){
  Y <- rnorm(tamano_muestral, media, desv)
  
  estimador_kernel <- density(Y)

    lines(estimador_kernel)
  
}
lines(x = x, y = dnorm(x, media, desv), col = 2, lwd = 2)



# Distribución uniforme ---------------------------------------------------


tamano_muestral <- 100
a <- 3
b <- 8
iteraciones <- 75

x <- seq(2, 9, length.out = 100)

Y <- runif(tamano_muestral, a, b)

estimador_kernel <- density(Y)

plot(estimador_kernel)
lines(x = x, y = dunif(x, a, b), col = 2, lwd = 2)



plot(estimador_kernel)
for(i in seq_len(iteraciones)){
  Y <- runif(tamano_muestral, a, b)
  
  estimador_kernel <- density(Y)
  
  lines(estimador_kernel)
  
}
lines(x = x, y = dunif(x, a, b), col = 2, lwd = 2)



# ECDF --------------------------------------------------------------------

# distribución normal -----------------------------------------------------


tamano_muestral <- 100
media <- 5
desv <- 3
iteraciones <- 75

x <- seq(-5, 15, length.out = 100)

Y <- rnorm(tamano_muestral, media, desv)

estimador_ecdf <- ecdf(Y)

plot(estimador_ecdf, pch = "", verticals = TRUE)
lines(x = x, y = pnorm(x, media, desv), col = 2, lwd = 2)



plot(estimador_ecdf, pch = "", verticals = TRUE)
for(i in seq_len(iteraciones)){
  Y <- rnorm(tamano_muestral, media, desv)
  estimador_ecdf <- ecdf(Y)
  lines(estimador_ecdf, pch = "", verticals = TRUE)
}
lines(x = x, y = pnorm(x, media, desv), col = 2, lwd = 2)



# Distribución uniforme ---------------------------------------------------

tamano_muestral <- 1000
a <- 2
b <- 8
iteraciones <- 75

x <- seq(-5, 15, length.out = 100)

Y <- runif(tamano_muestral, a, b)

estimador_ecdf <- ecdf(Y)

plot(estimador_ecdf, pch = "", verticals = TRUE)
lines(x = x, y = punif(x, a, b), col = 2, lwd = 2)



plot(estimador_ecdf, pch = "", verticals = TRUE)
for(i in 1:iteraciones){
  Y <- runif(tamano_muestral, a, b)
  
  estimador_ecdf <- ecdf(Y)
  
  lines(estimador_ecdf, pch = "", verticals = TRUE)
  
}
lines(x = x, y = punif(x, a, b), col = 2, lwd = 2)



# Tidy approach -----------------------------------------------------------


# Paquetes ----------------------------------------------------------------


library("magrittr")
library("ggplot2")
library("LaCroixColoR")
library("dplyr")

# kernel ------------------------------------------------------------------



# Distribución lineal -----------------------------------------------------


color_setup <- lacroix_palette("PassionFruit", n = 5, type = "discrete")[c(1, 4, 5)]

colores_platzi <- c("#78D92A", "#002E4E", "#058ECD", "#ED2B05", "#F4F7F4")

tamano_muestral <- 10
media <- 5
desv <- 3
iteraciones <- 75

tibble(
  x = seq(-5, 15, length.out = 100),
  y = dnorm(x, media, desv)
) -> poblacion

nombre_iter <- paste("I", seq_len(iteraciones))

tibble(
  iter = rep(nombre_iter, each=tamano_muestral),
  datos = rnorm(iteraciones*tamano_muestral, media, desv)
) -> simulaciones


ggplot(simulaciones) +
  geom_density(mapping = aes(x = datos, group = iter), colour = color_setup[3], size = 0.2) +
  geom_path(data = poblacion, aes(x = x, y = y), colour = color_setup[1], size = 1) +
  theme_minimal()


# Distribución uniforme ---------------------------------------------------


tamano_muestral <- 1000
a <- 3
b <- 8
iteraciones <- 75

tibble(
  x = seq(1, 10, length.out = 100),
  y = dunif(x, a, b)
) -> poblacion

nombre_iter <- paste("I", seq_len(iteraciones))

tibble(
  iter = rep(nombre_iter, each=tamano_muestral),
  datos = runif(iteraciones*tamano_muestral, a, b)
) -> simulaciones


ggplot(simulaciones) +
  geom_density(mapping = aes(x = datos, group = iter), colour = color_setup[3], size = 0.2) +
  geom_path(data = poblacion, aes(x = x, y = y), colour = color_setup[1], size = 1) +
  theme_minimal()



# ECDF --------------------------------------------------------------------



# Distribución normal -----------------------------------------------------


tamano_muestral <- 10
media <- 5
desv <- 3
iteraciones <- 75

tibble(
  x = seq(-5, 15, length.out = 100),
  y = pnorm(x, media, desv)
) -> poblacion

nombre_iter <- paste("I", seq_len(iteraciones))

tibble(
  iter = rep(nombre_iter, each=tamano_muestral),
  datos = rnorm(iteraciones*tamano_muestral, media, desv)
) -> simulaciones


ggplot(simulaciones) +
  geom_step(mapping = aes(x = datos, group = iter), colour = color_setup[3], size = 0.2, stat = "ecdf") +
  geom_path(data = poblacion, aes(x = x, y = y), colour = color_setup[1], size = 1) +
  theme_minimal()


# Distribución uniforme ---------------------------------------------------


tamano_muestral <- 10
a <- 3
b <- 8
iteraciones <- 75

tibble(
  x = seq(1, 10, length.out = 100),
  y = punif(x, a, b)
) -> poblacion

nombre_iter <- paste("I", seq_len(iteraciones))

tibble(
  iter = rep(nombre_iter, each=tamano_muestral),
  datos = runif(iteraciones*tamano_muestral, a, b)
) -> simulaciones


ggplot(simulaciones) +
  geom_step(mapping = aes(x = datos, group = iter), colour = color_setup[3], size = 0.2, stat = "ecdf") +
  geom_path(data = poblacion, aes(x = x, y = y), colour = color_setup[1], size = 1) +
  theme_minimal()

Teoría

Inferencia Estadística: Fundamentos y Aplicaciones con Simulación en R

Valor Esperado Condicional en Ciencia de Datos

Poblaciones y Muestras: Conceptos y Generalización Estadística

Muestreo Probabilístico y No Probabilístico: Métodos y Aplicaciones

Estimadores y Parámetros en Ciencia de Datos

Estimación Paramétrica y No Paramétrica en Ciencia de Datos

Gráficos y Espacio de Parámetros en Modelos Estadísticos

Estimadores Puntuales y su Comportamiento Aleatorio

Intervalos de Confianza: Cálculo y Significado en Estadística

Tamaño Muestral y su Impacto en la Precisión Estadística

Sesgo y Varianza en Ciencia de Datos: Precisión y Exactitud

Teoría No Paramétrica: Estimación y Modelos Aplicados

Estimación Funcional: Kernel y Funciones de Densidad Acumulada

Estimación Funcional del Valor Esperado Condicional

Inferencia Estadística con Bootstrapping para Modelos Paramétricos

Validación Cruzada y Generalización de Modelos Estadísticos

Pruebas de Hipótesis: Conceptos y Aplicaciones Estadísticas

Pruebas de Hipótesis: P Valor y Significancia Estadística

Simulación

Simulación de Datos con R: Teoría a la Práctica

Instalación de R y RStudio en Windows, macOS y Ubuntu

Simulación de Datos en R: Distribuciones y Modelos Lineales

Simulación de Estimación de Parámetros usando R

Simulación de Intervalos de Confianza para Poblaciones Normales

Simulación de Convergencia de Estimadores con Diferentes Tamaños Muestrales

Estimación Kernel y Distribución Acumulada Empírica

Estimación Condicional con Redes Neuronales en R

Estimación Kernel: Aplicación en Distribución Uniforme y Normal

Boostrapping en R para Regresión Lineal: Implementación y Análisis

Validación cruzada en redes neuronales usando R

Simulación de Potencia en Pruebas de Hipótesis con R

Proyecto

Análisis Estadístico del Examen Saber Once con R

Estimación de Intervalos de Confianza para Comparar Poblaciones con y sin Internet

Pronóstico de Puntaje en Matemáticas con Redes Neuronales

Generalización de Redes Neuronales a Poblaciones Completas

Análisis de Tamaño Muestral Óptimo para Redes Neuronales

Interpretación de Redes Neuronales en Predicción Educativa

Conclusiones

Programación Dinámica y Estocástica en Simulación

Estimación Kernel y Distribución Acumulada Empírica