Boostrapping en R para Regresión Lineal: Implementación y Análisis

Contenido del curso

Teoría

Simulación

Proyecto

Conclusiones

37
Programación Dinámica y Estocástica en Simulación
00:35 min

Tomar examen

Cursos Empresas Blog Live Conf Eventos Precios

0:0019:25

Boostrapping en R para Regresión Lineal: Implementación y Análisis

Curso de Estadística Inferencial con R

Clase 28 de 37

Clase 28 / 37

Recursos

¿Qué es el bootstrapping y cómo se implementa en R?

El bootstrapping es una técnica de remuestreo que permite estimar la distribución de un estadístico mediante la creación de múltiples subconjuntos de los datos originales. En una muestra aleatoria, el proceso se repite varias veces con reemplazo, lo que significa que algunos elementos pueden seleccionarse más de una vez.

En R, el bootstrapping comúnmente se utiliza en la estadística inferencial para estimar intervalos de confianza, especialmente en situaciones donde no se pueden aplicar fórmulas teóricas debido a la estructura compleja de los datos.

¿Cómo se prepara el entorno de trabajo?

Para comenzar a implementar bootstrapping en R, se establece primero el tamaño de la muestra. En el ejemplo se utiliza un tamaño muy pequeño de muestra, solo 23, pero se enfatiza el uso de un gran número de iteraciones para mejorar la precisión de los resultados.

n <- 23 # Tamaño muestral pequeño
iteraciones <- 1000 # Número de iteraciones

# Valores para beta0 y beta1
beta0 <- 1
beta1 <- -0.3

# Desviación estándar del error
desviacion_error <- 0.5

¿Cómo se generan las variables independientes y dependientes?

Para la generación de datos, se definen funciones que simulan la variable independiente X y la dependiente Y, basadas en la relación lineal preestablecida. La función generaX produce valores X entre -3 y 3, mientras que generaY crea Y usando los valores predeterminados de los betas y sumando un error aleatorio.

generaX <- function(n) {
  seq(-3, 3, length.out = n)
}

generaY <- function(x, beta0, beta1, desviacion) {
  y <- beta1 * x + beta0 + rnorm(length(x), mean = 0, sd = desviacion)
  return(y)
}

# Generación de datos
datosX <- generaX(n)
datosY <- generaY(datosX, beta0, beta1, desviacion_error)

¿Cómo se realiza la regresión lineal y el cálculo de los coeficientes?

La regresión lineal en R se lleva a cabo utilizando el modelo LM. Los coeficientes resultantes del modelo se extraen para su análisis.

modelo <- lm(datosY ~ datosX)
coeficientes_muestrales <- coef(modelo)

¿Qué pasos se siguen para el remuestreo en bootstrapping?

Para realizar el remuestreo, se ejecuta un ciclo for para iterar sobre el número de veces deseadas. En cada iteración, se toma una nueva muestra con reemplazo, se ejecuta la regresión sobre esta muestra y se almacenan los coeficientes. Este proceso se repite densas veces, lo que da como resultado una comparación robusta de los intervalos de confianza.

beta0_est <- numeric(iteraciones)
beta1_est <- numeric(iteraciones)

for (i in 1:iteraciones) {
  muestra_indices <- sample(1:n, n, replace = TRUE)
  muestraX <- datosX[muestra_indices]
  muestraY <- datosY[muestra_indices]
  
  modelo_muestra <- lm(muestraY ~ muestraX)
  coef_muestra <- coef(modelo_muestra)

  beta0_est[i] <- coef_muestra[1]
  beta1_est[i] <- coef_muestra[2]
}

# Cálculo de los intervalos de confianza con bootstrapping
intervalo_beta0 <- quantile(beta0_est, c(0.025, 0.975))
intervalo_beta1 <- quantile(beta1_est, c(0.025, 0.975))

¿Cómo se visualizan los resultados del bootstrapping?

Finalmente, se realiza un gráfico utilizando las funciones de plot y points, mostrando los diferentes estimadores obtenidos mediante bootstrapping y destacando los intervalos de confianza.

plot(beta0_est, beta1_est, xlab = "Beta 0", ylab = "Beta 1", main = "Distribución de Betas via Bootstrap")
abline(v = intervalo_beta0, col = "blue", lty = 2)
abline(h = intervalo_beta1, col = "red", lty = 2)

El bootstrapping, como se ha descrito, ofrece flexibilidad ante la falta de supuestos teóricos al proporcionar una forma empírica de estimar la dispersión estadística y confiar en los resultados, permitiéndonos abordar modelos estadísticos complejos sin depender de criterios normales. ¡Es una herramienta poderosa para tus proyectos de análisis de datos!

Martin DAVILA

Hace 6 años



# Hacemos un bootstrapping para nuestra regresión lineal. -----------------


# Bootstrapping -----------------------------------------------------------


tamano_muestral <- 23
iteraciones <- 1000
beta_0 <- 1
beta_1 <- -0.3
desv_est_error <- 0.5

genera_x <- function(n) seq(-3, 3, length.out = n)

genera_y <- function(x, beta_0, beta_1){
  beta_1*x + beta_0 + rnorm(length(x), 0, desv_est_error)
}

datos_x <- genera_x(tamano_muestral)
datos_y <- genera_y(datos_x, beta_0, beta_1)


lm(datos_y ~ datos_x) -> modelo
coefficients(modelo) -> coeficientes_muestrales
summary(modelo)
confint(modelo)

beta_0_estimado <- beta_1_estimado <- vector()

for(i in seq_len(iteraciones)){
  muestra <- sample(seq_along(datos_x), length(datos_x), replace = TRUE)
  muestra_x <- datos_x[muestra]
  muestra_y <- datos_y[muestra]
  lm(muestra_y ~ muestra_x) -> modelo
  coeficientes <- coefficients(modelo)
  beta_0_estimado[i] <- coeficientes[1]
  beta_1_estimado[i] <- coeficientes[2]
}


data.frame(
  limite = c("LI", "LS"),
  beta_0 = quantile(beta_0_estimado, c(0.025, 0.975)),
  beta_1 = quantile(beta_1_estimado, c(0.025, 0.975))
) -> intervalo_bootstrapping

intervalo_bootstrapping



plot(beta_0, beta_1)

points(beta_0_estimado, beta_1_estimado)
points(coeficientes_muestrales[1], coeficientes_muestrales[2], pch = 20, col = 4, cex = 3)
points(beta_0, beta_1, pch = 20, col = 2, cex = 3)
rect(
  intervalo_bootstrapping$beta_0[1], 
  intervalo_bootstrapping$beta_1[1],
  intervalo_bootstrapping$beta_0[2],
  intervalo_bootstrapping$beta_1[2],
  border = 4, lwd = 2)


# Tidy approach -----------------------------------------------------------

# Paquetes ----------------------------------------------------------------


library("dplyr")
library("purrr")
library("tidyr", exclude = c("extract"))
library("ggplot2")
library("magrittr")

colores_platzi <- c("#78D92A", "#002E4E", "#058ECD", "#ED2B05", "#F4F7F4")

tamano_muestral <- 23
iteraciones <- 1000
beta_0 <- 1
beta_1 <- -0.3
desv_est_error <- 0.5

genera_x <- function(n) seq(-3, 3, length.out = n)

genera_y <- function(x, beta_0, beta_1){
  beta_1*x + beta_0 + rnorm(length(x), 0, desv_est_error)
}

datos_simulados <- tibble(
  x = genera_x(tamano_muestral),
  y = genera_y(datos_x, beta_0, beta_1)
)


lm(y ~ x, data = datos_simulados) -> modelo
coefficients(modelo) -> coeficientes_muestrales
summary(modelo)
confint(modelo)

tibble(
  muestras = replicate(iteraciones, sample_n(datos_simulados, nrow(datos_simulados), replace = TRUE), simplify = FALSE),
  modelos = map(muestras, function(muestra){lm(y~x, data = muestra)}),
  beta_0_estimado = map(modelos, coef) %>% map_dbl(extract, 1),
  beta_1_estimado = map(modelos, coef) %>% map_dbl(extract, 2)
) -> coeficientes

coeficientes %>% 
  select(beta_0_estimado, beta_1_estimado) %>% 
    gather(key = coeficiente, value = valor) %>%
    group_by(coeficiente) %>%
    summarise(
      LI = quantile(valor, 0.025),
      LS = quantile(valor, 0.975)
    ) -> intervalo_bootstrap

coeficientes %>% 
  select(beta_0_estimado, beta_1_estimado) %>% 
  gather(key = coeficiente, value = valor) %>% 
  ggplot +
  aes(x = valor) + 
  geom_density(fill = "#78D92A", alpha = 0.5, colour = "#78D92A") +
  facet_wrap(~coeficiente, nrow = 4,  scales = "free") + 
  theme_minimal()

ggplot() +
  geom_point(
    data = coeficientes, 
    mapping = aes(x = beta_0_estimado, y = beta_1_estimado)
    ) +
  geom_rect(
    data = intervalo_bootstrap, 
    mapping = aes(xmin = LI[[1]], ymin = LI[[2]], xmax = LS[[1]], ymax = LS[[2]]),
    fill = colores_platzi[1],
    alpha = 0.2
    ) +
  annotate("point",x = beta_0, y = beta_1, colour = colores_platzi[4], size = 5) +
  annotate("point",x = coeficientes_muestrales[1], y = coeficientes_muestrales[2], colour = colores_platzi[3], size = 5) +
  theme_minimal()```

Teoría

Inferencia Estadística: Fundamentos y Aplicaciones con Simulación en R

Valor Esperado Condicional en Ciencia de Datos

Poblaciones y Muestras: Conceptos y Generalización Estadística

Muestreo Probabilístico y No Probabilístico: Métodos y Aplicaciones

Estimadores y Parámetros en Ciencia de Datos

Estimación Paramétrica y No Paramétrica en Ciencia de Datos

Gráficos y Espacio de Parámetros en Modelos Estadísticos

Estimadores Puntuales y su Comportamiento Aleatorio

Intervalos de Confianza: Cálculo y Significado en Estadística

Tamaño Muestral y su Impacto en la Precisión Estadística

Sesgo y Varianza en Ciencia de Datos: Precisión y Exactitud

Teoría No Paramétrica: Estimación y Modelos Aplicados

Estimación Funcional: Kernel y Funciones de Densidad Acumulada

Estimación Funcional del Valor Esperado Condicional

Inferencia Estadística con Bootstrapping para Modelos Paramétricos

Validación Cruzada y Generalización de Modelos Estadísticos

Pruebas de Hipótesis: Conceptos y Aplicaciones Estadísticas

Pruebas de Hipótesis: P Valor y Significancia Estadística

Simulación

Simulación de Datos con R: Teoría a la Práctica

Instalación de R y RStudio en Windows, macOS y Ubuntu

Simulación de Datos en R: Distribuciones y Modelos Lineales

Simulación de Estimación de Parámetros usando R

Simulación de Intervalos de Confianza para Poblaciones Normales

Simulación de Convergencia de Estimadores con Diferentes Tamaños Muestrales

Estimación Kernel y Distribución Acumulada Empírica

Estimación Condicional con Redes Neuronales en R

Estimación Kernel: Aplicación en Distribución Uniforme y Normal

Boostrapping en R para Regresión Lineal: Implementación y Análisis

Validación cruzada en redes neuronales usando R

Simulación de Potencia en Pruebas de Hipótesis con R

Proyecto

Análisis Estadístico del Examen Saber Once con R

Estimación de Intervalos de Confianza para Comparar Poblaciones con y sin Internet

Pronóstico de Puntaje en Matemáticas con Redes Neuronales

Generalización de Redes Neuronales a Poblaciones Completas

Análisis de Tamaño Muestral Óptimo para Redes Neuronales

Interpretación de Redes Neuronales en Predicción Educativa

Conclusiones

Programación Dinámica y Estocástica en Simulación

Boostrapping en R para Regresión Lineal: Implementación y Análisis