Sesgo vs discriminación en modelos de IA
Curso de Ética y Manejo de Datos para Inteligencia Artificial
Contenido del curso
Javier Ramos
Santiago Pineda Botero
MARIA TERESA PANIAGUA RIVERA
Daniel Alfredo García Serna
ANGELA JASMIN PERDOMO SANABRIA
ANGELA JASMIN PERDOMO SANABRIA
Juan Camilo Mejía Rodríguez
Ana Lilian Zuniga de Santos
martir leonardo argueta torres
Para recordar las puertas de entrada del sesgo en IA
1. Diagnóstico breve de la clase
2. Qué enseña realmente y qué solo aparenta enseñar
Enseña la lógica causal de cómo los sesgos se infiltran en los sistemas de IA (datos históricos, etiquetas, muestreo, medición). Aparenta enseñar cómo mitigar estos riesgos, pero se limita a listar conceptos (paridad demográfica, igualdad de oportunidad) sin explicar la implementación técnica necesaria para resolver el conflicto entre métricas de equidad.
3. Contenidos de la clase
4. Vacíos, omisiones y riesgos pedagógicos
Falla pedagógica: presenta el problema de los trade-offs entre métricas de equidad (ej. paridad demográfica vs. igualdad de oportunidad) pero no enseña cómo decidir cuál priorizar según el contexto. Existe un riesgo de sobre-simplificación al sugerir que eliminar una variable (como el código postal) es una solución, cuando el problema suele estar en la estructura de los datos.
5. Evaluación por nivel
6. Aplicación real de lo aprendido
7. Qué más investigar y qué puede profundizarse más
8. Evidencia
9. Conclusión honesta
10. 5 preguntas avanzadas
Pregunta: ¿Por qué la optimización de la "paridad demográfica" puede reducir la precisión general del modelo? Respuesta: Al forzar resultados iguales entre grupos, se ignoran las diferencias reales en las distribuciones de los datos, lo que obliga al modelo a clasificar erróneamente casos para cumplir con la cuota. Elemento concreto: La mención de que "no podés optimizar todas las métricas de equidad al mismo tiempo". Por qué importa: Es el trade-off fundamental entre equidad y utilidad. Aplicación: Sistemas de crédito donde los grupos tienen perfiles de riesgo históricamente distintos. Ejemplo real: Algoritmos de aprobación de préstamos donde la paridad forzada aumenta la tasa de impago. Qué revela: Que la clase reconoce la tensión entre equidad y rendimiento. Aporte: Ayuda a entender que la equidad tiene un costo operativo.
Pregunta: ¿Cómo se diferencia una variable proxy de una variable causal en el sesgo de un modelo? Respuesta: Una variable causal influye directamente en el resultado (ej. historial de pagos), mientras que el proxy es una variable correlacionada con una característica sensible (ej. código postal con etnia). Elemento concreto: La explicación de "variables proxy" y el ejemplo del código postal. Por qué importa: Eliminar un proxy no elimina el sesgo si la variable causal subyacente sigue sesgada. Aplicación: Limpieza de datos en modelos de contratación. Ejemplo real: Eliminar el género del CV pero mantener el "tipo de universidad" (que correlaciona con género). Qué revela: La clase identifica el riesgo de la sustitución de variables. Aporte: Previene la falsa sensación de seguridad al eliminar variables sensibles.
Pregunta: ¿Por qué el "daño a la confianza" es el riesgo más difícil de mitigar una vez ocurrido? Respuesta: Porque la confianza es un activo intangible basado en la percepción de justicia; una vez que el usuario percibe discriminación, el sistema pierde legitimidad social independientemente de su precisión técnica. Elemento concreto: La clasificación de los tres tipos de daños. Por qué importa: Define el límite de la viabilidad comercial de un modelo. Aplicación: Productos de consumo masivo (apps de banca, redes sociales). Ejemplo real: El abandono masivo de plataformas de reconocimiento facial tras escándalos de sesgo racial. Qué revela: Que la clase entiende que el éxito de la IA no es solo técnico. Aporte: Enfatiza la importancia de la ética como pilar de negocio.
Pregunta: ¿Qué significa que "la ausencia de datos se interpreta como ausencia de riesgo"? Respuesta: Es un error de medición donde el modelo asume que si no hay registros de un grupo, ese grupo no requiere atención, ignorando que la falta de datos suele ser síntoma de exclusión sistémica. Elemento concreto: El ejemplo de Sofía y los estudiantes invisibles. Por qué importa: Es la forma más silenciosa y peligrosa de sesgo. Aplicación: Modelos de salud pública o distribución de recursos. Ejemplo real: Algoritmos de salud que subestiman enfermedades en poblaciones que no acceden a seguros médicos. Qué revela: La clase identifica sesgos de muestreo. Aporte: Alerta sobre la peligrosidad de los datos faltantes.
Pregunta: ¿Qué implica el "riesgo residual documentado" en un plan de mitigación? Respuesta: Aceptar que ningún modelo es perfecto y establecer protocolos de responsabilidad, monitoreo y respuesta ante fallos inevitables. Elemento concreto: La mención de que "ningún sistema queda perfecto". Por qué importa: Mueve el enfoque de la "perfección técnica" a la "gestión de riesgos". Aplicación: Despliegue de modelos críticos (IA en medicina, justicia). Ejemplo real: Auditorías de sistemas de IA que incluyen "human-in-the-loop" para revisar casos de alta incertidumbre. Qué revela: Que la clase promueve un enfoque de responsabilidad profesional. Aporte: Fomenta la transparencia y la rendición de cuentas.
11. 5 proyectos avanzados para practicar
Fairlearn. Stack: Python, Pandas, Fairlearn. Dificultad: Media. Resultado: Informe de impacto dispar. Ayuda: Pasa de la teoría a la detección estadística.Gracias
📚 CLASE: Sesgo vs discriminación en modelos de IA
━━━━━━━━━━━━━━━━━━
🎯 IDEA PRINCIPAL
🔵 Sesgo describe una inclinación sistemática del sistema; discriminación describe el daño producido por una decisión.
🟡 Un modelo puede tener buen rendimiento promedio y perjudicar sistemáticamente a determinados grupos.
━━━━━━━━━━━━━━━━━━
⚡ RESUMEN ULTRA RÁPIDO
🔵 El sesgo puede entrar por objetivo, etiquetas, muestreo, datos faltantes o errores de medición.
🔴 Eliminar una variable sensible no elimina necesariamente el sesgo: pueden existir variables proxy.
🟡 Los datos históricos pueden convertir decisiones humanas injustas en patrones aparentemente legítimos.
🔴 Los datos faltantes pueden representar precisamente a las personas más vulnerables.
🟢 La evaluación debe comparar métricas por grupo, no solamente el promedio global.
━━━━━━━━━━━━━━━━━━
🔑 LO IMPORTANTE
🔵 Sesgo = origen técnico; discriminación = consecuencia en el mundo real.
🟡 Existen tres daños: individual, grupal y pérdida de confianza.
🔴 Un modelo puede reforzar sus propios errores mediante feedback loops.
🔵 Cuatro puertas de entrada: objetivo, etiquetas, muestreo/datos faltantes y medición.
🔴 La ausencia de datos no significa ausencia de riesgo: puede significar invisibilidad o exclusión.
🔵 Una variable proxy parece neutral, pero puede representar indirectamente una característica sensible.
🟡 Código postal, universidad o apellido pueden funcionar como proxies dependiendo del contexto.
🔴 Eliminar género o etnia puede ser inútil si otras variables reconstruyen esa información indirectamente.
🟡 Precisión y recall deben analizarse por grupo para descubrir diferencias ocultas.
🔵 Paridad demográfica e igualdad de oportunidad representan criterios diferentes de equidad.
🔴 No puedes optimizar todas las métricas de equidad simultáneamente: existen trade-offs.
🟡 La mitigación debe atacar el origen del problema, no solamente modificar la salida.
🔵 Un plan profesional incluye datos corregidos, monitoreo y riesgo residual documentado.
━━━━━━━━━━━━━━━━━━
🧩 MODELO MENTAL
🔵 Datos → Sesgo → Predicción → Decisión → Impacto → Monitoreo
🟢 Si aparece discriminación, retrocede por la cadena hasta encontrar dónde se introdujo el sesgo.
━━━━━━━━━━━━━━━━━━
🚀 ACCIONES PARA HOY
🟢 Elige un dataset y compara precisión, recall y resultados entre diferentes grupos.
🟢 Busca variables aparentemente neutrales que puedan funcionar como proxies de atributos sensibles.
🟢 Comprueba si existen grupos con datos faltantes significativamente diferentes al resto.
🟢 Entrena un modelo con métricas globales y después repite la evaluación separando grupos.
🟢 Simula qué ocurre cuando las predicciones del modelo vuelven a alimentar los datos futuros.
🟢 Documenta qué métrica de equidad priorizas y qué sacrificio implica esa decisión.
🟢 Define qué casos requieren revisión humana cuando el modelo tenga alta incertidumbre.
━━━━━━━━━━━━━━━━━━
🟣 VENTAJA PROFESIONAL
🟣 Un developer profesional no intenta “eliminar el sesgo” sin contexto: define qué resultado debe considerarse justo.
🟣 La auditoría debe formar parte del pipeline, igual que testing, seguridad y monitoreo.
🟣 Hack: compara siempre métrica global vs. métricas por grupo; el promedio puede esconder problemas importantes.
🟣 Hack: cuando elimines una variable sensible, busca sus proxies antes de asumir que solucionaste el problema.
🟣 La mejor mitigación suele estar río arriba: corregir datos, etiquetas o procesos antes que maquillar resultados.
━━━━━━━━━━━━━━━━━━
📝 CIERRE
🟡 El principiante pregunta “¿qué tan preciso es el modelo?”; el profesional pregunta “¿para quién funciona peor?”.
🟢 Un modelo responsable no necesita ser perfecto; necesita que sus riesgos sean medidos, monitoreados y asumidos explícitamente.
━━━━━━━━━━━━━━━━━━
¿Cómo detecto una variable proxy oculta?
Para identificar si un dato aparentemente inofensivo está actuando como un proxy (un puente hacia información sensible como raza o nivel socioeconómico), debes aplicar pruebas de correlación estadística o valores SHAP. Si notas que al eliminar una columna como el código postal o el tipo de dispositivo las predicciones del modelo cambian drásticamente para ciertos grupos demográficos, estás frente a un proxy. Otra técnica muy útil es el test de permutación: mezcla los valores de esa variable sospechosa y observa si el rendimiento del modelo cae. Si el impacto es alto y además coincide con divisiones sociales del mundo real, debes replantear si es ético o seguro mantener esa variable en tu dataset, ya que el modelo la usará para discriminar de forma encubierta.
¿Por qué es mejor evitar promedios generales?
Porque el promedio general es un espejismo matemático que oculta las injusticias locales. Imagina un termómetro que marca una temperatura promedio perfecta en una habitación donde la mitad está en llamas y la otra mitad congelada. En inteligencia artificial, un modelo puede tener un 95% de precisión global, pero si desglosas ese rendimiento, podrías descubrir que acierta el 99% de las veces en un grupo mayoritario y solo el 50% en una minoría. Para evitar este punto ciego, debes medir el rendimiento utilizando métricas segmentadas como la precisión por grupo, el recall por grupo o la paridad demográfica. Solo al dividir tus datos en subgrupos vulnerables podrás ver la verdadera cara de tu algoritmo y garantizar que el sistema funcione con la misma eficacia para todos los usuarios.
La diferencia clave que me quedó clara: el sesgo es un problema técnico de origen (datos o diseño), mientras que la discriminación es el daño real que ese sesgo causa a personas concretas. El gráfico de tasa de error en reconocimiento facial lo ilustra perfectamente: un modelo puede "funcionar bien" en promedio y al mismo tiempo tener tasas de error muchísimo mayores en mujeres de piel oscura. Eso no es un accidente, es el resultado de datos no representativos. La métrica de rendimiento global oculta el problema.
ES UNA TENDENCIA O INCLINACION DEL MODELO QUE PROVIENE DE LOS DATOS CON LOS QUE FUE ENTRENADO O DE COMO FUE DISEÑADO.
a lo mejor asi debe de ser