Sesión A — De la loss function a la discriminación
Los algoritmos no descienden de un éter platónico dotados de objetividad inmaculada. Nacen del fango de nuestros datos históricos. El sesgo algorítmico rara vez es un defecto de programación; es una propiedad emergente y perversamente fiel de optimizar funciones de pérdida sobre sociedades inherentemente desiguales. La máquina no inventa la discriminación — la industrializa. El estudio fundacional Gender Shades de Joy Buolamwini y Timnit Gebru (2018) destrozó la ilusión de neutralidad corporativa: los sistemas comerciales de reconocimiento facial exhibían una tasa de error del 0.8% para hombres blancos frente a un catastrófico 34.7% para mujeres de tez oscura. El código no era racista; el universo topográfico de sus datos de entrenamiento estaba abrumadoramente poblado por rostros masculinos y caucásicos.
El sesgo opera en tres capas: en los datos (sub-representación o herencia de decisiones humanas pasadas — contratación, sentencias, créditos); en la representación (features que correlacionan con grupo demográfico — código postal → raza, nombre → género — permiten discriminación indirecta sin acceso a la variable protegida); y en la métrica (la función de pérdida minimiza el error global, sacrificando silenciosamente a la minoría para complacer a la mayoría estadística: un modelo con 95% de accuracy puede tener 99% para un grupo y 70% para otro).
La imposibilidad matemática de la justicia. El caso COMPAS — sistema usado en tribunales de EE.UU. para predecir reincidencia criminal — es la tragedia griega de la justicia algorítmica. ProPublica (2016) descubrió falsos positivos al doble de tasa para acusados negros. Northpointe se defendió: el modelo estaba perfectamente calibrado. El abismo intelectual se abrió cuando Alexandra Chouldechova (2017) demostró que ambos tenían razón: es matemáticamente imposible satisfacer simultáneamente calibración y balance de tasas de error cuando las tasas base difieren entre grupos. La justicia algorítmica perfecta no es un problema técnico no resuelto; es una contradicción axiomática. Frente a este colapso, Cynthia Rudin (2019) traza una línea ética: los modelos opacos ("cajas negras") jamás deberían usarse en decisiones de alto impacto humano. Si no puedes explicar la arquitectura causal de por qué un modelo predice lo que predice, es imposible auditar a quién está destruyendo en silencio.
Conexión con Bloque 1: Existe una profunda resonancia anatómica entre el sesgo algorítmico y los fallos de la inteligencia colectiva. Un algoritmo entrenado con datos sesgados es el equivalente computacional del Groupthink y la Conformidad Social (Unidad 1.2): cuando todos en un grupo comparten el mismo punto ciego epistémico, la agregación no cancela el error — lo fortifica. Sin las condiciones primordiales de Surowiecki, especialmente la diversidad genuina de la información basal, tanto las asambleas humanas como las redes neuronales degeneran en máquinas de discriminación sistémica.
Sesión B — Simulador de fairness
Este simulador genera un dataset sintético con dos grupos demográficos (A y B) y un clasificador que predice "riesgo". Las tasas base (proporción real de positivos) pueden diferir entre grupos.
Instrucciones: Ajusta la tasa base de cada grupo y el umbral de clasificación (el punto de corte de probabilidad para clasificar como "positivo"). Observa cómo cambian las matrices de confusión por grupo y las métricas de fairness.
Qué observar: Con tasas base iguales y el mismo umbral, las métricas suelen ser equilibradas. Pero cuando las tasas base difieren (como en la realidad), un único umbral produce disparidades inevitables. Intenta igualar una métrica de fairness (por ejemplo, False Positive Rate) y observa cómo otra métrica se desequilibra. Este es el Teorema de Chouldechova en acción.
Preguntas guía: ¿Es más justo igualar las tasas de falsos positivos (no castigar inocentes desigualmente) o igualar las tasas de falsos negativos (detectar riesgo igualmente)? ¿Quién decide qué definición de "justo" usar — y eso es una decisión técnica o política?
Sesión C — Evaluación de dominio
Dominaste este concepto si puedes explicar las fuentes de sesgo algorítmico, el teorema de imposibilidad de Chouldechova, y por qué la definición de "fairness" es una decisión normativa, no técnica.
Quiz de evaluación
Responde correctamente 3 de 4 preguntas (75% mínimo).