Gobernanza, explicabilidad y confianza

¿Quién decide cuando la cognición humana se entrelaza con la computación algorítmica? La delegación del albedrío a las máquinas no es un acto binario de rendición, sino una transferencia gradual de soberanía. Diseñar y auditar un sistema donde parte de la deliberación es de carne y parte es de silicio requiere enfrentar tres abismos estructurales: la ilusión de la transparencia, la fragilidad de la confianza y el vacío de la responsabilidad. Todo sistema de decisión algorítmica enfrenta un trilema — rendimiento, explicabilidad y equidad — y puedes maximizar dos, pero la tercera sufre.

La ilusión de la explicabilidad. Cynthia Rudin (2019) trazó una línea divisoria implacable: un modelo interpretable se comprende directamente por su propia arquitectura (un árbol de decisión, una regresión logística). Un modelo "explicable" es una caja negra que requiere un segundo modelo (LIME, SHAP) para aproximar una justificación post-hoc de sus decisiones. Estas explicaciones post-hoc son fundamentalmente poco fiables: no explican cómo el modelo real tomó la decisión, sino cómo una aproximación del modelo podría haberla tomado. Confiar la gobernanza de áreas críticas — justicia penal, salud, crédito — a explicaciones post-hoc es gobernar mediante simulacros técnicos.

La confianza calibrada. El humano frente a la máquina sufre de una polaridad patológica. Por un lado, padecemos automation bias: la tendencia a depositar fe ciega en la certidumbre matemática de la pantalla, anestesiando nuestro juicio crítico. Por el otro, sufrimos aversion bias: rechazar predicciones algorítmicas superiores por desconfianza irracional. El objetivo no es "maximizar la confianza", sino lograr una confianza estrictamente proporcional a la precisión real del sistema en ese dominio específico. Un sistema que oculta sus dudas es un sistema diseñado para la tiranía técnica.

El abismo de la responsabilidad. Cuando un sistema híbrido falla, ¿quién asume la carga? ¿El operador que acató dócilmente la recomendación? ¿El ingeniero que entrenó los pesos? ¿El gerente que adquirió la licencia? En el caso COMPAS (Unidad 2.5), los jueces seguían las recomendaciones sin cuestionar su sesgo racial latente, pero bajo el sistema legal, el juez absorbía toda la responsabilidad mientras el desarrollador quedaba blindado por el secreto comercial. Es un gap estructural donde la IA ejerce poder sin responsabilidad, y el humano asume la responsabilidad sin verdadero poder causal. Esta unidad cierra el arco del curso: la inteligencia colectiva (Bloque 1) requiere confianza calibrada entre miembros; el ML (Bloque 2) produce modelos cuya complejidad es enemiga de la transparencia; la gobernanza es el sistema que une todo.

Este simulador te pone en el rol de diseñador de un sistema de IA para un contexto específico. En cada nodo, tomas una decisión de gobernanza. El árbol se expande mostrando las consecuencias de tus elecciones.

Instrucciones: Selecciona un escenario (medicina, justicia penal, crédito, contratación). En cada paso, elige entre opciones de diseño. Al final, verás un "perfil de gobernanza" que muestra los tradeoffs resultantes de tus decisiones: rendimiento, explicabilidad, equidad, costo, y riesgo.

Qué observar: No hay respuesta "correcta" — cada combinación tiene costos y beneficios. Fíjate en cómo cada decisión afecta a las demás. Si eliges modelo interpretable, ganas explicabilidad pero puedes perder rendimiento. Si eliges auditoría continua, ganas equidad pero aumentas costos. El ejercicio muestra que la gobernanza de IA es un problema de diseño de sistemas, no de optimización técnica.