La supervisión humana de la IA también falla cuando todo genera una alerta

Una persona puede aparecer en el diagrama como responsable de supervisar una inteligencia artificial y, aun así, no tener tiempo, información ni autoridad para intervenir. Cuando recibe decenas de avisos poco útiles, revisa cientos de casos rutinarios o solo ve la recomendación de la máquina, la supervisión humana corre el riesgo de convertirse en una firma al final del proceso.

La solución habitual parece obvia: añadir otra alerta, otra aprobación o una casilla que diga “revisado por una persona”. Pero cada control también consume atención. Si todos los resultados exigen la misma revisión, lo excepcional deja de destacar. Y si el sistema acierta con frecuencia, quien lo vigila puede acostumbrarse a aceptar su propuesta hasta que aparece el caso que exigía detenerse.

El problema no se resuelve eligiendo entre automatización o juicio humano. Se resuelve diseñando una distribución del trabajo en la que la máquina ayude a detectar, ordenar y explicar, mientras las personas conservan capacidad real para comprender, cuestionar y cambiar una decisión.

Estar “en el circuito” no significa estar en condiciones de decidir

La investigación sobre automatización lleva décadas mostrando una paradoja. La tecnología puede reducir la participación cotidiana del operador y, al mismo tiempo, exigirle que intervenga justo cuando ocurre una situación infrecuente y compleja. Mica Endsley y Esin Kiris estudiaron este problema de quedar “fuera del circuito”: cuando disminuye la participación activa, puede deteriorarse la conciencia de la situación y costar más recuperar el control.

Raja Parasuraman y Dietrich Manzey distinguieron además entre complacencia y sesgo de automatización. La primera reduce la vigilancia cuando se confía demasiado en el sistema; el segundo lleva a favorecer sus recomendaciones o a dejar de buscar información contradictoria. No significan que las personas sean incapaces de supervisar. Indican que la calidad de esa supervisión depende del diseño de la tarea, la carga de trabajo, la formación y la forma en que se presenta la recomendación.

Esto importa en decisiones profesionales concretas. Una persona de recursos humanos puede revisar una lista de candidatos ordenada por IA; un analista financiero, alertas de fraude; un médico, avisos clínicos; un moderador, contenidos señalados; un responsable de calidad, anomalías de producción. En todos esos casos, escribir “decisión final humana” no demuestra que la revisión haya sido independiente ni cuidadosa.

Por qué demasiadas alertas pueden debilitar el control

La fatiga de alertas se ha estudiado con especial intensidad en sistemas clínicos de apoyo a decisiones. Ese campo no permite trasladar automáticamente cifras o conclusiones a cualquier uso de IA, pero sí ofrece una advertencia útil: cuando los avisos son numerosos, repetitivos, poco específicos o mal integrados en el flujo de trabajo, aumenta la probabilidad de que se ignoren o se anulen mecánicamente.

La revisión de Nkemjika Olakotan y Maryati Yusof sobre la adecuación de alertas clínicas destaca que la utilidad no depende solo de la exactitud técnica. También intervienen la relevancia para el contexto, la oportunidad, la facilidad de uso, la carga de trabajo y la capacidad de actuar. Una alerta correcta que llega tarde, interrumpe una tarea crítica o no ofrece una respuesta viable puede producir poco valor.

En sistemas de IA organizacionales aparece un riesgo semejante. Si cada desviación menor genera una notificación, el supervisor aprende que casi ninguna merece acción. Si el umbral es demasiado alto, los casos graves llegan tarde. Si el sistema no explica qué cambió, qué evidencia utilizó o qué incertidumbre existe, la persona debe reconstruir el caso bajo presión. La alerta existe, pero no ayuda a decidir.

La regulación también exige algo más que presencia humana

El artículo 14 del Reglamento de Inteligencia Artificial de la Unión Europea exige medidas de supervisión humana para sistemas de alto riesgo. Entre otras capacidades, la persona debe comprender las limitaciones del sistema, permanecer atenta a la tendencia a confiar automática o excesivamente en sus resultados, interpretar correctamente la salida, ignorarla o revertirla e interrumpir el sistema cuando sea necesario. El alcance jurídico concreto depende de la clasificación y del contexto, pero el principio de diseño es claro: la supervisión debe ser efectiva, no decorativa.

El Marco de Gestión de Riesgos de IA del NIST adopta una mirada de ciclo de vida. Su función de gobernanza pide definir y diferenciar roles y responsabilidades en configuraciones humano-IA; también vincula la gestión de riesgos con formación, documentación, seguimiento y responsabilidad directiva. No prescribe una única interfaz ni un número universal de revisores. Obliga a pensar quién controla qué, con qué preparación y cómo se sabe si el control funciona.

Estas orientaciones ayudan a evitar una transferencia engañosa de responsabilidad. La organización no puede desplegar un sistema opaco, cargar a una persona con cientos de decisiones y afirmar después que cualquier daño fue “error humano”. Si el supervisor carecía de información, tiempo, independencia o un mecanismo practicable de apelación, el fallo también pertenece al diseño y al gobierno del sistema. Esa distribución de responsabilidad se conecta con la pregunta de quién responde cuando un algoritmo influye en decisiones laborales.

Seis decisiones para diseñar una supervisión que funcione

1. Clasifica por consecuencia, no por comodidad técnica. No necesita el mismo control una sugerencia de redacción reversible que una recomendación sobre crédito, salud, empleo o seguridad. Define niveles según impacto, reversibilidad, incertidumbre y población afectada.
2. Reserva atención humana para los casos que la necesitan. Prioriza excepciones, baja confianza, datos fuera de distribución, conflicto entre fuentes, consecuencias graves y quejas. Una muestra aleatoria adicional permite detectar errores sistemáticos que el propio sistema no marca.
3. Diseña una revisión independiente cuando el riesgo sea alto. Antes de mostrar la respuesta automática, pide a la persona que registre una evaluación breve o los hechos decisivos. Después puede comparar. Así se reduce el anclaje sin renunciar al apoyo de la IA.
4. Entrega contexto accionable. La alerta debe indicar qué ocurrió, por qué importa, qué datos la sostienen, qué limitaciones existen, cuánto tiempo hay y qué acciones están autorizadas. Más información no siempre ayuda; importa la información necesaria para decidir.
5. Otorga autoridad y tiempo reales. Rechazar, pausar, escalar o pedir evidencia no puede ser una posibilidad escondida ni una conducta castigada por las métricas. Si la productividad solo premia velocidad, la organización está incentivando aceptación automática.
6. Mide el sistema conjunto. Evalúa IA, personas, interfaz, procedimientos y resultados. Cuenta errores detectados y no detectados, anulaciones correctas e incorrectas, tiempos, acumulación de casos, desacuerdos, quejas, apelaciones y daños evitados.

Una matriz sencilla para distribuir la revisión

Antes de decidir cuántas alertas enviar, conviene cruzar dos preguntas: ¿qué tan grave sería un error? y ¿qué tan fácil sería revertirlo? Una decisión de bajo impacto y reversible puede procesarse automáticamente con muestreo periódico. Una de alto impacto pero reversible puede requerir revisión rápida, registro y apelación. Una de alto impacto e irreversible debería exigir intervención previa, evidencia suficiente y, en ciertos casos, una segunda revisión.

Agrega después la incertidumbre. Un sistema puede tener buen desempeño promedio y ser poco confiable en un subgrupo, en un contexto nuevo o ante información incompleta. Por eso la asignación no debe basarse solo en una puntuación global de exactitud. También necesita señales de novedad, calidad de datos y consecuencias distributivas.

Finalmente, separa tres momentos de control. El control previo define usos prohibidos, datos aceptables y umbrales. El control durante permite cuestionar, pausar y escalar casos. El control posterior busca patrones que no eran visibles en una decisión aislada. Concentrarlo todo en una aprobación durante el proceso deja sin atender el diseño inicial y el aprendizaje posterior.

Qué conviene observar en una prueba de treinta días

Una organización puede probar su esquema sin esperar un incidente grave. Durante treinta días, registra cuántas alertas recibe cada rol, qué proporción revisa dentro del tiempo disponible, cuáles modifica, cuáles considera inútiles y qué información tuvo que buscar fuera de la interfaz. Revisa también si hay horas, equipos o grupos de personas con más errores o demoras.

Después toma una muestra de casos sin alerta. Esto es esencial: medir solo lo que el sistema señaló confunde su mapa con la realidad. Compara falsos positivos, falsos negativos y desacuerdos razonados. Entrevista a quienes supervisan y a quienes viven las consecuencias de las decisiones. Una tasa baja de anulaciones puede significar que la IA funciona bien, pero también que cuestionarla es difícil o costoso.

Con esa evidencia, elimina avisos redundantes, ajusta prioridades, redistribuye carga, mejora explicaciones y redefine autoridad. Documenta el cambio y vuelve a medir. Ben Shneiderman propone una IA centrada en las personas que combine altos niveles de automatización con alto control humano; no son extremos incompatibles. La clave está en diseñar tecnología fiable y estructuras humanas capaces de actuar.

La pregunta correcta no es cuántos humanos hay en el circuito

Una supervisión robusta no se reconoce por el número de clics ni por la cantidad de aprobaciones. Se reconoce porque las señales importantes llegan a la persona adecuada, las decisiones pueden cuestionarse, las cargas son manejables y la organización aprende de discrepancias e incidentes.

Añadir una persona al final de un proceso automatizado puede tranquilizar a una dirección, a un cliente o a un regulador. Pero si esa persona solo confirma lo que la máquina ya decidió, el control es simbólico. Diseñar supervisión exige proteger un recurso escaso: la atención humana. También exige darle poder. Sin atención, información y autoridad, una alerta más no aumenta la responsabilidad; solo añade ruido.

Lecturas y fuentes

• Ben Shneiderman. Human-Centered AI. Oxford University Press, 2022. ISBN 978-0-19-284529-0. https://doi.org/10.1093/oso/9780192845290.001.0001.
• Mica R. Endsley y Esin O. Kiris. «The Out-of-the-Loop Performance Problem and Level of Control in Automation». Human Factors, 1995. https://doi.org/10.1518/001872095779064555.
• Raja Parasuraman y Dietrich H. Manzey. «Complacency and Bias in Human Use of Automation: An Attentional Integration». Human Factors, 2010. https://doi.org/10.1177/0018720810376055.
• Nkemjika L. Olakotan y Maryati M. Yusof. «The appropriateness of clinical decision support systems alerts in supporting clinical workflows: a systematic review». Health Informatics Journal, 2021. https://doi.org/10.1177/14604582211007536.
• Ben Green. «The flaws of policies requiring human oversight of government algorithms». Computer Law & Security Review, 2022. https://doi.org/10.1016/j.clsr.2022.105681.
• National Institute of Standards and Technology. Artificial Intelligence Risk Management Framework (AI RMF 1.0), 2023. Documento oficial.
• Unión Europea. Reglamento (UE) 2024/1689, artículo 14, supervisión humana. Texto oficial.

Pregunta para la comunidad: ¿qué alerta o aprobación de tu trabajo aporta control real y cuál se ha convertido en un trámite que consume atención?

Elaborado por Ricardo Gaibor.

Este artículo fue elaborado por Ricardo Gaibor con ayuda de sistemas de inteligencia artificial en tareas de investigación, organización y edición. La selección, interpretación y responsabilidad editorial del contenido corresponden al autor.