Una explicación de la IA no basta si la persona no puede cuestionar la decisión

Recibes un mensaje: una solicitud fue rechazada, una cuenta quedó bloqueada o una candidatura no avanzó. La organización añade una explicación: «el sistema detectó un nivel de riesgo elevado». Parece transparencia, pero todavía no sabes qué dato influyó, si era correcto, quién puede revisar el caso ni cómo demostrar un error. Una explicación de la inteligencia artificial solo es útil cuando permite comprender lo ocurrido y abre una ruta real para cuestionarlo.

Esta diferencia importa porque las decisiones automatizadas ya intervienen en oportunidades concretas: crédito, empleo, seguros, educación, servicios y acceso a plataformas. Frank Pasquale advirtió en The Black Box Society que la opacidad no es solo un problema técnico. También distribuye poder: quien clasifica conoce las reglas; quien es clasificado enfrenta sus consecuencias sin saber cómo responder. Publicar una frase sobre el modelo puede reducir la incertidumbre, pero no corrige esa asimetría si la persona sigue sin capacidad de actuar.

El objetivo razonable no es exigir una copia completa del código ni imaginar que toda decisión cabe en una fórmula sencilla. Es proporcionar información pertinente, comprensible y accionable, acompañada de revisión humana, registro y corrección. Esa combinación convierte la explicación en una garantía práctica y no en una ceremonia de cumplimiento.

Explicar no es justificar ni permitir apelar

Conviene separar tres funciones que suelen confundirse. Explicar significa mostrar los factores relevantes y la lógica general que conectó la información con el resultado. Justificar significa demostrar que esa lógica era legítima, proporcional y aplicable al caso. Permitir apelar significa ofrecer un procedimiento capaz de revisar hechos, criterios y resultado, con autoridad para corregirlos.

Una organización puede explicar y, aun así, no justificar. Por ejemplo, puede informar que un sistema penalizó una interrupción laboral de doce meses. La persona entiende el factor, pero la empresa todavía debe justificar por qué ese dato es pertinente para el puesto y si produce una desventaja injusta. También puede justificar una política general sin ofrecer apelación: afirma que la continuidad reciente predice desempeño, pero no habilita un canal para demostrar que el registro estaba incompleto.

La investigación de Tim Miller, Explanation in Artificial Intelligence: Insights from the Social Sciences, ayuda a entender por qué una descarga de variables rara vez resuelve el problema. Las personas suelen pedir explicaciones contrastivas: «¿por qué ocurrió esto y no aquello?». También evalúan las respuestas dentro de una conversación. Necesitan una explicación seleccionada, conectada con su pregunta y expresada en términos que puedan usar. Una lista exhaustiva de miles de parámetros puede ser técnicamente detallada y humanamente inútil.

Las seis preguntas que una persona debería poder responder

Una explicación útil comienza por el resultado exacto. «No elegible» es insuficiente si no aclara si hubo rechazo definitivo, una pausa, una derivación a revisión o una restricción temporal. Debe indicar además qué producto, oportunidad o derecho está afectado y desde cuándo. Sin ese punto de partida, la persona ni siquiera sabe qué está impugnando.

La segunda pregunta es qué factores tuvieron peso real. No basta con enumerar todas las categorías que el sistema podría usar. Deben identificarse las razones principales del caso: por ejemplo, una inconsistencia entre ingresos declarados y registros disponibles, o la ausencia de una certificación obligatoria. La explicación debe distinguir datos determinantes de información meramente contextual.

La tercera pregunta es qué información concreta se utilizó. La persona necesita conocer la fuente, la fecha y, cuando sea posible, el valor relevante. Muchos errores no nacen en el modelo, sino en datos desactualizados, identidades confundidas, campos vacíos interpretados como negativos o inferencias que nunca se verificaron. Saber que se utilizó «historial profesional» no permite detectar que faltaban dos años de experiencia.

La cuarta pregunta es cuál era el criterio institucional. Un modelo no decide en el vacío: aplica objetivos, umbrales y prioridades definidos por alguien. Incluso cuando una puntuación es compleja, la organización puede explicar qué riesgo intenta gestionar, qué condición activa una consecuencia y por qué ese criterio es pertinente. Presentar la decisión como voluntad inevitable de «la IA» oculta las elecciones humanas incorporadas en el sistema.

La quinta pregunta es cómo cuestionar la decisión. El canal debe aceptar evidencia, permitir corregir datos y ofrecer una revisión humana competente. No sirve un formulario que devuelve automáticamente la misma conclusión ni una persona que solo lee el resultado del sistema. La revisión necesita acceso suficiente al expediente, independencia práctica y autoridad para modificar el desenlace.

La sexta pregunta es cuándo llegará una respuesta y qué remedio existe. Una apelación sin plazo puede convertirse en una negativa por demora; una revisión sin capacidad de reparación es solo escucha. La persona debe saber si el resultado puede suspenderse, corregirse o compensarse, y cómo escalar el caso si la primera revisión no resuelve la objeción.

Una matriz para evaluar si la explicación sirve

Por qué una explicación técnica puede fracasar

Las explicaciones basadas en importancia de variables, reglas locales o ejemplos contrafactuales pueden ser valiosas, pero tienen límites. Wachter, Mittelstadt y Russell propusieron explicaciones contrafactuales como una forma de mostrar qué tendría que cambiar para obtener otro resultado. Una frase como «con seis meses adicionales de historial verificable la solicitud habría superado el umbral» es más accionable que una puntuación aislada.

Sin embargo, un contrafactual no resuelve todo. Puede sugerir un cambio imposible, costoso o discriminatorio; también puede describir la frontera del modelo sin justificar la política. Decir a una candidata que habría avanzado si no hubiera interrumpido su carrera explica una relación, pero no demuestra que el criterio sea legítimo. La persona necesita poder cuestionar tanto el dato como la regla.

El trabajo de Finale Doshi-Velez y Been Kim, Towards a Rigorous Science of Interpretable Machine Learning, recuerda además que la interpretabilidad debe evaluarse según una tarea y un usuario. La explicación que ayuda a un equipo técnico a depurar un modelo no es necesariamente la que necesita una persona afectada, un responsable de cumplimiento o un revisor independiente. «Más detalle» no equivale automáticamente a «mejor explicación».

También existe el riesgo de fidelidad. Una narración sencilla puede sonar convincente sin representar correctamente el funcionamiento real del sistema. La organización debe comprobar que las razones comunicadas correspondan al caso, no sean un texto estándar y no oculten factores relevantes. Si el sistema no permite generar una explicación suficientemente fiel, esa limitación debe influir en dónde se usa y qué nivel de supervisión requiere.

Lo que aportan las reglas europeas

El Reglamento General de Protección de Datos de la Unión Europea establece salvaguardas frente a determinadas decisiones basadas únicamente en tratamiento automatizado. Su artículo 22 y las obligaciones de información relacionadas han impulsado el debate sobre intervención humana, impugnación y «información significativa» acerca de la lógica aplicada. Su alcance jurídico depende del tipo de decisión y de las circunstancias; por eso no conviene convertirlo en la afirmación simplista de que existe siempre un derecho absoluto a una explicación completa del algoritmo.

El Reglamento de Inteligencia Artificial de la Unión Europea añade obligaciones diferenciadas por riesgo y contexto. Para ciertos sistemas de alto riesgo enfatiza documentación, registros, supervisión humana e información a quienes los despliegan. También contempla información para personas afectadas por determinadas decisiones. Estas normas no sustituyen el diseño operativo de una apelación, pero ofrecen una lección general: transparencia, registro, supervisión y responsabilidad deben funcionar como un conjunto.

La investigación de Andrew Selbst y Julia Powles sobre la expresión «información significativa» señala precisamente que la transparencia debe servir a la comprensión y la capacidad de ejercer derechos. Esto desplaza la atención desde cuánto revela una empresa hacia qué puede hacer la persona con lo revelado. Una política puede cumplir formalmente con una página extensa y fallar en la práctica si no conecta la información con el caso individual.

Cómo diseñar una apelación que no sea decorativa

Primero, separe el canal de reclamación del sistema que produjo la decisión. La solicitud debe conservar los motivos originales, los datos utilizados y la versión del modelo o regla aplicable. Si el expediente cambia silenciosamente, será imposible reconstruir qué ocurrió.

Segundo, permita que la persona formule distintos tipos de objeción. Puede existir un error factual —el ingreso estaba mal registrado—, una inferencia discutible —una pausa laboral se interpretó como falta de compromiso—, una regla impropia —la variable no es pertinente— o una consecuencia desproporcionada. Obligar a escoger solo «dato incorrecto» deja fuera problemas importantes.

Tercero, asigne la revisión a alguien que comprenda el dominio y pueda apartarse de la recomendación automatizada. La intervención humana no es significativa si el revisor carece de tiempo, información o autoridad. Debe registrar qué examinó, cómo respondió a la evidencia y por qué confirmó o cambió la decisión.

Cuarto, mida el sistema de apelaciones. No para castigar a quien cuestiona, sino para descubrir patrones: tasas de corrección, motivos recurrentes, grupos afectados, tiempos de respuesta y decisiones que el revisor no puede explicar. Una concentración de errores puede revelar problemas de datos, diseño o política que ninguna explicación individual resolverá.

Quinto, proteja a la persona frente a represalias y cargas excesivas. Pedir documentación imposible, usar lenguaje jurídico innecesario o exigir múltiples contactos convierte la apelación en una carrera de resistencia. Un proceso accesible admite formatos razonables, confirma recepción, informa plazos y ofrece escalamiento.

Una prueba de cinco minutos antes de desplegar

Antes de usar una decisión algorítmica con efectos relevantes, el equipo puede hacer una prueba sencilla. Entregue a una persona ajena al proyecto un caso anonimizado y la explicación prevista. Pregúntele: ¿entiendes qué pasó?, ¿puedes identificar los dos o tres factores principales?, ¿sabes qué dato revisar?, ¿distingues al sistema de la organización responsable?, ¿sabes a quién acudir y qué podría cambiar?

Si la respuesta es negativa, todavía no existe una explicación accionable. El problema puede estar en el lenguaje, la interfaz, la falta de trazabilidad o el propio diseño del sistema. Esta prueba no reemplaza una evaluación jurídica, técnica o de impacto, pero detecta una falla básica: confundir información publicada con comprensión efectiva.

La conclusión es exigente y sencilla. Una buena explicación no termina cuando la organización habla; termina cuando la persona puede formular una objeción informada y alguien responsable debe responderla. Comprensión sin posibilidad de cuestionar produce resignación. Apelación sin información produce conjeturas. Solo la unión de razones fieles, datos corregibles, revisión humana y remedio convierte la transparencia en una forma de responsabilidad.

Pregunta para la comunidad: Si una decisión automatizada afectara una oportunidad importante para ti, ¿qué información exigirías antes de aceptar que fue justa?

Elaborado por Ricardo Gaibor.

Este artículo fue elaborado por Ricardo Gaibor con ayuda de sistemas de inteligencia artificial en tareas de investigación, organización y edición. La selección, interpretación y responsabilidad editorial del contenido corresponden al autor.

Referencias

• Pasquale, F. (2015). The Black Box Society: The Secret Algorithms That Control Money and Information. Harvard University Press. Ficha editorial.
• Miller, T. (2019). “Explanation in Artificial Intelligence: Insights from the Social Sciences”. Artificial Intelligence, 267, 1–38. https://doi.org/10.1016/j.artint.2018.07.007.
• Wachter, S., Mittelstadt, B. y Russell, C. (2017). “Counterfactual Explanations without Opening the Black Box”. SSRN. DOI: 10.2139/ssrn.3063289.
• Doshi-Velez, F. y Kim, B. (2017). “Towards a Rigorous Science of Interpretable Machine Learning”. arXiv:1702.08608.
• Selbst, A. D. y Powles, J. (2017). “Meaningful information and the right to explanation”. International Data Privacy Law. https://doi.org/10.1093/idpl/ipx022.
• Unión Europea. Reglamento (UE) 2016/679, Reglamento General de Protección de Datos. Texto oficial.
• Unión Europea. Reglamento (UE) 2024/1689, Reglamento de Inteligencia Artificial. Texto oficial.