Una innovación no es responsable solo porque resuelve el problema que tenía delante

Una innovación puede resolver con eficacia el problema que motivó su creación y, al mismo tiempo, trasladar costos a personas que nunca participaron en la decisión. Antes de celebrar una mejora, conviene preguntar qué cambia para quienes la usan, quienes quedan fuera y quienes tendrán que vivir con sus consecuencias. Esa es la pregunta estratégica de la innovación responsable: no solo «¿funciona?», sino «¿para quién, bajo qué condiciones y con qué capacidad de corregir?».

El éxito inicial no agota la responsabilidad

Imaginemos una plataforma que acelera la asignación de turnos en una organización. Reduce tiempos de coordinación y parece ahorrar recursos. Sin embargo, si presupone conexión permanente, horarios estables o facilidad para interpretar avisos digitales, podría perjudicar a trabajadores con cuidados familiares, conectividad irregular o menor alfabetización tecnológica. El beneficio operativo es real; también puede serlo el perjuicio. No se trata de rechazar la plataforma por anticipado, sino de investigar las dos caras antes de ampliarla.

La pregunta habitual de un proyecto de innovación es si una solución resuelve el problema definido. La pregunta responsable agrega quién formuló ese problema, qué intereses quedaron fuera y qué efectos surgen al cambiar de escala. Un piloto voluntario con veinte participantes no reproduce necesariamente las condiciones de una implantación obligatoria para miles. La diferencia de tamaño transforma incentivos, errores y posibilidades de oposición.

Stilgoe, Owen y Macnaghten proponen un marco de innovación responsable que articula anticipación, reflexividad, inclusión y capacidad de respuesta. No son cuatro casillas para cumplir al final de un proyecto. Son prácticas que deben acompañar decisiones técnicas, comerciales y organizacionales desde el principio. Su valor está en abrir preguntas que una métrica de rendimiento no puede contestar por sí sola. Su artículo en Research Policy fundamenta ese enfoque.

Anticipar no equivale a predecir el futuro

Anticipar significa imaginar usos plausibles, abusos, exclusiones y efectos indirectos sin fingir certeza. Antes de lanzar una herramienta educativa, por ejemplo, se puede preguntar si reforzará la ventaja de quienes ya cuentan con tiempo y dispositivos, o si hará más difícil pedir ayuda a quienes tienen problemas de lectura. Ninguna respuesta puede conocerse por completo de antemano. La incertidumbre no justifica la indiferencia: justifica diseñar pruebas y umbrales de revisión.

Un ejercicio útil consiste en escribir tres escenarios: uso previsto, uso adaptado por las personas y uso oportunista. Para cada escenario se identifican beneficiarios, posibles afectados, señales tempranas y decisiones reversibles. En una aplicación de crédito, el uso previsto puede ser agilizar solicitudes; el adaptado, compartir una cuenta entre familiares; el oportunista, explotar información personal para segmentar de manera injusta. La tarea no es declarar que todo ocurrirá, sino saber qué observar si ocurre.

La anticipación se vuelve más concreta cuando se expresa en preguntas verificables. ¿Qué grupo podría quedar subrepresentado en el piloto? ¿Quién soportará los errores? ¿Cuánto tarda una apelación? ¿Qué datos o recursos necesita una persona para beneficiarse? Si el equipo no puede responder, tiene una hipótesis de riesgo que merece investigación, no una prueba de que el riesgo no existe.

Reflexividad: examinar la propia definición del problema

Una organización que define «eficiencia» únicamente como menor tiempo de atención puede pasar por alto la comprensión del usuario o la calidad de la decisión. La reflexividad consiste en revisar supuestos, valores e incentivos del equipo. ¿Por qué se considera éxito esa cifra? ¿Qué indicadores no se están recogiendo? ¿Qué resultados serían incómodos para quienes financian el proyecto?

Este examen incluye la posibilidad de que la solución elegida no sea la mejor intervención. A veces, mejorar una instrucción, rediseñar un trámite o ampliar atención humana resuelve mejor el problema que un sistema nuevo. La innovación responsable no exige introducir tecnología por prestigio; exige justificar la relación entre medios y fines. Tampoco convierte toda crítica en veto. Una objeción bien formulada es información para mejorar el diseño.

Para practicarla, un equipo puede registrar decisiones y sus motivos antes del piloto: población objetivo, riesgos conocidos, datos ausentes y condiciones que obligarían a detener o cambiar el producto. Revisar ese registro después permite distinguir aprendizaje real de una explicación inventada a posteriori. La documentación es especialmente importante cuando cambian responsables o proveedores.

Incluir a quienes vivirán con el resultado

Consultar solo a usuarios satisfechos da una imagen incompleta. La inclusión requiere escuchar también a quienes no adoptan la solución, a quienes abandonan el proceso y a quienes asumen trabajo adicional invisible. En un servicio público, una encuesta en línea excluye justamente a algunas personas con dificultades de acceso. En una empresa, una reunión dirigida por superiores puede inhibir críticas. El mecanismo de participación debe adaptarse a la desigualdad de voz.

La recomendación de la UNESCO sobre la ética de la inteligencia artificial insiste en evaluaciones de impacto y participación de actores afectados. Aunque su objeto es la IA, la lección es más amplia: no basta con preguntar si una tecnología cumple una función; hay que examinar el contexto social de su aplicación. Escuchar no significa prometer que cada preferencia se convertirá en característica. Significa explicar cómo se incorporó o por qué se descartó una objeción.

Una inclusión significativa tiene calendario y consecuencias. Si la consulta ocurre cuando ya se ha firmado un contrato irrevocable, la capacidad de influir es mínima. Es mejor abrirla mientras todavía pueden modificarse objetivos, interfaz, criterios de evaluación o condiciones de despliegue. También conviene remunerar o facilitar la participación cuando se pide tiempo y experiencia a personas que no forman parte del equipo promotor.

Responder: la diferencia entre escuchar y corregir

La cuarta dimensión es la capacidad de respuesta. Un proyecto puede anticipar riesgos, escribir informes y escuchar testimonios, pero seguir exactamente igual. En ese caso la participación es decorativa. Responder significa que la evidencia puede modificar el producto, sus reglas de uso, la población a la que se ofrece o incluso la decisión de lanzarlo.

El marco de innovación responsable del EPSRC resume estas prácticas bajo la sigla AREA: anticipar, reflexionar, involucrar y actuar. La última palabra importa: una deliberación sin capacidad de actuar no protege a nadie. Owen describió el compromiso de ese organismo con el marco en el Journal of Responsible Innovation. El marco no garantiza decisiones perfectas, pero vuelve visible dónde se tomó una decisión y bajo qué evidencia.

Responder exige responsables identificados, plazos y opciones graduales. Se puede corregir una interfaz, limitar una función, ofrecer un canal alternativo, suspender una modalidad o detener el despliegue. Conviene definir de antemano quién puede activar cada medida. Un buzón de quejas sin autoridad para cambiar nada no es un mecanismo suficiente. También debe informarse a quienes reportaron el problema qué se hizo y qué sigue sin resolverse.

Un mapa de decisiones antes de escalar

El siguiente cuadro convierte las cuatro dimensiones en preguntas operativas. No reemplaza una evaluación técnica o legal específica, pero ayuda a evitar que la conversación ética quede separada del calendario del proyecto.

El cuadro se usa mejor como conversación de equipo que como sello de aprobación. Por ejemplo, si un piloto muestra mejora de productividad pero aumenta reclamaciones de un grupo pequeño, no basta con promediar ambos resultados. Se debe examinar la gravedad del perjuicio, si hay mecanismos de reparación y si ese grupo estuvo adecuadamente representado. Las medias esconden distribuciones.

Medir beneficios sin borrar sus costos

Las métricas importan, pero elegirlas es una decisión normativa. Tiempo ahorrado, ingresos y adopción pueden convivir con tasas de error, abandonos, reclamaciones, accesibilidad y capacidad de apelación. Cada indicador ilumina una parte del resultado. Un tablero responsable muestra tanto beneficios como costos y distingue resultados por grupos relevantes cuando es lícito y metodológicamente apropiado hacerlo.

El marco de gestión de riesgos de IA del NIST subraya la gestión continua del riesgo, contextualizada por el uso y sus impactos. No hay que extrapolar sus requisitos mecánicamente a cualquier producto: sirve aquí como referencia para recordar que identificar, medir y gestionar efectos es una actividad sostenida, no una auditoría única. El funcionamiento puede cambiar cuando cambia el entorno, la población o la forma de utilizar la herramienta.

Es importante no confundir ausencia de quejas con ausencia de daño. Una persona puede no conocer el canal, temer represalias o asumir que reclamar no servirá. Además de encuestas, se necesitan observación, pruebas de accesibilidad y revisión de casos concretos. Cuando los datos son insuficientes, la conclusión honesta es que todavía no se sabe. Escalar con esa incertidumbre exige condiciones explícitas de seguimiento y reversión.

De la prueba pequeña a una decisión defendible

Antes de crecer, conviene revisar cinco decisiones. Primera: especificar qué problema se intenta resolver y para quién. Segunda: publicar internamente los criterios de éxito y daño, no solo las cifras favorables. Tercera: probar la solución con contextos diversos y un mecanismo de salida. Cuarta: asignar autoridad para corregir y documentar cada cambio. Quinta: repetir la evaluación después del lanzamiento, porque la escala revela comportamientos que el piloto no podía mostrar.

Tomemos otra vez la plataforma de turnos. Puede mantenerse el objetivo de coordinar mejor, pero ofrecer un canal no digital, avisos con antelación mínima, revisión humana de conflictos y un periodo en el que los errores no produzcan sanciones automáticas. Se mediría no solo cuánto tarda asignar un turno, sino cuántos cambios inesperados sufren los trabajadores, quién los sufre y cuánto cuesta corregirlos. El diseño resultante quizá sea menos llamativo en una presentación, pero más sólido en la práctica.

La innovación responsable no es una garantía de que nadie sufrirá un perjuicio. Tampoco es un trámite para obtener legitimidad mediante una lista de comprobación. Es una disciplina para hacer visibles límites, distribuir mejor la voz y mantener abierta la posibilidad de cambiar de rumbo. Una solución merece confianza cuando puede explicar sus beneficios sin ocultar a quienes pagan sus costos, y cuando tiene mecanismos reales para aprender de ellos.

Referencias

• Stilgoe, J., Owen, R. y Macnaghten, P. (2013). «Developing a framework for responsible innovation». Research Policy. DOI: 10.1016/j.respol.2013.05.008.
• Owen, R. (2014). «The UK Engineering and Physical Sciences Research Council’s commitment to a framework for responsible innovation». Journal of Responsible Innovation. DOI: 10.1080/23299460.2014.882065.
• UK Research and Innovation, EPSRC. Framework for responsible innovation.
• UNESCO. Recommendation on the Ethics of Artificial Intelligence.
• National Institute of Standards and Technology. AI Risk Management Framework.

Para conversar en la comunidad: ¿qué efecto secundario de una innovación de tu entorno habría sido posible detectar antes de ampliarla?

Elaborado por Ricardo Gaibor.

Este artículo fue elaborado por Ricardo Gaibor con ayuda de sistemas de inteligencia artificial en tareas de investigación, organización y edición. La selección, interpretación y responsabilidad editorial del contenido corresponden al autor.