Antes de confiar en un modelo, pregunta de dónde salieron sus datos

Un modelo puede responder con soltura y, aun así, haberse entrenado con datos que nadie sabe explicar. Antes de preguntar cuánto acierta, conviene pedir la historia de su materia prima: quién la reunió, para qué, a quién representa y qué cambios sufrió. Una ficha de datos no resuelve todos esos problemas, pero permite dejar de discutir a ciegas.

Imagina una empresa que evalúa una herramienta para clasificar solicitudes. El proveedor muestra una demostración convincente y menciona millones de registros. Cuando alguien pregunta de qué países proceden, qué permisos permiten reutilizarlos y cuándo se actualizaron, la respuesta se vuelve imprecisa. Este es un ejemplo hipotético, no un caso documentado. Sirve para reconocer una escena habitual en una compra tecnológica: la conversación se concentra en la salida del modelo y deja en segundo plano las condiciones que hicieron posible esa salida.

La pregunta útil no es si existe un archivo llamado documentación. Es si la organización puede reconstruir una cadena de decisiones y reconocer dónde termina su conocimiento. Para hacerlo proponemos un expediente mínimo: ficha de origen, evidencia de permisos, descripción de cobertura, registro de transformaciones y responsable de mantenimiento. Es una síntesis práctica de las fuentes citadas, no una certificación ni un estándar jurídico.

La procedencia es una historia que debe poder comprobarse

El panorama de PROV del W3C define la procedencia mediante información sobre entidades, actividades y personas que intervienen en producir un dato o una cosa. La distinción parece técnica, pero ayuda a formular preguntas sencillas: qué material entró, qué operación se ejecutó y quién asumió responsabilidad. Saber que un archivo llegó por correo no explica quién recopiló los registros originales ni bajo qué condiciones.

Una carpeta compartida tampoco equivale a un conjunto estable. Puede contener versiones sucesivas, registros añadidos por distintos equipos y etiquetas cuyo significado cambió. Si solo conservamos el archivo final, perdemos las decisiones de selección y limpieza que contribuyeron a formarlo. El seguimiento debe conectar las versiones, no limitarse a anotar el nombre de la última entrega.

Conviene distinguir procedencia de explicabilidad. Explicar por qué un sistema asignó una puntuación a una persona es una pregunta sobre una decisión particular. Reconstruir de dónde salió el conjunto de entrenamiento es una pregunta sobre su historia. Se relacionan, pero una respuesta no sustituye a la otra. Un gráfico de importancia de variables no acredita los permisos de uso de los registros originales.

Una ficha que obligue a pensar, no solo a rellenar casillas

Timnit Gebru y sus coautores proponen en Datasheets for Datasets acompañar cada conjunto con una ficha que documente motivación, composición, recogida, preparación, usos, distribución y mantenimiento. La comparación es la hoja técnica de un componente: quien recibe la pieza necesita conocer sus características y límites antes de incorporarla a un sistema.

La propuesta busca mejorar la comunicación entre quienes crean los datos y quienes los utilizan. No demuestra que completar una plantilla elimine los sesgos ni que una ficha extensa garantice calidad. Sus autores subrayan además el valor de la reflexión humana: automatizar la producción del documento no reemplaza el trabajo de examinar supuestos, riesgos y decisiones de creación.

Por eso una respuesta como «datos públicos de internet» resulta insuficiente. Habría que precisar sitios o colecciones, fechas de acceso, criterios de inclusión, mecanismos de extracción y condiciones conocidas. Cuando no se pueda divulgar un detalle, la ficha debería explicar la restricción y ofrecer una forma controlada de revisión. Lo que no se conoce debe quedar identificado como desconocido, sin convertirlo en una garantía implícita.

Cinco preguntas y las evidencias que conviene pedir

Esta tabla puede utilizarse para preparar una reunión con un proveedor o revisar un proyecto interno. La columna final no contiene prohibiciones universales: propone señales para detener la aprobación y solicitar una revisión proporcional al uso previsto. En contextos de alto impacto, una incertidumbre que sería tolerable en una exploración puede impedir un despliegue.

La utilidad de estas preguntas está en pedir pruebas adecuadas, no datos personales adicionales. Un inventario puede documentar categorías de origen y permisos sin revelar identidades. La trazabilidad no justifica abrir a cualquier persona el material original ni duplicarlo en cada expediente. Registrar quién puede inspeccionarlo y bajo qué controles puede ser más responsable que publicar todo.

Acceso, licencia y consentimiento no significan lo mismo

Encontrar un documento en una web responde a una pregunta de acceso. Una licencia responde a condiciones de reutilización dentro de su alcance. El consentimiento, cuando corresponda, responde a otra cuestión: qué aceptó una persona y para qué finalidad. Son planos diferentes. Ninguna de estas palabras debería usarse como sustituto automático de las demás.

La ficha propuesta por Gebru y sus colegas incluye preguntas factuales sobre recogida, información facilitada a las personas y restricciones. Su enfoque evita pedir al creador del conjunto que resuelva por sí solo todos los juicios legales. La organización debe separar la evidencia disponible de la evaluación jurídica que corresponda según el lugar, los datos y el uso. Este artículo no ofrece una regla legal universal sobre entrenamiento.

En una compra, pedir «confirmación de cumplimiento» puede producir una respuesta tan general que resulte difícil examinarla. Es preferible vincular la revisión a la versión concreta del conjunto, la finalidad y las condiciones aplicables. Si la documentación solo cubre investigación, no hay que asumir que cubre un servicio comercial o una decisión laboral. Una conclusión favorable necesita un alcance explícito.

La cobertura no se mide contando filas

Muchos registros no equivalen a una buena representación del contexto de uso. Un conjunto puede ser amplio y concentrarse en una sola lengua, periodo o clase de institución. También puede omitir precisamente a las personas con menos acceso al canal que produjo los datos. La ficha debe distinguir el universo deseado de la muestra efectivamente disponible.

En The Dataset Nutrition Label, Sarah Holland y sus coautores plantean un marco diagnóstico que combina módulos cualitativos y cuantitativos para examinar los ingredientes de un conjunto antes del desarrollo del modelo. Se trata del preprint de 2018 consultado, no de una prueba de que cualquier etiqueta reduzca por sí misma los daños. Su contribución aquí es hacer más visibles características que una cifra de rendimiento puede esconder.

El mismo trabajo advierte dificultades para generalizar entre tipos de datos y problemas de usar una supuesta verdad de referencia como comparación. En la práctica, conviene preguntar cómo se construyeron las etiquetas y qué desacuerdos existieron. Si «buen candidato» significa únicamente «persona contratada en el pasado», la etiqueta describe una decisión histórica; no demuestra por sí sola una capacidad laboral.

Ese ejemplo es ilustrativo. No permite concluir que todos los modelos de selección tengan ese problema. Muestra por qué revisar definiciones importa tanto como calcular distribuciones. Una revisión responsable puede terminar diciendo: conocemos esta cobertura, ignoramos aquella y todavía no podemos justificar el uso en otro contexto.

Guardar las transformaciones cambia lo que podemos discutir

Entre la recogida y el entrenamiento suelen existir operaciones de limpieza, normalización, eliminación de duplicados, selección y etiquetado. Cada una puede cambiar el significado del conjunto. Si se eliminan registros incompletos, por ejemplo, conviene saber qué grupos o periodos aportaban más valores ausentes, antes de interpretar el resultado como una mejora neutral.

El expediente debería permitir identificar los archivos de entrada, la regla o programa aplicado, la fecha, la salida y el responsable. Un identificador de versión y una suma de comprobación ayudan a distinguir archivos; no demuestran su legitimidad ni su calidad. Verificar que dos copias son iguales responde a una pregunta diferente de verificar que deberían utilizarse.

DCAT 3, recomendación del W3C de 2024 para describir catálogos de datos, aporta vocabulario para documentación interoperable e incorpora recursos para versiones y sumas de comprobación de distribuciones. No es un certificado de entrenamiento responsable. Puede ayudar a organizar la descripción del conjunto mientras PROV ayuda a expresar relaciones de procedencia. Ninguno sustituye el examen sustantivo de permisos y adecuación.

Una tarjeta visible necesita mantenimiento detrás

La documentación de Hugging Face muestra una implementación accesible: el archivo README de un repositorio puede convertirse en una tarjeta del conjunto. Sus metadatos permiten describir, entre otros aspectos, licencia, idioma y tamaño. La tarjeta ayuda a entender contenido y contexto de uso, pero su presencia no demuestra que las declaraciones hayan sido auditadas de forma independiente.

Este formato puede servir incluso a un equipo pequeño. Lo importante no es adoptar una plataforma concreta, sino mantener cerca de los datos una explicación legible y versionada. La tarjeta pública puede resumir características; un registro de acceso restringido puede conservar acuerdos o pruebas sensibles. Debe quedar claro qué parte es una declaración del creador y cuál fue contrastada.

Una actualización exige revisar también los usos. Si se corrigen etiquetas o se retiran registros, el equipo necesita saber qué entrenamientos utilizaron la versión anterior y qué evaluación procede. No prometamos que borrar un registro del archivo elimina automáticamente su influencia de un modelo ya entrenado. Esa cuestión requiere un análisis técnico específico y una respuesta documentada.

Una reunión de treinta minutos para empezar

Como ejercicio interno, proponemos elegir un conjunto real y reunir a quien lo prepara, quien lo utiliza y quien autoriza su uso. No hace falta reconstruir toda la organización el primer día. La primera tarea es acordar qué versión se está revisando y localizar las cinco evidencias de la tabla. Los treinta minutos son una sugerencia de trabajo, no un tiempo validado por las investigaciones citadas.

Conviene anotar cada respuesta como comprobada, declarada o desconocida. Después se asigna un responsable y una fecha a los vacíos importantes. Si no puede identificarse el origen o aclararse una restricción esencial, el resultado útil no es una ficha aparentemente completa: es una decisión explícita de no avanzar con ese uso hasta resolver la incertidumbre.

Antes de confiar en un modelo, pide una historia verificable de sus datos. No garantiza que el sistema vaya a acertar, ser justo o funcionar en cualquier contexto. Sí permite discutir con mayor precisión qué conocemos, qué estamos suponiendo y qué debemos revisar antes de trasladar consecuencias a otras personas.

¿Qué pregunta de la tabla te resultaría más difícil responder sobre los datos que utiliza tu organización, y qué evidencia necesitarías para dejar de depender de una promesa?

Elaborado por Ricardo Gaibor.

Este artículo fue elaborado por Ricardo Gaibor con ayuda de sistemas de inteligencia artificial en tareas de investigación, organización y edición. La selección, interpretación y responsabilidad editorial del contenido corresponden al autor.

Referencias

• Gebru, T., Morgenstern, J., Vecchione, B., Vaughan, J. W., Wallach, H., Daumé III, H. y Crawford, K. (2021). Datasheets for Datasets. Communications of the ACM, 64(12), 86–92. DOI: 10.1145/3458723. Manuscrito accesible de la misma obra, versión 8. Se consultó esta versión; el acceso al editor mediante el DOI devolvió HTTP 403.
• Holland, S., Hosny, A., Newman, S., Joseph, J. y Chmielinski, K. (2018). The Dataset Nutrition Label: A Framework To Drive Higher Data Quality Standards. Preprint, arXiv:1805.03677. DOI: 10.48550/arXiv.1805.03677. Registro y acceso al texto.
• Groth, P. y Moreau, L. (eds.) (2013). PROV-Overview: An Overview of the PROV Family of Documents. W3C Working Group Note, documento explicativo no normativo. Documento consultado.
• Albertoni, R., Browning, D., Cox, S. J. D., Gonzalez Beltran, A., Perego, A. y Winstanley, P. (eds.) (2024). Data Catalog Vocabulary (DCAT) – Version 3. W3C Recommendation, 22 de agosto. Especificación.
• Hugging Face (s. f.). Dataset Cards. Documentación del Hub, consultada el 29 de octubre de 2026. Guía técnica.