Una segmentación rentable también puede discriminar: cómo poner límites

Dos clientes pueden mostrar una probabilidad parecida de comprar y, aun así, recibir ofertas, precios o niveles de servicio muy distintos. A veces la diferencia responde a una necesidad legítima. Otras veces, el modelo ha aprendido a usar el barrio, el dispositivo, el historial de navegación o la forma de pago como sustitutos de características sensibles. La segmentación parece rentable porque mejora una métrica comercial; el costo humano queda fuera del tablero.

Segmentar no es, por sí mismo, discriminar. Toda organización necesita distinguir necesidades, contextos y preferencias para no ofrecer lo mismo a todo el mundo. El problema aparece cuando una clasificación produce desventajas injustificadas, concentra oportunidades en quienes ya están mejor atendidos o excluye de manera sistemática a ciertos grupos sin que nadie pueda explicar por qué.

La variable sensible no tiene que estar en la tabla

Eliminar sexo, edad, origen étnico o discapacidad de una base de datos no elimina necesariamente su influencia. El código postal, el nombre, el tipo de teléfono, el idioma, la trayectoria de consumo y decenas de patrones correlacionados pueden actuar como variables proxy. Un sistema puede reconstruir indirectamente aquello que se decidió no preguntar.

Además, la desigualdad puede entrar antes del modelo. Si los datos históricos reflejan una distribución desigual de crédito, atención o descuentos, optimizar la conducta pasada puede convertir esa historia en una regla para el futuro. La investigación jurídica de Solon Barocas y Andrew Selbst mostró por qué la minería de datos puede producir impactos discriminatorios aun sin una intención explícita. La lección organizacional es sencilla: la neutralidad del código no garantiza la neutralidad del resultado.

También importa el objetivo. “Maximizar conversión” parece preciso, pero no dice quién debe recibir la oportunidad de convertir, qué costo de exclusión es aceptable ni si la predicción se utilizará para informar, persuadir, encarecer o negar. Una misma puntuación cambia de significado según la decisión que active.

Rentabilidad y equidad no son métricas intercambiables

Un modelo comercial suele evaluarse con precisión, elevación de respuesta, ingreso incremental o retorno sobre inversión. Ninguna de esas métricas responde por sí sola si los errores se distribuyen de manera razonable. Un promedio alto puede esconder que un grupo recibe muchos falsos negativos —personas con necesidad y capacidad que nunca ven la oferta— mientras otro recibe la mayoría de las oportunidades.

La literatura sobre equidad algorítmica advierte, además, que ciertas definiciones deseables de justicia pueden ser incompatibles cuando las tasas de base difieren entre grupos y la predicción no es perfecta. El resultado de Jon Kleinberg, Sendhil Mullainathan y Manish Raghavan no ofrece una fórmula universal; obliga a elegir con claridad qué daño se quiere evitar y a documentar el criterio adoptado. Igualar tasas de aprobación, calibrar puntuaciones e igualar tasas de error no significan lo mismo.

Michael Kearns y Aaron Roth, en The Ethical Algorithm, explican que algunos valores sociales pueden expresarse como restricciones computacionales, pero también señalan sus límites. Traducir equidad a una métrica ayuda a auditar; no reemplaza la deliberación sobre derechos, contexto y consecuencias.

Cinco preguntas antes de aceptar una segmentación

1. ¿Qué decisión activa el segmento?

No basta con conocer la etiqueta. “Alto valor”, “bajo potencial” o “riesgo de abandono” pueden activar desde un mensaje personalizado hasta un precio, una espera mayor o la exclusión de un beneficio. Documente la acción, su reversibilidad y el perjuicio posible. Cuanto más grave sea la consecuencia, más exigentes deben ser la evidencia, la revisión humana y el derecho a cuestionarla.

2. ¿La variable tiene una relación defendible con el propósito?

Para cada dato, pregunte qué aporta, por qué es necesario y qué podría estar sustituyendo. El código postal puede servir para calcular una entrega; resulta mucho más difícil justificarlo como señal general de “calidad” del cliente. La disponibilidad técnica no convierte una variable en legítima.

3. ¿Quién queda fuera y con qué frecuencia?

Analice cobertura, tasas de selección y errores por grupos relevantes. No mire solamente categorías legales conocidas: considere intersecciones y grupos operativos que puedan sufrir una desventaja, sin crear perfiles invasivos. Cuando no sea legítimo recolectar un atributo, pueden requerirse auditorías protegidas, datos agregados o métodos de privacidad que permitan medir sin ampliar innecesariamente la vigilancia.

4. ¿La diferencia mejora una necesidad o explota una vulnerabilidad?

Personalizar accesibilidad, idioma o canal puede ampliar oportunidades. Detectar urgencia financiera para cobrar más o mostrar productos más riesgosos usa información parecida con una finalidad distinta. La pregunta ética no es solo “¿funciona?”, sino “¿para quién funciona y a costa de quién?”.

5. ¿Existe una salida comprensible?

Una persona debería poder corregir datos incorrectos, pedir revisión y acceder a una alternativa razonable cuando la clasificación tiene efectos significativos. Una explicación útil describe los factores decisivos y la acción posible; una lista genérica de variables no basta.

Señales frecuentes y controles proporcionales

La tabla no convierte una señal en prohibida ni en segura por defecto. Su finalidad es obligar al equipo a declarar el riesgo específico, el propósito y una prueba observable. Si el control propuesto no puede detectar el daño que preocupa, debe revisarse antes del lanzamiento.

Un control práctico en siete pasos

1. Defina el propósito. Escriba la necesidad comercial y la decisión exacta antes de elegir datos.
2. Haga un mapa de daños. Incluya exclusión, precios diferenciados, manipulación, estigmatización, privacidad y deterioro del servicio.
3. Revise variables y proxies. Justifique cada campo y pruebe qué ocurre al retirarlo o agruparlo.
4. Establezca métricas múltiples. Combine desempeño comercial con cobertura, selección, falsos positivos, falsos negativos y calidad por grupos.
5. Pruebe escenarios. Simule cambios de umbral y casos límite; examine intersecciones donde la muestra permita conclusiones prudentes.
6. Asigne responsables. Producto, datos, legal, experiencia de cliente y negocio deben poder detener el uso; la responsabilidad no puede quedar diluida entre proveedores.
7. Monitoree después del lanzamiento. Los datos, la población y las campañas cambian. Registre versiones, incidentes, quejas, anulaciones humanas y efectos acumulados.

Este control funciona mejor como una puerta de decisión que como una lista ceremonial. Si el equipo no puede justificar una variable, medir un daño relevante o ofrecer corrección, el sistema no está listo aunque su retorno proyectado sea atractivo.

Tres escenas que ayudan a ver el límite

Una campaña de crédito. El modelo identifica a quienes probablemente acepten una oferta, pero excluye barrios con poco historial bancario. La organización debe distinguir entre probabilidad de respuesta y capacidad de pago, revisar proxies geográficos y medir quién nunca recibe la oportunidad.

Una plataforma de aprendizaje. La segmentación recomienda contenidos avanzados a quienes progresan rápido. Si la velocidad depende de conectividad, idioma o disponibilidad de tiempo, el sistema puede encerrar a otros usuarios en rutas básicas. Conviene incorporar señales de dominio, permitir elección y evaluar movilidad entre segmentos.

Un programa de fidelización. Los beneficios se concentran en compradores frecuentes. Eso puede ser transparente y proporcional, pero se vuelve problemático si el mismo segmento recibe atención prioritaria ante reclamos, mientras los demás soportan deliberadamente peor servicio. Premiar recurrencia no justifica degradar derechos básicos del consumidor.

Gobernanza: la pregunta que el panel no muestra

La regulación europea de protección de datos exige principios como licitud, transparencia, minimización y exactitud, y contempla garantías frente a ciertas decisiones exclusivamente automatizadas. La Ley de Inteligencia Artificial de la Unión Europea añade obligaciones según el nivel de riesgo, aunque no convierte toda segmentación comercial en un sistema de alto riesgo. Estas normas son un piso de responsabilidad, no un sustituto del juicio profesional ni una conclusión jurídica aplicable automáticamente a cualquier país.

Una buena gobernanza conserva un inventario de modelos, propietarios claros, documentación de datos, criterios de aprobación, registros de cambios y canales de reclamación. También pregunta si el objetivo comercial merece ser automatizado. A veces el mejor control no es un modelo más justo, sino reducir la consecuencia, ampliar el acceso o abandonar una diferenciación que no puede defenderse.

Los enlaces entre análisis y acción deben quedar visibles. Si una persona recibe menos, paga más o espera más, alguien debe poder explicar la relación entre el propósito, la evidencia y el trato recibido. La trazabilidad protege al cliente y también a la organización: permite descubrir cuándo una campaña rentable está comprando resultados presentes a costa de confianza futura.

Una pregunta para la comunidad

En su organización, ¿qué diferencia de trato parece comercialmente útil, pero resultaría difícil explicar cara a cara a la persona afectada?

Elaborado por Ricardo Gaibor

Este artículo fue elaborado por Ricardo Gaibor con ayuda de sistemas de inteligencia artificial en tareas de investigación, organización y edición. La selección, interpretación y responsabilidad editorial del contenido corresponden al autor.

Lecturas y fuentes

• Barocas, Solon y Selbst, Andrew D. (2016). “Big Data’s Disparate Impact”. California Law Review, 104(3), 671–732. https://doi.org/10.15779/Z38BG31.
• Kleinberg, Jon; Mullainathan, Sendhil; y Raghavan, Manish (2017). “Inherent Trade-Offs in the Fair Determination of Risk Scores”. ITCS 2017. https://doi.org/10.4230/LIPIcs.ITCS.2017.43.
• Kearns, Michael y Roth, Aaron (2019). The Ethical Algorithm. Oxford University Press, ISBN 978-0-19-094820-7. Ficha editorial.
• Information Commissioner’s Office. How do we ensure fairness in AI?.
• Unión Europea. Reglamento General de Protección de Datos y Reglamento de Inteligencia Artificial.