Reevaluando la Equidad de la Inteligencia Artificial mediante la Optimización del Bienestar Social

A medida que los sistemas de IA se vuelven más omnipresentes y poderosos, la cuestión de cómo hacerlos justos y equitativos se ha convertido en el mayor desafío. Desde el crédito y la contratación hasta la salud y la justicia penal, los algoritmos de IA ahora han comenzado a controlar las vidas y los medios de subsistencia de individuos y comunidades. A menudo, estos algoritmos operan de maneras invisibles, no responsables, y incluso sesgados en ocasiones contra grupos históricamente desfavorecidos.

En respuesta a estas preocupaciones, una comunidad de investigadores, profesionales y legisladores se ha unido para desarrollar sistemas de IA “justos” que traten a todos por igual y no perpetúen ni amplifiquen las desigualdades sociales. El enfoque dominante para formalizar y operacionalizar la equidad en IA ha sido el uso de “métricas de paridad estadística”, que buscan igualar ciertos métricos de rendimiento como tasas de selección o tasas de error entre grupos protegidos.

Sin embargo, aunque las nociones de equidad basadas en la paridad han sido ampliamente estudiadas y adoptadas en la comunidad de IA, también han recibido críticas crecientes de académicos que argumentan que son conceptualmente defectuosas, prácticamente limitadas y potencialmente contraproducentes. Sostienen que simplemente igualar los resultados estadísticos entre grupos no es suficiente para lograr una equidad sustantiva, ya que ignora el impacto real en el bienestar de las decisiones de IA sobre individuos y comunidades.

En un nuevo artículo en las actas de CPAIOR 2024, un equipo de investigadores de la Carnegie Mellon University y el Stevens Institute of Technology propone un enfoque alternativo para la equidad en IA basado en la optimización del bienestar social. Liderados por John Hooker, profesor de investigación operativa en la Carnegie Mellon University, los autores utilizan la conocida función de bienestar social “alpha fairness” para analizar las limitaciones y puntos ciegos de métricas de paridad estadística populares como la paridad demográfica, los odds equilibrados y la paridad de tasa predictiva.

Sus resultados muestran que estas métricas de paridad a menudo no se alinean con los principios de justicia distributiva, como priorizar a los más desfavorecidos o una distribución justa de beneficios y cargas. En muchos casos, la solución alfa-equitativa está lejos de la solución de paridad, por lo que estas métricas pueden conducir a sistemas de IA subóptimos tanto desde la perspectiva de eficiencia como de equidad.

Esto tiene grandes implicaciones para el campo de la ética de IA y los esfuerzos por construir sistemas de aprendizaje automático que respeten los valores humanos y la justicia social. Significa que necesitamos un enfoque más integral y matizado para la equidad algorítmica que vaya más allá de las métricas estadísticas y aborde los compromisos morales de la IA en dominios de alto riesgo: la optimización del bienestar social.

Comprendiendo la Optimización del Bienestar Social

En esencia, la optimización del bienestar social es un paradigma completamente diferente para pensar y operacionalizar la equidad en IA. En lugar de centrarse estrechamente en igualar ciertos métricos entre grupos, da un paso atrás y considera el impacto social más amplio de las decisiones de IA sobre el bienestar y la calidad de vida humana.

La idea es diseñar sistemas de IA que apunten explícitamente a maximizar una función de bienestar social que agregue las utilidades (es decir, los beneficios y costos) experimentados por todas las personas afectadas en una única medida del bien social. Según este enfoque, los profesionales de IA pueden construir algoritmos que equilibren estos objetivos en competencia especificando una función de bienestar social que refleje juicios morales considerados sobre la importancia relativa de la eficiencia y la equidad.

La optimización del bienestar social tiene sus raíces en la economía del bienestar, que posee una larga historia en el tratamiento de la justicia distributiva y la toma de decisiones colectivas. Economistas y filósofos han propuesto diversas funciones de bienestar social que reflejan diferentes principios éticos y juicios de valor, como el utilitarismo (maximizar la suma de la utilidad), el prioritarismo (dar más peso a las ganancias de utilidad para los más desfavorecidos) y el egalitarismo (minimizar la desigualdad).

En los últimos años, un número creciente de investigadores de IA ha comenzado a explorar la optimización del bienestar social como una forma de incorporar la equidad en los sistemas de aprendizaje automático. Este trabajo se basa en los artículos titulados “Algorithmic decision making and the cost of fairness” de Heidari et al. y Corbett-Davies y Goel, que introdujeron por primera vez la idea de usar funciones de bienestar social para capturar el impacto diferencial de las decisiones de IA sobre diferentes individuos y grupos.

Una forma de hacerlo es con la equidad alfa, una clase paramétrica de funciones de bienestar social que ha sido estudiada en economía y teoría de la elección social durante 70 años. La equidad alfa permite interpolar entre objetivos utilitarios y egalitarios con un solo parámetro alfa, que controla el grado de aversión a la desigualdad.

Cuando alfa es 0, la función de bienestar social se reduce al utilitarismo clásico, maximizando la suma de la utilidad sin considerar la distribución. A medida que alfa aumenta, se otorga más peso a los más desfavorecidos, y la asignación se vuelve más equitativa. En el límite, cuando alfa tiende a infinito, la equidad alfa converge al principio rawlsiano “maximin” de maximizar la utilidad del individuo peor situado.

En su artículo de CPAIOR 2024, los investigadores usan la equidad alfa como una lente para examinar tres métricas populares de paridad estadística:

• Paridad demográfica
• Odds equilibrados
• Paridad de tasa predictiva

Simulan una variedad de escenarios donde un sistema de IA debe asignar un recurso limitado (p. ej., préstamos, entrevistas de trabajo, oportunidades educativas) entre una población de individuos con diferentes tasas de calificación y funciones de utilidad.

Los resultados son sorprendentes. En muchos casos, la asignación alfa-equitativa difiere significativamente de las soluciones propuestas por las métricas de paridad.

La paridad demográfica, que requiere tasas de selección iguales entre grupos, a menudo no tiene en cuenta el hecho de que los grupos desfavorecidos obtienen mayor utilidad marginal al ser seleccionados. Por lo tanto, conduce a asignaciones que no son ni eficientes ni equitativas.

Los odds equilibrados, que comparan las tasas de selección solo entre individuos “calificados”, lo hacen un poco mejor pero aún fallan en escenarios donde los errores de falsos negativos (es decir, individuos calificados que son rechazados) son más costosos que los falsos positivos.

La paridad de tasa predictiva, que iguala la fracción de individuos seleccionados que están calificados, tiene un uso limitado y solo es aplicable cuando el número de individuos seleccionados es mayor que el número de candidatos realmente calificados.

Estos resultados muestran las limitaciones fundamentales y los puntos ciegos de las métricas de paridad estadística como la forma principal de evaluar e imponer la equidad algorítmica.

Al ignorar las verdaderas implicaciones de bienestar de las decisiones de IA y el impacto diferencial en distintos grupos, estas métricas pueden conducir a sistemas que perpetúan o incluso exacerban las desigualdades existentes. También carecen de justificación normativa y consistencia, ya que diferentes criterios de paridad a menudo generan recomendaciones conflictivas en la práctica.

En contraste, la optimización del bienestar social ofrece una forma fundamentada y unificada de navegar los compromisos entre equidad y eficiencia en los sistemas de IA. Busca hacer explícitos los juicios de valor y supuestos éticos en la elección de la función de bienestar social para permitir que desarrolladores y legisladores tengan conversaciones más transparentes y responsables sobre el impacto distributivo de la toma de decisiones algorítmica.

Además, trabajos recientes han demostrado que la optimización del bienestar social puede integrarse fácilmente en el flujo de trabajo estándar de aprendizaje automático, ya sea como un paso de post-procesamiento o directamente en el objetivo de entrenamiento.

Por ejemplo, en el Toma de decisiones algorítmica y el costo de la equidad, los investigadores proponen una técnica de regularización que añade un término de bienestar social a la función de pérdida de cualquier modelo de clasificación o regresión, de modo que el sistema pueda aprender reglas de decisión justas que maximicen tanto la precisión como el bienestar. Ustun et al. introdujeron un método de post-procesamiento que toma la salida de cualquier modelo preentrenado y encuentra las decisiones que maximizan el bienestar bajo diversas restricciones de equidad.

Estos resultados técnicos demuestran que la optimización del bienestar social es una forma viable y práctica de construir sistemas de IA justos y equitativos. Los desarrolladores pueden usar estas poderosas técnicas de optimización y paquetes de software basados en una función objetivo clara y computable que captura las consideraciones normativas de este marco para encontrar asignaciones que equilibren criterios en competencia.

Sin embargo, materializar todo el potencial de la optimización del bienestar social en la práctica también requiere abordar una serie de desafíos y limitaciones difíciles. Uno de los mayores es la dificultad de obtener y construir funciones de utilidad individual que capturen el impacto complejo y multidimensional de las decisiones de IA en la vida humana. Esto requiere una participación profunda con las partes interesadas afectadas y expertos del dominio para comprender los factores contextuales que moldean las preferencias, valores y bienestar de las personas.

También existen preguntas teóricas y filosóficas sobre la comparabilidad interpersonal de la utilidad, la incertidumbre y la dinámica, así como sobre cómo agregar las utilidades individuales en una medida colectiva de bienestar social. Diferentes funciones de bienestar social hacen distintas suposiciones al respecto, y no hay un consenso universal sobre cuál es la más defendible o adecuada en un contexto dado.

Además, como con cualquier enfoque basado en optimización, existe el riesgo de que los objetivos que se están maximizando no capturen plenamente todas las consideraciones éticas relevantes, o que estén sesgados por sesgos y puntos ciegos en los datos y modelos usados para estimar las utilidades. Es esencial contar con procesos bien pensados de participación de las partes interesadas, transparencia y responsabilidad para asegurar que los criterios de bienestar se optimicen alineándose con los valores y prioridades de las comunidades afectadas.

A pesar de estos desafíos, los beneficios de la optimización del bienestar social para la equidad algorítmica son demasiado grandes para ser ignorados. No obstante, los desarrolladores de IA y los legisladores pueden ir más allá de la paridad estadística mediante una forma fundamentada y flexible de equilibrar la equidad y la eficiencia de este enfoque. En última instancia, conducirá a una noción más holística y consecuencialista de la equidad basada en el bienestar y la calidad de vida humana.

Haga clic aquí para aprender cómo la IA puede garantizar la autenticidad. 

El caso de uso #1: Préstamos justos

Para mostrar las promesas y desafíos de la optimización del bienestar social en la práctica, consideremos el dominio de alto riesgo de los préstamos algorítmicos. En los últimos años, muchos bancos y empresas fintech han adoptado modelos de aprendizaje automático para automatizar y acelerar las decisiones de crédito. Estos modelos utilizan enormes cantidades de datos personales y financieros para predecir la probabilidad de que un solicitante de préstamo incumpla, de modo que los prestamistas puedan tomar decisiones de suscripción más rápidas y eficientes.

Sin embargo, hay evidencia creciente de que estos sistemas de préstamo algorítmico están perpetuando y amplificando los sesgos y disparidades históricas en el acceso al crédito. Los estudios han demostrado que los prestatarios negros y latinos tienen más probabilidades de que se les nieguen préstamos o se les cobren tasas de interés más altas que los prestatarios blancos con calificaciones similares, incluso al controlar factores de riesgo tradicionales como ingresos, puntaje crediticio y estado laboral.

En respuesta a estas preocupaciones, algunos prestamistas pueden recurrir a métodos de paridad estadística como la paridad demográfica y los odds equilibrados para mitigar el sesgo en sus modelos de suscripción de IA. La idea es igualar las tasas de aprobación de préstamos o de incumplimiento entre grupos protegidos para que los modelos traten a todos los solicitantes por igual, sin importar su raza o etnia.

Aunque estos enfoques basados en la paridad pueden parecer intuitivos, no capturan la complejidad de la solvencia crediticia y el impacto diferencial del acceso al préstamo en el bienestar de las comunidades marginadas. Un creciente cuerpo de investigación sugiere que nociones simplistas de equidad basadas en la igualdad de resultados pueden en realidad resultar contraproducentes y dañar a los propios grupos que pretenden proteger.

Por ejemplo, un artículo de 2018 señala que imponer restricciones de paridad demográfica en una regla de decisión que maximiza la utilidad generalmente requiere usar variables sensibles como la raza tanto en el entrenamiento del modelo como en la toma de decisiones. Esto implica que los intentos de cumplir con las restricciones de paridad usando la raza solo durante el entrenamiento, conocidos como ‘procesos de aprendizaje dispares’, serán subóptimos.

Además, los criterios de equidad basados en la paridad ignoran el hecho de que los daños de ser negado el crédito no se distribuyen de manera uniforme en la población. Para los prestatarios de bajos ingresos y minorías que históricamente han sido excluidos de los servicios financieros tradicionales, que se les niegue un préstamo puede tener consecuencias devastadoras, atrapándolos en ciclos de pobreza y deuda depredadora. Para los solicitantes más acomodados y privilegiados, pueden tener fuentes alternativas de capital y verse menos afectados por una decisión crediticia adversa.

La optimización del bienestar social ofrece un enfoque alternativo que incorpora directamente estos diferentes intereses de bienestar en el diseño de algoritmos de préstamos justos. Los prestamistas pueden desarrollar modelos de crédito que maximicen el bienestar total mientras garantizan una distribución más equitativa de oportunidades definiendo una función de bienestar social que capture los costos y beneficios relativos del acceso al préstamo para diferentes individuos y grupos.

Por ejemplo, considere una función de bienestar social que priorice el bienestar de los solicitantes menos favorecidos, otorgando más peso a las ganancias de utilidad de los prestatarios de bajos ingresos y minorías. Esto podría formalizarse usando una función de equidad alfa con un valor moderadamente alto de alfa, lo que indica una fuerte preferencia por la equidad sobre la eficiencia.

Bajo este objetivo de bienestar social, la política de préstamo óptima probablemente implicaría prestar más a los grupos marginados incluso si sus tasas de reembolso previstas, en promedio, son algo más bajas. Esto se debe a que las ganancias de bienestar al prestar a estas comunidades desatendidas (p. ej., permitirles comprar una vivienda, iniciar un negocio o seguir una educación) pueden superar el mayor riesgo de incumplimiento desde una perspectiva societal.

Por supuesto, implementar un sistema de préstamo que maximice el bienestar en la práctica requeriría superar importantes desafíos de datos y modelado. Los prestamistas tendrían que recopilar datos granulares sobre las características socioeconómicas y necesidades financieras de los solicitantes de préstamo, así como los impactos posteriores del acceso al crédito en su bienestar a lo largo del tiempo. También tendrían que involucrar a las comunidades afectadas para asegurar que los criterios de bienestar se optimicen alineándose con sus valores y prioridades.

Además, pueden existir consideraciones legales y regulatorias importantes respecto al uso de información de clases protegidas (p. ej., raza, género, edad) para tomar decisiones de préstamo, incluso si el objetivo es promover la equidad. Los legisladores tendrían que proporcionar directrices claras sobre cómo se aplican las leyes anti-discriminación en el contexto de la optimización del bienestar social y crear refugios seguros para los prestamistas que utilicen estas técnicas de manera transparente y responsable.

A pesar de los desafíos, vale la pena. La optimización del bienestar social puede ayudar a impulsar la inclusión financiera y cerrar la brecha de riqueza racial al permitir que los prestamistas tomen decisiones de crédito más holísticas y conscientes del bienestar, redirijan el flujo de capital a comunidades tradicionalmente desatendidas y las empoderen económicamente. También puede ofrecer una forma más fundamentada y transparente de navegar los compromisos entre equidad y eficiencia en los préstamos, basada en los impactos reales en la vida de los prestatarios.

Poniéndolo en perspectiva

Como muestra el ejemplo de los préstamos, la optimización del bienestar social es una frontera para la equidad algorítmica que va más allá de la paridad estadística y se dirige hacia una noción más holística y consecuencialista de equidad basada en el bienestar y la calidad de vida humana.

Este enfoque puede ayudar a los desarrolladores de IA y a los legisladores a tomar decisiones más fundamentadas y responsables sobre el diseño y despliegue de sistemas algorítmicos en dominios de alto riesgo. Pueden hacerlo definiendo y maximizando una función de bienestar social que refleje juicios morales considerados sobre la distribución de beneficios y cargas.

Sin embargo, materializar todo el potencial de la optimización del bienestar social en la práctica requerirá mucho trabajo interdisciplinario. Los científicos de la computación y los académicos de ética de IA deberán colaborar con economistas, filósofos, expertos legales y comunidades afectadas para abordar los desafíos normativos y técnicos de definir y calcular funciones de bienestar social. Esto incluye preguntas difíciles sobre la medición y agregación de la utilidad individual, la incertidumbre y la dinámica, y el equilibrio adecuado entre eficiencia y equidad en diferentes contextos.

Además, los legisladores y reguladores deben proporcionar más orientación y crear un entorno en el que la IA consciente del bienestar pueda desarrollarse y desplegarse. Esto puede implicar actualizar las leyes y regulaciones anti-discriminación existentes para abordar el desafío de la optimización del bienestar social y crear nuevos marcos de gobernanza y mecanismos de supervisión para la transparencia, la responsabilidad y la participación pública en el diseño y uso de estos sistemas.

En última instancia, el cambio hacia la optimización del bienestar social en IA debe ir acompañado de esfuerzos más amplios para abordar las inequidades estructurales subyacentes y los desequilibrios de poder que moldean el desarrollo y el impacto de la tecnología en la sociedad.

Las intervenciones de equidad algorítmica, por muy bien diseñadas que estén, no pueden sustituir reformas más fundamentales para promover la justicia social y económica, como invertir en educación, salud, vivienda e infraestructura en comunidades marginadas.

Como Hooker y sus colegas dicen en su artículo de CPAIOR 2024:

“La optimización del bienestar social ofrece nuevas formas de diseñar sistemas algorítmicos justos y buenos. Queda mucho trabajo por hacer para desarrollar y operacionalizar estos enfoques, pero creemos que son un camino a seguir para la ética de la IA. Podemos llegar a una forma más holística y moralmente seria de construir sistemas de aprendizaje automático que sirvan a toda la sociedad al enmarcar nuestras nociones de equidad en el lenguaje de la economía del bienestar y abordar explícitamente las consecuencias distributivas de nuestra tecnología.”

En general, para lograr una IA verdaderamente justa, debemos asegurarnos de que estos enfoques se prueben y refinen rigurosamente en escenarios del mundo real, encarnando un compromiso con la justicia y el bienestar social.

Haga clic aquí para aprender todo sobre la inversión en inteligencia artificial.