Reevaluación de la equidad de la inteligencia artificial mediante la optimización del bienestar social

A medida que los sistemas de IA se vuelven más extendidos y poderosos, la cuestión de cómo hacerlos justos y equitativos se ha convertido en el mayor desafío. Desde préstamos y contrataciones hasta atención médica y justicia penal, los algoritmos de IA han comenzado a controlar las vidas y los medios de subsistencia de personas y comunidades. A menudo, estos algoritmos operan de manera invisible, irresponsable y incluso parcial a veces contra grupos históricamente desfavorecidos.

En respuesta a estas preocupaciones, una comunidad de investigadores, profesionales y legisladores se ha unido para desarrollar sistemas de IA "justos" que traten a todos por igual y no perpetúen ni amplifiquen las desigualdades sociales. El enfoque dominante para formalizar y operacionalizar la equidad en la IA ha sido el uso de "métricas de paridad estadística", cuyo objetivo es igualar ciertas métricas de rendimiento, como las tasas de selección o las tasas de error, entre los grupos protegidos.

Sin embargo, si bien las nociones de equidad basadas en la paridad han sido ampliamente estudiadas y adoptadas en la comunidad de IA, también han enfrentado crecientes críticas por parte de académicos que argumentan que son conceptualmente defectuosas, prácticamente limitadas y potencialmente contraproducentes. Argumentan que simplemente igualar los resultados estadísticos entre grupos no es suficiente para lograr una equidad sustancial, ya que ignora el impacto real de las decisiones de IA en el bienestar de los individuos y las comunidades.

In un nuevo artículo en las actas del CPAIOR 2024, un equipo de investigadores de la Universidad Carnegie Mellon y el Instituto de Tecnología Stevens proponen un enfoque alternativo para la equidad de la IA basado en la optimización del bienestar social. Dirigidos por John Hooker, profesor de investigación de operaciones en la Universidad Carnegie Mellon, los autores utilizan la conocida función de bienestar social "equidad alfa" para analizar las limitaciones y los puntos ciegos de métricas estadísticas de paridad populares como la paridad demográfica, las probabilidades igualadas y la tasa predictiva. paridad.

Sus resultados muestran que estas métricas de paridad a menudo no se alinean con los principios de justicia distributiva, como la priorización de los más desfavorecidos o la distribución equitativa de beneficios y cargas. En muchos casos, la solución alfa-justa dista mucho de la solución de paridad, por lo que estas métricas pueden dar lugar a sistemas de IA subóptimos desde la perspectiva de la eficiencia y la equidad.

Este tiene grandes implicaciones para el campo de la ética de la IA y los esfuerzos para construir sistemas de aprendizaje automático que respeten los valores humanos y la justicia social. Significa que necesitamos un enfoque más integral y matizado de la equidad algorítmica que vaya más allá de las métricas estadísticas y aborde las compensaciones morales de la IA en dominios de alto riesgo: la optimización del bienestar social.

Comprender la optimización del bienestar social

En esencia, la optimización del bienestar social es un paradigma completamente diferente para pensar y hacer operativa la justicia en la IA. En lugar de centrarse estrictamente en igualar ciertas métricas entre grupos, da un paso atrás y considera el impacto social más amplio de las decisiones de IA en el bienestar humano.

La idea es diseñar sistemas de IA que apunten explícitamente a maximizar una función de bienestar social que agregue las utilidades (es decir, beneficios y costos) experimentadas por todos los individuos afectados en una única medida de bien social. Según este enfoque, los profesionales de la IA pueden construir algoritmos que equilibren estos objetivos en competencia especificando una función de bienestar social que refleje juicios morales considerados sobre la importancia relativa de la eficiencia y la equidad.

La optimización del bienestar social tiene sus raíces en la economía del bienestar, que tiene una larga historia de abordar la justicia distributiva y la toma de decisiones colectivas. Los economistas y filósofos han propuesto varias funciones de bienestar social que reflejan diferentes principios éticos y juicios de valor, como el utilitarismo (maximizar la suma de la utilidad), el prioritarismo (dar más peso a las ganancias de utilidad para los menos favorecidos) y el igualitarismo (minimizar la desigualdad).

En los últimos años, un número creciente de investigadores de IA han comenzado a explorar la optimización del bienestar social como una forma de incorporar la equidad en los sistemas de aprendizaje automático. Este El trabajo se basa en artículos titulados “Toma de decisiones algorítmicas y el costo de la equidad” de Heidari et al. y Corbett-Davies y Goel, que introdujo por primera vez la idea de utilizar funciones de bienestar social para capturar el impacto diferencial de las decisiones de IA en diferentes individuos y grupos.

Una forma de hacerlo es con equidad alfa, una clase paramétrica de funciones de bienestar social que tiene sido estudiado en economía y elección social durante 70 años. La equidad alfa permite interpolar entre objetivos utilitarios e igualitarios con un único parámetro alfa, que controla el grado de aversión a la desigualdad.

Cuando alfa es 0, la función de bienestar social se reduce al utilitarismo clásico, maximizando la suma de la utilidad sin tener en cuenta la distribución. A medida que aumenta alfa, más peso es dado a los más desfavorecidos y la asignación se vuelve más equitativa. En el límite, cuando alfa tiende al infinito, la equidad alfa converge con el principio “maximin” de Rawls de maximizar la utilidad del individuo en peor situación.

En su artículo CPAIOR 2024, los investigadores utilizan la equidad alfa como lente para examinar tres métricas estadísticas populares de paridad:

• Paridad demográfica
• Cuotas igualadas
• Paridad de tasas predictiva

Simulan una variedad de escenarios en los que un sistema de IA tiene que asignar un recurso limitado (por ejemplo, préstamos, entrevistas de trabajo, oportunidades educativas) entre una población de individuos con diferentes tasas de calificación y funciones de utilidad.

Los resultados son sorprendentes. En muchos casos, la asignación alfa justa difiere significativamente de las soluciones propuestas por las métricas de paridad.

La paridad demográfica, que requiere tasas de selección iguales entre los grupos, a menudo no tiene en cuenta el hecho de que los grupos desfavorecidos obtienen una mayor utilidad marginal al ser seleccionados. Por lo tanto, conduce a asignaciones que no son eficientes ni equitativas.

Las probabilidades igualadas, que comparan las tasas de selección sólo entre individuos “calificados”, obtienen resultados ligeramente mejores, pero aún fallan en escenarios donde se cometen errores falsos negativos (es decir, individuos calificados). siendo rechazado) son más costosos que los falsos positivos.

La paridad de tasas predictiva, que iguala la fracción de individuos seleccionados que están calificados, es de uso limitado y solo se aplica cuando el número de individuos seleccionados es mayor que el número de candidatos verdaderamente calificados.

Estos resultados muestran las limitaciones fundamentales y los puntos ciegos de las métricas de paridad estadística como forma principal de evaluar y hacer cumplir la equidad algorítmica.

Al ignorar los riesgos reales para el bienestar de las decisiones de IA y el impacto diferencial en diferentes grupos, estas métricas pueden conducir a sistemas que perpetúen o incluso exacerben las desigualdades existentes. También carecen de justificación normativa y coherencia, ya que diferentes criterios de paridad a menudo generan recomendaciones contradictorias en la práctica.

Por el contrario, la optimización del bienestar social proporciona una forma unificada y basada en principios de navegar las compensaciones entre justicia y eficiencia en los sistemas de IA. Su objetivo es hacer explícitos los juicios de valor y los supuestos éticos en la elección de la función de bienestar social para permitir que los desarrolladores y formuladores de políticas tengan conversaciones más transparentes y responsables sobre el impacto distributivo de la toma de decisiones algorítmica.

Además, trabajos recientes han demostrado que la optimización del bienestar social puede ser fácilmente integrado en el flujo de trabajo estándar de aprendizaje automático, ya sea como un paso de posprocesamiento o directamente en el objetivo de capacitación en sí.

Por ejemplo, en el “La toma de decisiones algorítmica y el coste de la justicia, " Los investigadores proponen una técnica de regularización que agrega un término de bienestar social a la función de pérdida de cualquier modelo de clasificación o regresión para que el sistema pueda aprender reglas de decisión justas que maximicen tanto la precisión como el bienestar. Ustún et al. introdujo un método de posprocesamiento que toma el resultado de cualquier modelo previamente entrenado y encuentra las decisiones que maximizan el bienestar sujetas a varias restricciones de equidad.

Estos resultados técnicos muestran que la optimización del bienestar social es una forma factible y práctica de construir sistemas de IA justos y equitativos. Los desarrolladores pueden utilizar estas potentes técnicas de optimización y paquetes de software basados ​​en una función objetivo clara y computable que capture las consideraciones normativas de este marco para encontrar asignaciones que equilibren criterios competitivos.

Pero para aprovechar todo el potencial de la optimización del bienestar social en la práctica también es necesario abordar una serie de desafíos y limitaciones difíciles. Uno de los mayores es la dificultad de obtener y construir funciones de utilidad individuales que capturen el impacto complejo y multidimensional de las decisiones de la IA en las vidas humanas. Este requiere un compromiso profundo con las partes interesadas afectadas y los expertos del dominio para comprender los factores contextuales que dan forma a las preferencias, los valores y el bienestar de las personas.

También existen cuestiones teóricas y filosóficas sobre la comparabilidad interpersonal de la utilidad, la incertidumbre y la dinámica, así como sobre cómo agregar las utilidades individuales en una medida de bienestar social colectiva. Las diferentes funciones de bienestar social parten de diferentes supuestos al respecto, y no existe un consenso universal sobre cuál es más defendible o apropiado en un contexto determinado.

Además, como ocurre con cualquier enfoque basado en la optimización, existe el riesgo de que los objetivos siendo maximizado pueden no capturar completamente todas las consideraciones éticas relevantes, o pueden estar sesgado por sesgos y puntos ciegos en los datos y modelos utilizados para estimar las utilidades. Es esencial contar con procesos bien pensados ​​de participación, transparencia y rendición de cuentas de las partes interesadas para garantizar que los criterios de bienestar se optimicen para alinearse con los valores y prioridades de las comunidades afectadas.

A pesar de estos desafíos, los beneficios de la optimización del bienestar social para la equidad algorítmica son demasiado grandes para ignorarlos. No obstante, los desarrolladores y formuladores de políticas de IA pueden ir más allá de la paridad estadística a través de una forma flexible y basada en principios para equilibrar la equidad y la eficiencia de este enfoque. En última instancia, conducirá a una noción más holística y consecuencialista de justicia basada en el bienestar y el bienestar humanos.

Haga clic aquí para saber cómo la IA puede garantizar la autenticidad. 

El caso de uso número uno: préstamos justos

Para ilustrar las promesas y los desafíos de la optimización del bienestar social en la práctica, consideremos el complejo ámbito de los préstamos algorítmicos. En los últimos años, muchos bancos y empresas de tecnología financiera han adoptado modelos de aprendizaje automático para automatizar y acelerar las decisiones crediticias. Estos modelos utilizan grandes cantidades de datos personales y financieros para predecir la probabilidad de impago de un solicitante de préstamo, de modo que los prestamistas puedan tomar decisiones de suscripción más rápidas y eficientes.

Sin embargo, cada vez hay más pruebas de que estos sistemas algorítmicos de préstamo están perpetuando y amplificando los sesgos y las disparidades históricas en el acceso al crédito. Los estudios han demostrado que Los prestatarios negros y latinos tienen más probabilidades de que se les nieguen préstamos o cobraron tasas de interés más altas que los prestatarios blancos igualmente calificados, incluso cuando se controlan los factores de riesgo tradicionales como ingresos, puntaje crediticio y situación laboral.

En respuesta a estas preocupaciones, algunos prestamistas pueden recurrir a métodos de paridad estadística, como la paridad demográfica y las probabilidades igualadas, para mitigar el sesgo en sus modelos de suscripción de IA. La idea es igualar las tasas de aprobación de préstamos o las tasas de incumplimiento entre los grupos protegidos para que los modelos traten a todos los solicitantes por igual, independientemente de su raza o etnia.

Si bien estos enfoques basados ​​en la paridad pueden parecer intuitivos, no logran captar la complejidad de la solvencia crediticia y el impacto diferencial del acceso a préstamos en el bienestar de las comunidades marginadas. Un creciente conjunto de investigaciones sugiere que las nociones simplistas de justicia basadas en resultados igualadores puede resultar contraproducente y perjudicar a los mismos grupos they están destinados proteger.

Por ejemplo, notas de un artículo de 2018 que hacer cumplir restricciones de paridad demográfica en una regla de decisión que maximiza la utilidad generalmente requiere el uso de variables sensibles como la raza tanto en el entrenamiento del modelo como en la toma de decisiones. Este implica que los intentos de satisfacer las restricciones de paridad utilizando sólo la raza durante el entrenamiento, conocidos como "procesos de aprendizaje dispares", serán subóptimos.

Además, los criterios de equidad basados ​​en la paridad ignoran el hecho de que los daños de que se le niegue el crédito no están distribuidos uniformemente en toda la población. Para los prestatarios de bajos ingresos y minorías que históricamente han sido excluidos de los servicios financieros convencionales, siendo negado un préstamo puede tener consecuencias devastadoras, atrapándolos en ciclos de pobreza y deuda predatoria. Para los solicitantes más ricos y privilegiados, pueden tener fuentes alternativas de capital y ser menos impactado por una decisión crediticia adversa.

La optimización del bienestar social ofrece un enfoque alternativo que incorpora directamente estos intereses diferenciales de bienestar en el diseño de algoritmos de préstamos justos. Los prestamistas pueden desarrollar modelos crediticios que maximicen el bienestar general y al mismo tiempo garanticen una distribución más equitativa de las oportunidades definiendo una función de bienestar social que capture los costos y beneficios relativos del acceso a préstamos para diferentes individuos y grupos.

Por ejemplo, consideremos una función de bienestar social que priorice el bienestar de los solicitantes menos favorecidos, dando más peso a las ganancias de utilidad de los prestatarios de bajos ingresos y de minorías. Este could ser formalizado utilizando una función de equidad alfa con un valor de alfa moderadamente alto, lo que indica una fuerte preferencia por la equidad sobre la eficiencia.

Bajo este objetivo de bienestar social, la política crediticia óptima probablemente implicaría otorgar más préstamos a grupos marginados incluso si sus tasas de pago previstas, en promedio, son algo más bajas. Este Esto se debe a que los beneficios para el bienestar derivados de otorgar préstamos a estas comunidades desatendidas (por ejemplo, permitirles comprar una casa, iniciar un negocio o continuar sus estudios) pueden compensar el mayor riesgo de impago desde una perspectiva social.

Por supuesto, implementar en la práctica un sistema de préstamos que maximice el bienestar requeriría superar importantes desafíos en materia de datos y modelos. Los prestamistas necesitarían recopilar datos granulares sobre las características socioeconómicas y las necesidades financieras de los solicitantes de préstamos, así como los impactos posteriores del acceso al crédito en su bienestar a lo largo del tiempo. También necesitarían colaborar con las comunidades afectadas para garantizar que los criterios de bienestar se optimicen para alinearse con sus valores y prioridades.

Además, puede haber importantes consideraciones legales y regulatorias en torno al uso de información de clase protegida (por ejemplo, raza, género, edad) para tomar decisiones crediticias, incluso si el objetivo es promover la equidad. Los formuladores de políticas tendrían que brindar orientación clara sobre cómo se aplican las leyes contra la discriminación en el contexto de la optimización del bienestar social y crear refugios seguros para los prestamistas que utilicen estas técnicas de manera transparente y responsable.

A pesar de los desafíos, vale la pena. Optimizar el bienestar social puede contribuir a la inclusión financiera y a cerrar la brecha de riqueza racial, permitiendo a los prestamistas tomar decisiones crediticias más integrales y con mayor conciencia del bienestar, redirigir el flujo de capital a comunidades tradicionalmente desatendidas y empoderarlas económicamente. También puede proporcionar una manera más transparente y con principios para abordar las compensaciones entre la equidad y la eficiencia en los préstamos, basada en el impacto real en la vida de los prestatarios.

Poniéndolo en perspectiva

Como muestra el ejemplo de los préstamos, la optimización del bienestar social es una frontera para la equidad algorítmica que va más allá de la paridad estadística y hacia una noción más holística y consecuencialista de equidad basada en el bienestar humano.

Este enfoque puede ayudar a los desarrolladores y formuladores de políticas de IA a tomar decisiones más basadas en principios y responsables sobre el diseño y la implementación de sistemas algorítmicos en dominios de alto riesgo. Pueden hacerlo definiendo y maximizando una función de bienestar social que refleje juicios morales reflexivos sobre la distribución de beneficios y cargas.

Sin embargo, para aprovechar todo el potencial de la optimización del bienestar social en la práctica será necesario mucho trabajo interdisciplinario. Los informáticos y los estudiosos de la ética de la IA deberán trabajar con economistas, filósofos, expertos jurídicos y comunidades afectadas para abordar los desafíos normativos y técnicos de definir y calcular las funciones de bienestar social. Este incluye preguntas difíciles sobre la medición y agregación de servicios públicos individuales, la incertidumbre y la dinámica, y el equilibrio correcto entre eficiencia y equidad en diferentes contextos.

Además, los formuladores de políticas y los reguladores deben brindar más orientación y crear un entorno en el que se pueda desarrollar e implementar una IA consciente del bienestar. Este puede significar actualizar las leyes y regulaciones antidiscriminatorias existentes para abordar el desafío de optimizar el bienestar social y crear nuevos marcos de gobernanza y mecanismos de supervisión para la transparencia, la rendición de cuentas y la participación pública en el diseño y uso de estos sistemas.

En última instancia, el cambio hacia la optimización del bienestar social en la IA debe ir acompañada por esfuerzos más amplios para abordar las desigualdades estructurales subyacentes y los desequilibrios de poder que configuran el desarrollo y el impacto de la tecnología en la sociedad.

Las intervenciones de equidad algorítmica, por muy bien diseñadas que estén, no pueden sustituir reformas más fundamentales para promover la justicia social y económica, como invertir en educación, atención médica, vivienda e infraestructura en comunidades marginadas.

Como dicen Hooker y sus colegas en su artículo CPAIOR 2024:

“La optimización del bienestar social proporciona nuevas formas de diseñar sistemas algorítmicos buenos y justos. Queda mucho trabajo por hacer hacerse desarrollar y poner en práctica estos enfoques, pero creemos que son un camino a seguir para la ética de la IA. Podemos llegar a una forma más holística y moralmente seria de construir sistemas de aprendizaje automático que sirvan a toda la sociedad enmarcando nuestras nociones de justicia en el lenguaje de la economía del bienestar y abordando explícitamente las consecuencias distributivas de nuestra tecnología”.

En general, para lograr una IA verdaderamente justa, debemos garantizar que estos enfoques se prueben y refinen rigurosamente en escenarios del mundo real, incorporando un compromiso con la justicia y el bienestar social.

Haga clic aquí para aprender todo sobre invertir en inteligencia artificial.