Réévaluer l’équité de l’intelligence artificielle grâce à l’optimisation du bien-être social

À mesure que les systèmes d’IA se généralisent et gagnent en puissance, la question de les rendre équitables et justes est devenue le plus grand défi. Du prêt et de l’embauche aux soins de santé et à la justice pénale, les algorithmes d’IA commencent à contrôler la vie et les moyens de subsistance des individus et des communautés. Souvent, ces algorithmes fonctionnent de manière invisible, non responsable, et même biaisés parfois contre les groupes historiquement défavorisés.

En réponse à ces préoccupations, une communauté de chercheurs, de praticiens et de décideurs s’est réunie pour développer des systèmes d’IA « équitables » qui traitent tout le monde de manière égale et ne perpétuent pas ou n’amplifient pas les inégalités sociétales. L’approche dominante pour formaliser et opérationnaliser l’équité en IA a été l’utilisation des « métriques de parité statistique », qui visent à égaliser certaines mesures de performance telles que les taux de sélection ou les taux d’erreur entre les groupes protégés.

Cependant, bien que les notions d’équité basées sur la parité aient été largement étudiées et adoptées dans la communauté IA, elles ont également fait l’objet de critiques croissantes de la part de chercheurs qui soutiennent qu’elles sont conceptuellement défectueuses, pratiquement limitées et potentiellement contre-productives. Ils soutiennent que simplement égaliser les résultats statistiques entre les groupes n’est pas suffisant pour atteindre une équité substantielle, car cela ignore l’impact réel sur le bien-être des décisions d’IA sur les individus et les communautés.

Dans un nouvel article des actes de la CPAIOR 2024, une équipe de chercheurs de l’Université Carnegie Mellon et du Stevens Institute of Technology propose une approche alternative de l’équité en IA basée sur l’optimisation du bien-être social. Dirigés par John Hooker, professeur de recherche opérationnelle à l’Université Carnegie Mellon, les auteurs utilisent la fonction de bien-être social bien connue « alpha fairness » pour analyser les limites et les angles morts des métriques de parité statistique populaires telles que la parité démographique, les odds égalisés et la parité de taux prédictif.

Leurs résultats montrent que ces métriques de parité ne correspondent souvent pas aux principes de justice distributive tels que la priorité donnée aux plus défavorisés ou la distribution équitable des bénéfices et des charges. Dans de nombreux cas, la solution alpha-fair est très éloignée de la solution de parité, de sorte que ces métriques peuvent conduire à des systèmes d’IA sous-optimaux tant du point de vue de l’efficacité que de l’équité.

Cela a de grandes implications pour le domaine de l’éthique de l’IA et les efforts visant à créer des systèmes d’apprentissage automatique qui respectent les valeurs humaines et la justice sociale. Cela signifie que nous avons besoin d’une approche plus complète et nuancée de l’équité algorithmique qui dépasse les métriques statistiques et aborde les compromis moraux de l’IA dans les domaines à enjeux élevés : l’optimisation du bien-être social.

Comprendre l’optimisation du bien-être social

Au cœur de celle-ci, l’optimisation du bien-être social représente un paradigme complètement différent pour concevoir et opérationnaliser l’équité en IA. Au lieu de se concentrer étroitement sur l’égalisation de certaines métriques entre les groupes, elle prend du recul et considère l’impact sociétal plus large des décisions d’IA sur le bien-être et la santé humaine.

L’idée est de concevoir des systèmes d’IA qui visent explicitement à maximiser une fonction de bien-être social qui agrège les utilités (c’est‑à‑dire les bénéfices et les coûts) ressenties par toutes les personnes concernées en une seule mesure du bien commun. Selon cette approche, les praticiens de l’IA peuvent créer des algorithmes qui équilibrent ces objectifs concurrents en spécifiant une fonction de bien-être social reflétant des jugements moraux réfléchis sur l’importance relative de l’efficacité et de l’équité.

L’optimisation du bien-être social puise ses racines dans l’économie du bien-être, qui possède une longue histoire de traitement de la justice distributive et de la prise de décision collective. Les économistes et les philosophes ont proposé diverses fonctions de bien-être social reflétant différents principes éthiques et jugements de valeur, tels que l’utilitarisme (maximiser la somme des utilités), le prioritarisme (accorder plus de poids aux gains d’utilité pour les plus défavorisés) et l’égalitarisme (minimiser les inégalités).

Ces dernières années, un nombre croissant de chercheurs en IA ont commencé à explorer l’optimisation du bien-être social comme moyen d’intégrer l’équité dans les systèmes d’apprentissage automatique. Ce travail s’appuie sur les articles intitulés « Algorithmic decision making and the cost of fairness » de Heidari et al. et de Corbett‑Davies et Goel, qui ont d’abord introduit l’idée d’utiliser des fonctions de bien-être social pour saisir l’impact différentiel des décisions d’IA sur différents individus et groupes.

Une façon de le faire est d’utiliser l’alpha fairness, une classe paramétrique de fonctions de bien-être social qui a été étudiée en économie et en théorie du choix social pendant 70 ans. L’alpha fairness vous permet d’interpoler entre des objectifs utilitaires et égalitaires avec un seul paramètre alpha, qui contrôle le degré d’aversion à l’inégalité.

Lorsque alpha vaut 0, la fonction de bien-être social se réduit à l’utilitarisme classique, maximisant la somme des utilités sans tenir compte de la distribution. À mesure qu’alpha augmente, plus de poids est accordé aux plus défavorisés, et l’allocation devient plus équitable. À la limite, lorsque alpha tend vers l’infini, l’alpha fairness converge vers le principe rawlsien du « maximin » qui maximise l’utilité de l’individu le plus mal loti.

Dans leur article de la CPAIOR 2024, les chercheurs utilisent l’alpha fairness comme lentille pour examiner trois métriques de parité statistique populaires :

• Parité démographique
• Odds égalisés
• Parité de taux prédictif

Ils simulent une variété de scénarios où un système d’IA doit allouer une ressource limitée (par exemple, des prêts, des entretiens d’embauche, des opportunités éducatives) parmi une population d’individus ayant des taux de qualification et des fonctions d’utilité différents.

Les résultats sont surprenants. Dans de nombreux cas, l’allocation alpha-fair diffère significativement des solutions proposées par les métriques de parité.

La parité démographique, qui exige des taux de sélection égaux entre les groupes, ne tient souvent pas compte du fait que les groupes défavorisés obtiennent une utilité marginale plus élevée lorsqu’ils sont sélectionnés. Par conséquent, elle conduit à des allocations qui ne sont ni efficaces ni équitables.

Les odds égalisés, qui comparent les taux de sélection uniquement parmi les individus « qualifiés », font légèrement mieux mais échouent toujours dans les scénarios où les erreurs de faux négatifs (c’est‑à‑dire les individus qualifiés rejetés) sont plus coûteuses que les faux positifs.

La parité de taux prédictif, qui égalise la fraction d’individus sélectionnés qui sont qualifiés, a une utilité limitée et n’est applicable que lorsque le nombre d’individus sélectionnés est supérieur au nombre de candidats réellement qualifiés.

Ces résultats montrent les limites fondamentales et les angles morts des métriques de parité statistique en tant que méthode principale pour évaluer et imposer l’équité algorithmique.

En ignorant les enjeux réels de bien-être des décisions d’IA et l’impact différentiel sur différents groupes, ces métriques peuvent conduire à des systèmes qui perpétuent voire aggravent les inégalités existantes. Elles manquent également de justification normative et de cohérence, car différents critères de parité produisent souvent des recommandations conflictuelles en pratique.

En revanche, l’optimisation du bien-être social offre une méthode fondée et unifiée pour naviguer les compromis entre équité et efficacité dans les systèmes d’IA. Elle vise à rendre explicites les jugements de valeur et les hypothèses éthiques dans le choix de la fonction de bien-être social afin de permettre aux développeurs et aux décideurs d’avoir des conversations plus transparentes et responsables sur l’impact distributif de la prise de décision algorithmique.

De plus, des travaux récents ont montré que l’optimisation du bien-être social peut être facilement intégrée dans le flux de travail standard de l’apprentissage automatique, soit comme une étape de post‑traitement, soit directement dans l’objectif d’entraînement lui‑même.

Par exemple, dans le « Algorithmic decision making and the cost of fairness, les chercheurs proposent une technique de régularisation qui ajoute un terme de bien-être social à la fonction de perte de tout modèle de classification ou de régression afin que le système puisse apprendre des règles de décision équitables qui maximisent à la fois la précision et le bien-être. Ustun et al. ont introduit une méthode de post‑traitement qui prend la sortie de tout modèle pré‑entraîné et trouve les décisions maximisant le bien-être sous diverses contraintes d’équité.

Ces résultats techniques montrent que l’optimisation du bien-être social est une méthode réalisable et pratique pour construire des systèmes d’IA équitables et justes. Les développeurs peuvent utiliser ces puissantes techniques d’optimisation et ces packages logiciels basés sur une fonction objective claire et calculable qui saisit les considérations normatives de ce cadre afin de trouver des allocations qui équilibrent les critères concurrents.

Cependant, réaliser le plein potentiel de l’optimisation du bien-être social en pratique nécessite également de relever un certain nombre de défis et de limitations difficiles. L’un des plus grands est la difficulté d’élucider et de construire des fonctions d’utilité individuelles qui capturent l’impact complexe et multidimensionnel des décisions d’IA sur la vie humaine. Cela nécessite un engagement profond avec les parties prenantes affectées et les experts du domaine afin de comprendre les facteurs contextuels qui façonnent les préférences, les valeurs et le bien-être des personnes.

Il existe également des questions théoriques et philosophiques concernant la comparabilité interpersonnelle de l’utilité, l’incertitude et la dynamique, ainsi que la manière d’agréger les utilités individuelles en une mesure collective de bien-être social. Les différentes fonctions de bien-être social font des hypothèses différentes à ce sujet, et il n’existe aucun consensus universel sur celle qui est la plus défendable ou appropriée dans un contexte donné.

De plus, comme pour toute approche basée sur l’optimisation, il existe un risque que les objectifs maximisés ne saisissent pas pleinement toutes les considérations éthiques pertinentes, ou qu’ils être biaisés par des préjugés et des angles morts dans les données et les modèles utilisés pour estimer les utilités. Il est essentiel d’avoir des processus bien réfléchis de participation des parties prenantes, de transparence et de responsabilité afin de garantir que les critères de bien-être soient optimisés pour s’aligner sur les valeurs et les priorités des communautés concernées.

Malgré ces défis, les avantages de l’optimisation du bien-être social pour l’équité algorithmique sont trop importants pour être ignorés. Néanmoins, les développeurs d’IA et les décideurs peuvent aller au-delà de la parité statistique grâce à une méthode fondée et flexible pour équilibrer l’équité et l’efficacité de cette approche. En fin de compte, cela conduira à une notion d’équité plus holistique et conséquentialiste basée sur le bien-être humain.

Cliquez ici pour découvrir comment l’IA peut garantir l’authenticité. 

Le cas d’utilisation n° 1 : Prêt équitable

Pour illustrer les promesses et les défis de l’optimisation du bien-être social en pratique, considérons le domaine à enjeux élevés du prêt algorithmique. Ces dernières années, de nombreuses banques et fintechs ont adopté des modèles d’apprentissage automatique pour automatiser et accélérer les décisions de crédit. Ces modèles utilisent d’énormes quantités de données personnelles et financières pour prédire la probabilité qu’un demandeur de prêt fasse défaut, permettant ainsi aux prêteurs de prendre des décisions de souscription plus rapides et plus efficaces.

Cependant, des preuves croissantes montrent que ces systèmes de prêt algorithmique perpétuent et amplifient les biais historiques et les disparités d’accès au crédit. Des études ont démontré que les emprunteurs noirs et latinos sont plus susceptibles de se voir refuser des prêts ou de se voir imposer des taux d’intérêt plus élevés que les emprunteurs blancs tout aussi qualifiés, même en contrôlant les facteurs de risque traditionnels tels que le revenu, le score de crédit et le statut d’emploi.

En réponse à ces préoccupations, certains prêteurs peuvent se tourner vers des méthodes de parité statistique comme la parité démographique et les odds égalisés pour atténuer les biais dans leurs modèles de souscription IA. L’idée est d’égaliser les taux d’approbation de prêts ou les taux de défaut entre les groupes protégés afin que les modèles traitent tous les candidats de manière égale, quelle que soit leur race ou leur origine ethnique.

Bien que ces approches basées sur la parité puissent sembler intuitives, elles ne saisissent pas la complexité de la solvabilité et l’impact différentiel de l’accès au crédit sur le bien-être des communautés marginalisées. Un nombre croissant de recherches suggèrent que les notions simplistes d’équité basées sur l’égalisation des résultats peuvent en réalité se retourner contre les groupes mêmes qu’elles sont destinées à protéger.

Par exemple, un article de 2018 note que l’application de contraintes de parité démographique à une règle de décision maximisant l’utilité nécessite généralement l’utilisation de variables sensibles comme la race à la fois lors de l’entraînement du modèle et de la prise de décision. Cela implique que les tentatives de satisfaire les contraintes de parité en n’utilisant la race que pendant l’entraînement, connues sous le nom de « processus d’apprentissage disparate », seront sous‑optimales.

De plus, les critères d’équité basés sur la parité ignorent le fait que les préjudices liés au refus de crédit ne sont pas répartis uniformément dans la population. Pour les emprunteurs à faible revenu et minoritaires qui ont historiquement été exclus des services financiers traditionnels, être refusé un prêt peut avoir des conséquences dévastatrices, les piégeant dans des cycles de pauvreté et de dettes prédateurs. Pour les candidats plus aisés et privilégiés, ils peuvent disposer de sources de capitaux alternatives et être moins affectés par une décision de crédit défavorable.

L’optimisation du bien-être social propose une approche alternative qui intègre directement ces enjeux de bien-être différentiel dans la conception d’algorithmes de prêt équitable. Les prêteurs peuvent développer des modèles de crédit qui maximisent le bien-être global tout en assurant une distribution plus équitable des opportunités en définissant une fonction de bien-être social qui capture les coûts et bénéfices relatifs de l’accès au prêt pour différents individus et groupes.

Par exemple, considérez une fonction de bien-être social qui priorise le bien-être des candidats les moins avantagés, en accordant plus de poids aux gains d’utilité des emprunteurs à faible revenu et minoritaires. Cela pourrait être formalisé en utilisant une fonction d’alpha fairness avec une valeur d’alpha modérément élevée, indiquant une forte préférence pour l’équité sur l’efficacité.

Dans le cadre de cet objectif de bien-être social, la politique de prêt optimale impliquerait probablement de prêter davantage aux groupes marginalisés même si leurs taux de remboursement prévus, en moyenne, sont légèrement plus bas. Cela s’explique par le fait que les gains de bien-être provenant du prêt à ces communautés sous‑servies (par ex., leur permettre d’acheter une maison, de créer une entreprise ou de poursuivre des études) peuvent compenser le risque accru de défaut du point de vue sociétal.

Bien sûr, la mise en œuvre d’un tel système de prêt maximisant le bien-être en pratique nécessiterait de surmonter d’importants défis de données et de modélisation. Les prêteurs devraient collecter des données granulaires sur les caractéristiques socio‑économiques et les besoins financiers des demandeurs de prêt ainsi que sur les impacts à long terme de l’accès au crédit sur leur bien-être. Ils devraient également s’engager avec les communautés concernées afin de garantir que les critères de bien-être soient optimisés pour s’aligner sur leurs valeurs et priorités.

De plus, il peut exister d’importantes considérations juridiques et réglementaires concernant l’utilisation d’informations sur les classes protégées (par ex., race, genre, âge) pour prendre des décisions de prêt, même si l’objectif est de promouvoir l’équité. Les décideurs devraient fournir des orientations claires sur la manière dont les lois anti‑discrimination s’appliquent dans le contexte de l’optimisation du bien-être social et créer des zones de sécurité pour les prêteurs qui utilisent ces techniques de manière transparente et responsable.

Malgré les défis, cela en vaut la peine. L’optimisation du bien-être social peut aider à promouvoir l’inclusion financière et à réduire l’écart de richesse raciale en permettant aux prêteurs de prendre des décisions de crédit plus holistiques et conscientes du bien-être, de rediriger le flux de capitaux vers les communautés traditionnellement sous‑servies et de les autonomiser économiquement. Elle peut également offrir une manière plus fondée et transparente de naviguer les compromis entre équité et efficacité dans le prêt, ancrée dans les impacts réels sur la vie des emprunteurs.

Mettre cela en perspective

Comme le montre l’exemple du prêt, l’optimisation du bien-être social représente une frontière de l’équité algorithmique qui dépasse la parité statistique et se dirige vers une notion plus holistique et conséquentialiste de l’équité basée sur le bien-être humain.

Cette approche peut aider les développeurs d’IA et les décideurs à prendre des décisions plus fondées et responsables concernant la conception et le déploiement de systèmes algorithmiques dans des domaines à enjeux élevés. Ils peuvent le faire en définissant et en maximisant une fonction de bien-être social qui reflète des jugements moraux réfléchis sur la distribution des bénéfices et des charges.

Cependant, réaliser le plein potentiel de l’optimisation du bien-être social en pratique nécessitera beaucoup de travail interdisciplinaire. Les informaticiens et les spécialistes de l’éthique de l’IA devront collaborer avec des économistes, philosophes, experts juridiques et communautés concernées pour relever les défis normatifs et techniques de définition et de calcul des fonctions de bien-être social. Cela inclut des questions difficiles concernant la mesure et l’agrégation de l’utilité individuelle, l’incertitude et la dynamique, ainsi que le bon compromis entre efficacité et équité dans différents contextes.

De plus, les décideurs et les régulateurs doivent fournir davantage d’orientations et créer un environnement dans lequel l’IA consciente du bien-être peut être développée et déployée. Cela peut signifier la mise à jour des lois et réglementations anti‑discrimination existantes pour répondre au défi de l’optimisation du bien-être social et la création de nouveaux cadres de gouvernance et mécanismes de supervision pour la transparence, la responsabilité et l’engagement public dans la conception et l’utilisation de ces systèmes.

En fin de compte, le passage à l’optimisation du bien-être social en IA doit être accompagné d’efforts plus larges pour s’attaquer aux inégalités structurelles sous‑jacentes et aux déséquilibres de pouvoir qui façonnent le développement et l’impact de la technologie dans la société.

Les interventions d’équité algorithmique, aussi bien conçues soient-elles, ne peuvent pas remplacer des réformes plus fondamentales visant à promouvoir la justice sociale et économique, telles que l’investissement dans l’éducation, la santé, le logement et les infrastructures dans les communautés marginalisées.

Comme le disent Hooker et ses collègues dans leur article de la CPAIOR 2024 :

“L’optimisation du bien-être social offre de nouvelles façons de concevoir des systèmes algorithmiques justes et bons. Il reste beaucoup de travail à faire pour développer et opérationnaliser ces approches, mais nous pensons qu’elles constituent une voie d’avenir pour l’éthique de l’IA. Nous pouvons parvenir à une manière plus holistique et moralement sérieuse de construire des systèmes d’apprentissage automatique qui servent l’ensemble de la société en encadrant nos notions d’équité dans le langage de l’économie du bien-être et en traitant explicitement les conséquences distributives de notre technologie.”

Dans l’ensemble, pour parvenir à une IA réellement équitable, nous devons nous assurer que ces approches sont rigoureusement testées et affinées dans des scénarios réels, incarnant un engagement envers la justice et le bien-être sociétal.

Cliquez ici pour tout savoir sur l’investissement dans l’intelligence artificielle.