Het opnieuw beoordelen van de rechtvaardigheid van kunstmatige intelligentie via sociale welzijnsoptimalisatie

Naarmate AI-systemen meer worden gebruikt en krachtiger worden, is de vraag hoe ze eerlijk en rechtvaardig kunnen worden gemaakt het grootste uitdaging geworden. Van leningen en werving tot gezondheidszorg en strafrecht, hebben AI-algoritmen nu het leven en de middelen van individuen en gemeenschappen onder controle. Vaak werken deze algoritmen op manieren die onzichtbaar, onverantwoordelijk en soms zelfs bevooroordeeld tegen historisch benadeelde groepen.

Als reactie op deze zorgen, hebben onderzoekers, beoefenaars en beleidsmakers zich verenigd om “eerlijke” AI-systemen te ontwikkelen die iedereen gelijk behandelen en geen sociale ongelijkheden in stand houden of versterken. De dominante aanpak voor het formaliseren en operationaliseren van rechtvaardigheid in AI is het gebruik van “statistische pariteitsmetrieken”, die bepaalde prestatiekenmerken zoals selectiecijfers of foutcijfers over beschermde groepen gelijk willen maken.

Hoewel pariteitsgebaseerde noties van rechtvaardigheid breed zijn bestudeerd en geadopteerd in de AI-gemeenschap, zijn ze ook steeds vaker bekritiseerd door onderzoekers die beweren dat ze conceptueel gebrekkig, praktisch beperkt en potentieel contraproductief zijn. Zij beweren dat het simpelweg gelijk maken van statistische resultaten tussen groepen niet voldoende is om wezenlijke rechtvaardigheid te bereiken, omdat het de werkelijke welzijnsimpact van AI-beslissingen op individuen en gemeenschappen negeert.

In een nieuw artikel in de CPAIOR 2024-proceedings, stellen onderzoekers van de Carnegie Mellon University en de Stevens Institute of Technology een alternatieve aanpak voor AI-rechtvaardigheid voor op basis van sociale welzijnsoptimalisatie. Onder leiding van John Hooker, professor in operations research aan de Carnegie Mellon University, gebruiken de auteurs de bekende sociale welzijnsfunctie “alpha-rechtvaardigheid” om de beperkingen en blinde vlekken van populaire statistische pariteitsmetrieken zoals demografische pariteit, gelijke kansen en voorspellingspariteit te onderzoeken.

Hun resultaten laten zien dat deze pariteitsmetrieken vaak niet overeenkomen met principes van distributieve rechtvaardigheid zoals het prioriteren van de meest benadeelden of een eerlijke verdeling van voordelen en lasten. In veel gevallen is de alpha-rechtvaardige oplossing ver verwijderd van de pariteitoplossing, zodat deze metrieken kunnen leiden tot AI-systemen die suboptimaal zijn vanuit zowel efficiëntie als rechtvaardigheid.

Dit heeft grote gevolgen voor het veld van AI-ethiek en de inspanningen om machine learning-systemen te bouwen die menselijke waarden en sociale rechtvaardigheid respecteren. Het betekent dat we een meer omvattende en nuanceerde aanpak van algoritme-rechtvaardigheid nodig hebben die verder gaat dan statistische metrieken en de morele compromissen van AI in hoge-inzetdomeinen aanpakt: Sociale welzijnsoptimalisatie.

Sociale welzijnsoptimalisatie begrijpen

In essentie is sociale welzijnsoptimalisatie een heel andere paradigma voor het denken over en operationaliseren van rechtvaardigheid in AI. In plaats van smal te focussen op het gelijk maken van bepaalde metrieken tussen groepen, neemt het een stap terug en overweegt het de bredere maatschappelijke impact van AI-beslissingen op menselijk welzijn en welvaart.

Het idee is om AI-systemen te ontwerpen die expliciet streven naar het maximaliseren van een sociale welzijnsfunctie die de nutsfuncties (d.w.z. voordelen en kosten) die door alle betrokken individuen worden ervaren, agregereert in een enkele maatstaf voor sociaal goed. Volgens deze aanpak kunnen AI-beoefenaars algoritmen bouwen die concurrerende doelstellingen in evenwicht brengen door een sociale welzijnsfunctie te specificeren die morele oordelen over de relatieve importantie van efficiëntie en rechtvaardigheid weerspiegelt.

Sociale welzijnsoptimalisatie heeft zijn wortels in de welvaartseconomie, die een lange geschiedenis heeft van omgaan met distributieve rechtvaardigheid en collectief beslissen. Economen en filosofen hebben verschillende sociale welzijnsfuncties voorgesteld die verschillende ethische principes en waarderingsoordelen weerspiegelen, zoals utilitarisme (maximaliseren van de som van nuts), prioritarisme (meer gewicht geven aan nutsvermeerdering voor de meest benadeelden) en egalitarisme (minimaliseren van ongelijkheid).

In recente jaren zijn een groeiend aantal AI-onderzoekers begonnen met het onderzoeken van sociale welzijnsoptimalisatie als een manier om rechtvaardigheid in machine learning-systemen in te bedden. Dit werk bouwt voort op artikelen getiteld “Algorithmic decision making and the cost of fairness” door Heidari et al. en Corbett-Davies en Goel, die voor het eerst het idee introduceerden om sociale welzijnsfuncties te gebruiken om de differentiële impact van AI-beslissingen op verschillende individuen en groepen te vangen.

Een manier om dit te doen is met alpha-rechtvaardigheid, een parameterklasse van sociale welzijnsfuncties die 70 jaar in de economie en sociale keuze is bestudeerd. Alpha-rechtvaardigheid laat je interpoleren tussen utilitaire en egalitaire doelstellingen met één parameter alpha, die de mate van afkeer van ongelijkheid controleert.

Wanneer alpha 0 is, wordt de sociale welzijnsfunctie teruggebracht tot klassiek utilitarisme, waarbij de som van nuts wordt gemaximaliseerd zonder rekening te houden met de verdeling. Naarmate alpha toeneemt, wordt meer gewicht gegeven aan de meest benadeelden, en wordt de toewijzing meer eerlijk. In de limiet, wanneer alpha oneindig wordt, convergeert alpha-rechtvaardigheid naar het Rawlsiaanse “maximin”-principe van maximaliseren van de nuts van het meest benadeelde individu.

In hun CPAIOR 2024-artikel gebruiken onderzoekers alpha-rechtvaardigheid als een lens om drie populaire statistische pariteitsmetrieken te onderzoeken:

• Demografische pariteit
• Gelijke kansen
• Voorspellingspariteit

Zij simuleren een reeks scenario’s waarin een AI-systeem een beperkte bron (bijv. leningen, sollicitatiegesprekken, onderwijskansen) moet toewijzen aan een populatie van individuen met verschillende kwalificatiesnelheden en nutsfuncties.

De resultaten zijn verrassend. In veel gevallen verschilt de alpha-rechtvaardige toewijzing aanzienlijk van de oplossingen die door de pariteitsmetrieken worden voorgesteld.

Demografische pariteit, die gelijke selectiecijfers over groepen vereist, faalt vaak om rekening te houden met het feit dat benadeelde groepen meer marginale nuts uit de selectie halen. Daarom leidt het tot toewijzingen die noch efficiënt noch eerlijk zijn.

Gelijke kansen, die selectiecijfers alleen onder “gekwalificeerde” individuen vergelijken, doen iets beter maar falen nog steeds in scenario’s waarin vals negatieve fouten (d.w.z. gekwalificeerde individuen worden afgewezen) duurder zijn dan vals positieve fouten.

Voorspellingspariteit, die de fractie van geselecteerde individuen die gekwalificeerd zijn, gelijk maakt, is van beperkt nut en alleen toepasbaar wanneer het aantal geselecteerde individuen groter is dan het aantal werkelijk gekwalificeerde kandidaten.

Deze resultaten laten de fundamentele beperkingen en blinde vlekken van statistische pariteitsmetrieken zien als de primaire manier om algoritme-rechtvaardigheid te beoordelen en af te dwingen.

Door de werkelijke welzijnsstake van AI-beslissingen en de differentiële impact op verschillende groepen te negeren, kunnen deze metrieken leiden tot systemen die bestaande ongelijkheden in stand houden of zelfs versterken. Zij ontberen ook normatieve rechtvaardiging en consistentie, aangezien verschillende pariteitscriteria vaak conflicterende aanbevelingen opleveren in de praktijk.

In tegenstelling tot sociale welzijnsoptimalisatie biedt een principiële en geünificeerde manier om de compromissen tussen rechtvaardigheid en efficiëntie in AI-systemen te navigeren. Het streeft ernaar om de waardeoordelen en ethische aannamen in de keuze van de sociale welzijnsfunctie expliciet te maken, zodat ontwikkelaars en beleidsmakers meer transparante en verantwoorde gesprekken kunnen voeren over de distributieve impact van algoritme-beslissingen.

Bovendien heeft recent onderzoek aangetoond dat sociale welzijnsoptimalisatie gemakkelijk in de standaard machine learning-workflow kan worden geïntegreerd, hetzij als een post-processingstap of rechtstreeks in het trainingsdoel zelf.

Bijvoorbeeld, in de “Algorithmic decision making and the cost of fairness,” stellen onderzoekers een regulierungstechniek voor die een sociale welzijnsfunctie aan de verliesfunctie van elk classificatie- of regressiemodel toevoegt, zodat het systeem eerlijke beslissingsregels kan leren die zowel nauwkeurigheid als welzijn maximaliseren. Ustun et al. introduceerden een post-processingmethode die de output van een vooraf getraind model neemt en de welzijnsmaximaliserende beslissingen vindt onderworpen aan verschillende rechtvaardigheidsbeperkingen.

Deze technische resultaten laten zien dat sociale welzijnsoptimalisatie een haalbare en praktische manier is om eerlijke en rechtvaardige AI-systemen te bouwen. Ontwikkelaars kunnen deze krachtige optimalisatietechnieken en softwarepakketten op basis van een duidelijke en berekenbare doelfunctie gebruiken die de normatieve overwegingen van dit kader weerspiegelt om toewijzingen te vinden die concurrerende criteria in evenwicht brengen.

Maar het realiseren van het volledige potentieel van sociale welzijnsoptimalisatie in de praktijk vereist ook het aanpakken van een aantal moeilijke uitdagingen en beperkingen. Een van de grootste is de moeilijkheid van het afleiden en construeren van individuele nutsfuncties die de complexe, multidimensionale impact van AI-beslissingen op menselijke levens vangen. Dit vereist diepe betrokkenheid met betrokken stakeholders en domeinexperts om de contextuele factoren te begrijpen die mensen’s voorkeuren, waarden en welzijn vormen.

Er zijn ook theoretische en filosofische vragen over de interpersoonlijke vergelijkbaarheid van nuts, onzekerheid en dynamiek, evenals hoe individuele nutsfuncties in een collectieve sociale welzijnsmaatstaf kunnen worden geaggregeerd. Verschillende sociale welzijnsfuncties maken verschillende aannamen over deze, en er is geen universele consensus over welke het meest verdedigbaar of passend is in een bepaalde context.

Bovendien, zoals bij elke optimalisatie-gebaseerde aanpak, is er een risico dat de doelstellingen die worden gemaximaliseerd niet alle relevante ethische overwegingen vangen, of dat ze zijn vertekend door vooroordelen en blinde vlekken in de data en modellen die worden gebruikt om nutsfuncties te schatten. Het is essentieel om goed doordachte processen van stakeholderparticipatie, transparantie en verantwoording te hebben om ervoor te zorgen dat de welzijnscriteria zijn geoptimaliseerd om te worden afgestemd op de waarden en prioriteiten van de betrokken gemeenschappen.

Ondanks deze uitdagingen zijn de voordelen van sociale welzijnsoptimalisatie voor algoritme-rechtvaardigheid te groot om te negeren. Niettemin kunnen AI-ontwikkelaars en beleidsmakers verder gaan dan statistische pariteit via een principiële en flexibele manier om de compromissen tussen rechtvaardigheid en efficiëntie in AI-systemen te balanceren. Uiteindelijk zal dit leiden tot een meer holistische en gevolg-georiënteerde notie van rechtvaardigheid op basis van menselijk welzijn en welvaart.

Klik hier om te leren hoe AI authenticiteit kan garanderen. 

Het #1-gebruiksgeval: Eerlijke lening

Om de belofte en uitdagingen van sociale welzijnsoptimalisatie in de praktijk te laten zien, laten we het hoge-inzetdomein van algoritme-lening overwegen. In recente jaren hebben veel banken en fintech-bedrijven machine learning-modellen geadopteerd om kredietbeslissingen te automatiseren en te versnellen. Deze modellen gebruiken grote hoeveelheden persoonlijke en financiële gegevens om de kans te voorspellen dat een leningaanvrager in gebreke blijft, zodat kredietverstrekkers snellere en efficiëntere onderhandse beslissingen kunnen nemen.

Er is echter groeiend bewijs dat deze algoritmische leningssystemen historische vooroordelen en ongelijkheden in de toegang tot krediet in stand houden en versterken. Studies hebben aangetoond dat zwarte en latino-aanvragers vaker leningen worden geweigerd of hogere rentetarieven worden aangerekend dan vergelijkbaar gekwalificeerde blanke aanvragers, zelfs wanneer traditionele risicofactoren zoals inkomen, kredietwaardigheid en werkstatus worden gecontroleerd.

Als reactie op deze zorgen kunnen sommige kredietverstrekkers gebruikmaken van statistische pariteitsmethoden zoals demografische pariteit en gelijke kansen om vooroordelen in hun AI-onderhandse modellen te mitigeren. Het idee is om leninggoedkeuringscijfers of defaultcijfers over beschermde groepen te gelijktrekken, zodat de modellen alle aanvragers gelijk behandelen, ongeacht ras of etniciteit.

Hoewel deze pariteitsgebaseerde benaderingen intuïtief lijken, vangen ze de complexiteit van kredietwaardigheid en de differentiële impact van krediettoegang op de welvaart van gemarginaliseerde gemeenschappen niet. Een groeiend aantal onderzoeken suggereert dat eenvoudige noties van rechtvaardigheid op basis van gelijktrekken van resultaten kunnen terugvallen en de groepen schaden die ze bedoelen te beschermen.

Bijvoorbeeld, een artikel uit 2018 merkt op dat het afdwingen van demografische pariteitsbeperkingen op een nutsmaximaliserende beslissingsregel over het algemeen vereist dat gevoelige variabelen zoals ras zowel tijdens de modeltraining als tijdens de beslissing worden gebruikt. Dit impliceert dat pogingen om pariteitsbeperkingen te vervullen door ras alleen tijdens de training te gebruiken, bekend als “disparate learning processes”, suboptimaal zullen zijn.

Bovendien negeren pariteitsgebaseerde rechtvaardigheidscriteria het feit dat de schade van het worden geweigerd voor een lening niet gelijkmatig over de populatie is verdeeld. Voor lage-inkomens- en minderheidsgroepen die historisch zijn uitgesloten van mainstream financiële diensten, wordt het geweigerd voor een lening kunnen verwoestende gevolgen hebben, waardoor ze in cycli van armoede en roofzuchtige schuld worden gevangen. Voor meer welvarende en bevoorrechte aanvragers kunnen ze alternatieve bronnen van kapitaal hebben en minder worden beïnvloed door een ongunstige kredietbeslissing.

Sociale welzijnsoptimalisatie biedt een alternatieve aanpak die deze differentiële welzijnsstake rechtstreeks in de ontwerp van eerlijke leningalgoritmen incorporeert. Kredietverstrekkers kunnen kredietmodellen ontwikkelen die de totale welvaart maximaliseren en tegelijkertijd een meer eerlijke verdeling van kansen garanderen door een sociale welzijnsfunctie te definiëren die de relatieve kosten en voordelen van krediettoegang voor verschillende individuen en groepen weerspiegelt.

Bijvoorbeeld, overweeg een sociale welzijnsfunctie die de welvaart van de minst begunstigde aanvragers prioriteert, waarbij meer gewicht wordt gegeven aan de nutsvermeerdering voor lage-inkomens- en minderheidsgroepen. Dit kan worden geformaliseerd met een alpha-rechtvaardigheidsfunctie met een matig hoge waarde van alpha, wat een sterke voorkeur voor rechtvaardigheid boven efficiëntie aangeeft.

Onder deze sociale welzijnsobjectief zou het optimale leningsbeleid waarschijnlijk het verstrekken van meer leningen aan gemarginaliseerde groepen omvatten, zelfs als hun voorspelde terugbetalingscijfers gemiddeld iets lager zijn. Dit is omdat de welzijnsvoordelen van het verstrekken van leningen aan deze onderbediende gemeenschappen (bijv. het mogelijk maken voor hen om een huis te kopen, een bedrijf te starten of onderwijs te volgen) de verhoogde kans op wanbetaling vanuit een maatschappelijk perspectief kunnen overtreffen.

Natuurlijk zou het implementeren van een dergelijk welzijnsmaximaliserend leningsysteem in de praktijk het overwinnen van significante dataverzameling- en modellering-uitdagingen vereisen. Kredietverstrekkers zouden gedetailleerde gegevens over de sociaaleconomische kenmerken en financiële behoeften van leningaanvragers moeten verzamelen, evenals de downstream-gevolgen van krediettoegang op hun welzijn over tijd. Zij zouden ook moeten participeren met betrokken gemeenschappen om ervoor te zorgen dat de welzijnscriteria zijn geoptimaliseerd om te worden afgestemd op hun waarden en prioriteiten.

Bovendien kunnen er belangrijke juridische en regelgevende overwegingen zijn rond het gebruik van gevoelige groepsinformatie (bijv. ras, geslacht, leeftijd) bij het nemen van leningsbeslissingen, zelfs als het doel is om rechtvaardigheid te bevorderen. Beleidsmakers zouden duidelijke richtlijnen moeten verstrekken over hoe anti-discriminatiewetten van toepassing zijn in de context van sociale welzijnsoptimalisatie en veilige havens moeten creëren voor kredietverstrekkers die deze technieken op een transparante en verantwoorde manier gebruiken.

Ondanks de uitdagingen is het de moeite waard. Sociale welzijnsoptimalisatie kan financiële inclusie bevorderen en de raciale welvaartskloof helpen dichten door kredietverstrekkers in staat te stellen meer holistische en welzijnsgeoriënteerde kredietbeslissingen te nemen, de stroom van kapitaal naar traditioneel onderbediende gemeenschappen te heroriënteren en hen economisch te empoweren. Het kan ook een meer principiële en transparante manier bieden om de compromissen tussen rechtvaardigheid en efficiëntie in leningen te navigeren, die is geworteld in de werkelijke gevolgen voor het leven van de aanvragers.

In perspectief plaatsen

Zoals het leningsvoorbeeld laat zien, is sociale welzijnsoptimalisatie een frontier voor algoritme-rechtvaardigheid die verder gaat dan statistische pariteit en naar een meer holistische en gevolg-georiënteerde notie van rechtvaardigheid op basis van menselijk welzijn en welvaart.

Deze aanpak kan AI-ontwikkelaars en beleidsmakers helpen meer principiële en verantwoorde beslissingen te nemen over het ontwerp en de inzet van algoritme-systemen in hoge-inzetdomeinen. Zij kunnen dit doen door een sociale welzijnsfunctie te definiëren en te maximaliseren die morele oordelen over de verdeling van voordelen en lasten weerspiegelt.

Echter, het realiseren van het volledige potentieel van sociale welzijnsoptimalisatie in de praktijk vereist een grote hoeveelheid interdisciplinair werk. Computerwetenschappers en AI-ethici zullen moeten samenwerken met economen, filosofen, juridische experts en betrokken gemeenschappen om de normatieve en technische uitdagingen van het definiëren en berekenen van sociale welzijnsfuncties aan te pakken. Dit omvat moeilijke vragen over individuele nutsmeting en aggregatie, onzekerheid en dynamiek, evenals hoe de juiste balans tussen efficiëntie en rechtvaardigheid in verschillende contexten te vinden.

Bovendien moeten beleidsmakers en regelgevers meer richtlijnen en een omgeving creëren waarin welzijnsgeoriënteerde AI kan worden ontwikkeld en ingezet. Dit kan betekenen dat bestaande anti-discriminatiewetten en regelgevingen worden bijgewerkt om de sociale welzijnsoptimalisatie-uitdaging aan te pakken en nieuwe governance-kaders en toezichtmechanismen voor transparantie, verantwoording en publieke participatie in het ontwerp en de inzet van deze systemen te creëren.

Uiteindelijk moet de verschuiving naar sociale welzijnsoptimalisatie in AI worden begeleid door bredere inspanningen om de onderliggende structurele ongelijkheden en machtsonevenwichtigheden aan te pakken die de ontwikkeling en impact van technologie in de samenleving vormen.

Algoritme-rechtvaardigheidsinterventies, hoe goed ze ook zijn ontworpen, kunnen niet vervangen door meer fundamentele hervormingen om sociale en economische rechtvaardigheid te bevorderen, zoals investeren in onderwijs, gezondheidszorg, huisvesting en infrastructuur in gemarginaliseerde gemeenschappen.

Zoals Hooker en zijn collega’s zeggen in hun CPAIOR 2024-artikel:

“Sociale welzijnsoptimalisatie biedt nieuwe manieren om eerlijke en goede algoritme-systemen te ontwerpen. Er moet nog veel werk worden verzet om deze benaderingen te ontwikkelen en te operationaliseren, maar wij denken dat ze een manier vooruit zijn voor AI-ethiek. Wij kunnen een meer holistische en moreel serieuzere manier van machine learning-systemen bouwen die de hele samenleving dienen door onze noties van rechtvaardigheid te formuleren in de taal van de welvaartseconomie en expliciet omgaan met de distributieve gevolgen van onze technologie.”

Al met al, om echt eerlijke AI te bereiken, moeten we ervoor zorgen dat deze benaderingen grondig worden getest en verfijnd in real-world scenario’s, met een toewijding aan rechtvaardigheid en maatschappelijk welzijn.

Klik hier om alles te leren over investeren in kunstmatige intelligentie.