Omvärdering av artificiell intelligens rättvisa genom social välfärdsoptimering

Allt eftersom AI-system blir mer utbredda och kraftfulla har frågan om hur man kan göra dem rättvisa och rättfärdiga blivit den största utmaningen. Från långivning och anställning till hälsovård och straffrätt har AI-algoritmer nu börjat kontrollera liv och försörjning för individer och samhällen. Ofta fungerar dessa algoritmer på sätt som är osynliga, oansvariga och till och med fördomsfulla mot historiskt missgynnade grupper.

Som svar på dessa problem har en gemenskap av forskare, praktiker och beslutsfattare kommit samman för att utveckla “rättvisa” AI-system som behandlar alla lika och inte upprätthåller eller förstärker samhälleliga ojämlikheter. Den dominerande metoden för att formalisera och operationalisera rättvisa i AI har varit att använda “statistiska paritetsmått”, som syftar till att jämna ut vissa prestandamått som urvalsfrekvenser eller felrater mellan skyddade grupper.

Men medan paritetsbaserade begrepp för rättvisa har studerats och antagits i AI-samhället, har de också mött ökande kritik från forskare som hävdar att de är konceptuellt felaktiga, praktiskt begränsade och potentiellt kontraproduktiva. De hävdar att det enbart att jämna ut statistiska resultat mellan grupper inte räcker för att uppnå substantiell rättvisa eftersom det ignorerar den faktiska välfärdsinverkan av AI-beslut på individer och samhällen.

I en ny artikel i CPAIOR 2024-proceedings föreslår en grupp forskare från Carnegie Mellon University och Stevens Institute of Technology en alternativ metod för AI-rättvisa baserad på social välfärdsoptimering. Ledda av John Hooker, professor i operationsforskning vid Carnegie Mellon University, använder författarna den välkända sociala välfärdsfunktionen “alpha-rättvisa” för att dissekera begränsningarna och blindfläckarna i populära statistiska paritetsmått som demografisk paritet, equaliserade odds och prediktiv ratparitet.

Deras resultat visar att dessa paritetsmått ofta inte överensstämmer med distributiv rättvisa principer som att prioritera de sämst ställda eller en rättvis fördelning av fördelar och bördor. I många fall är alpha-rättvis lösningen långt ifrån paritetslösningen, så dessa mått kan leda till AI-system som är underoptimala från både effektivitet och rättvisesynpunkt.

Detta har stora implikationer för området AI-etik och ansträngningarna att bygga maskinlärningssystem som respekterar mänskliga värderingar och social rättvisa. Det betyder att vi behöver en mer omfattande och nyanserad metod för algoritmisk rättvisa som går utöver statistiska mått och hanterar de moraliska avvägningarna av AI i högriskdomäner: Social välfärdsoptimering.

Att förstå social välfärdsoptimering

Till sin kärna är social välfärdsoptimering ett helt annat paradigm för att tänka på och operationalisera rättvisa i AI. Istället för att smalt fokusera på att jämna ut vissa mått mellan grupper, tar det ett steg tillbaka och överväger den bredare samhälleliga inverkan av AI-beslut på mänsklig välfärd och välbefinnande.

Idén är att utforma AI-system som uttryckligen syftar till att maximera en social välfärdsfunktion som sammanställer de nyttor (dvs. fördelar och kostnader) som upplevs av alla berörda individer i ett enda mått på socialt gott. Enligt denna metod kan AI-praktiker bygga algoritmer som balanserar dessa konkurrerande mål genom att specificera en social välfärdsfunktion som återger övervägda moraliska bedömningar om den relativa vikten av effektivitet och rättvisa.

Social välfärdsoptimering har sina rötter i välfärdsekonomi, som har en lång historia av att hantera distributiv rättvisa och kollektivt beslutsfattande. Ekonomer och filosofer har föreslagit olika sociala välfärdsfunktioner som återger olika etiska principer och värderingar, såsom utilitarism (maximera summan av nytta), prioritarism (ge mer vikt till nyttoökningar för de sämst ställda) och egalitarism (minimera ojämlikhet).

På senare tid har en växande mängd AI-forskare börjat utforska social välfärdsoptimering som ett sätt att införliva rättvisa i maskinlärningssystem. Detta arbete bygger på artiklar med titeln “Algorithmic decision making and the cost of fairness” av Heidari et al. och Corbett-Davies och Goel, som först introducerade idén att använda sociala välfärdsfunktioner för att fånga den differentiala inverkan av AI-beslut på olika individer och grupper.

Ett sätt att göra detta är med alpha-rättvisa, en parametrisk klass av sociala välfärdsfunktioner som har studerats i ekonomi och socialt val i 70 år. Alpha-rättvisa tillåter dig att interpolera mellan utilitaristiska och egalitära mål med en enda parameter alpha, som kontrollerar graden av avsmak för ojämlikhet.

När alpha är 0, reduceras den sociala välfärdsfunktionen till klassisk utilitarism, som maximiserar summan av nytta utan hänsyn till fördelning. När alpha ökar, ges mer vikt till de sämst ställda, och fördelningen blir mer rättvis. I gränsen, när alpha går mot oändligheten, konvergerar alpha-rättvisa till Rawls princip “maximin” om att maximera nyttan för den sämst ställda individen.

I deras CPAIOR 2024-artikel använder forskarna alpha-rättvisa som en lins för att undersöka tre populära statistiska paritetsmått:

• Demografisk paritet
• Equaliserade odds
• Prediktiv ratparitet

De simulerar en mängd olika scenarier där ett AI-system måste fördela en begränsad resurs (t.ex. lån, jobbintervjuer, utbildningsmöjligheter) bland en befolkning av individer med olika kvalifikationsnivåer och nyttofunktioner.

Resultaten är förvånande. I många fall skiljer sig alpha-rättvis fördelning avsevärt från de lösningar som föreslås av paritetsmåtten.

Demografisk paritet, som kräver lika urvalsfrekvenser över grupper, misslyckas ofta med att ta hänsyn till det faktum att missgynnade grupper får mer marginell nytta av att bli valda. Därför leder det till fördelningar som varken är effektiva eller rättvisa.

Equaliserade odds, som jämför urvalsfrekvenser endast bland “kvalificerade” individer, fungerar något bättre men misslyckas fortfarande i scenarier där falska negativa fel (dvs. kvalificerade individer som avvisas) är mer kostsamma än falska positiva.

Prediktiv ratparitet, som equaliserar andelen valda individer som är kvalificerade, är av begränsad användning och endast tillämplig när antalet valda individer är större än antalet verkligt kvalificerade kandidater.

Dessa resultat visar de grundläggande begränsningarna och blindfläckarna i statistiska paritetsmått som det primära sättet att bedöma och genomdriva algoritmisk rättvisa.

Genom att ignorera den faktiska välfärdsinverkan av AI-beslut och den differentiala inverkan på olika grupper, kan dessa mått leda till system som upprätthåller eller till och med förvärrar befintliga ojämlikheter. De saknar också normativ rättfärdigande och konsekvens, eftersom olika paritetskriterier ofta ger motsägelsefulla rekommendationer i praktiken.

I kontrast tillhandahåller social välfärdsoptimering ett principiellt och enhetligt sätt att navigera avvägningarna mellan rättvisa och effektivitet i AI-system. Det syftar till att göra explicita värderingarna och etiska antagandena i valet av social välfärdsfunktion för att tillåta utvecklare och beslutsfattare att ha mer transparenta och ansvariga samtal om den distributiva inverkan av algoritmiskt beslutsfattande.

Dessutom har nylig forskning visat att social välfärdsoptimering kan integreras i den standardiserade maskinlärningsarbetsflödet, antingen som en efterbearbetningssteg eller direkt i träningsobjektivet i sig.

Till exempel i “Algorithmic decision making and the cost of fairness”,” föreslår forskare en regleringsteknik som lägger till en social välfärdsbegränsning till förlustfunktionen för varje klassificerings- eller regressionsmodell så att systemet kan lära sig rättvisa beslutsregler som maximiserar både noggrannhet och välfärd. Ustun et al. introducerade en efterbearbetningsmetod som tar utdata från en förtränad modell och hittar de välfärdsmaximerande besluten med hänsyn till olika rättvisabegränsningar.

Dessa tekniska resultat visar att social välfärdsoptimering är ett genomförbart och praktiskt sätt att bygga rättvisa och rättvisa AI-system. Utvecklare kan använda dessa kraftfulla optimeringstekniker och programvarupaket baserade på en tydlig och beräkningsbar objektfunktion som fångar de normativa övervägandena i detta ramverk för att hitta fördelningar som balanserar konkurrerande kriterier.

Men att förverkliga den fulla potentialen av social välfärdsoptimering i praktiken kräver också att man hanterar en mängd svåra utmaningar och begränsningar. En av de största är svårigheten att uttrycka och konstruera individuella nyttofunktioner som fångar den komplexa, flerdimensionella inverkan av AI-beslut på mänskliga liv. Detta kräver djup engagemang med berörda intressenter och experter för att förstå de kontextuella faktorer som formar människors preferenser, värderingar och välbefinnande.

Det finns också teoretiska och filosofiska frågor om den interpersonella jämförbarheten av nytta, osäkerhet och dynamik, samt hur man ska sammanställa individuella nyttor till en kollektiv social välfärdsåtgärd. Olika sociala välfärdsfunktioner gör olika antaganden om detta, och det finns ingen universell konsensus om vilken som är mest försvarbar eller lämplig i en given kontext.

Dessutom, som med alla optimeringsbaserade metoder, finns det en risk att de mål som maximeras inte fullständigt fångar alla relevanta etiska överväganden, eller att de kan vara snedvridna av fördomar och blindfläckar i data och modeller som används för att uppskatta nyttor. Det är viktigt att ha välgenomtänkta processer för intressentdeltagande, transparens och ansvar för att säkerställa att välfärdsfunktionerna optimeras för att överensstämma med värderingarna och prioriteringarna för de berörda samhällena.

Trots dessa utmaningar är fördelarna med social välfärdsoptimering för algoritmisk rättvisa för stora för att ignorera. AI-utvecklare och beslutsfattare kan flytta bortom statistisk paritet genom ett principiellt och flexibelt sätt att balansera rättvisa och effektivitet i detta tillvägagångssätt. Till slut kommer det att leda till en mer holistisk och konsekvensbaserad uppfattning om rättvisa baserad på mänsklig välfärd och välbefinnande.

Klicka här för att lära dig hur AI kan säkerställa äkthet. 

Användningsfall #1: Rättvist lån

För att visa löftet och utmaningarna med social välfärdsoptimering i praktiken, låt oss överväga det högriskområdet algoritmiskt lån. På senare tid har många banker och fintech-företag antagit maskinlärningsmodeller för att automatisera och påskynda kreditbeslut. Dessa modeller använder stora mängder personliga och finansiella data för att förutsäga sannolikheten att en låneansökan kommer att försitta, så att långivare kan fatta snabbare och mer effektiva underwritingbeslut.

Men det finns växande bevis för att dessa algoritmiska lånesystem upprätthåller och förstärker historiska fördomar och ojämlikheter i kreditåtkomst. Studier har visat att svarta och latinska låntagare är mer benägna att bli nekad lån eller debiteras högre räntor än lika kvalificerade vita låntagare, även när man kontrollerar för traditionella riskfaktorer som inkomst, kreditbetyg och anställningsstatus.

Som svar på dessa problem kan vissa långivare vända sig till statistiska paritetsmetoder som demografisk paritet och equaliserade odds för att mildra fördomar i sina AI-underwritingmodeller. Idén är att jämna ut lånegodkännandefrekvenser eller defaultfrekvenser över skyddade grupper så att modellerna behandlar alla ansökande lika oavsett ras eller etnicitet.

Medan dessa paritetsbaserade tillvägagångssätt kan tyckas intuitiva, fångar de inte den komplexa kreditvärdigheten och den differentiala inverkan av kreditåtkomst på välfärden i marginaliserade samhällen. En växande mängd forskning tyder på att enkla begrepp för rättvisa baserade på att jämna ut resultat kan faktiskt backfire och skada de grupper de är avsedda att skydda.

Till exempel en artikel från 2018 påpekar att att genomdriva demografisk paritetsbegränsningar på en nytto-maximerande beslutsregel vanligtvis kräver användning av känsliga variabler som ras i både modellträning och beslutsfattande. Detta innebär att försök att uppfylla paritetsbegränsningar genom att använda ras endast under träning, känt som “skilda lärandeprocesser”, kommer att vara underoptimala.

Dessutom försummar paritetsbaserade rättvisakriterier det faktum att skadorna av att bli nekad kredit är inte jämnt fördelade över befolkningen. För låginkomst- och minoritetslåntagare som historiskt har varit uteslutna från mainstream-finansiella tjänster, kan en nekad kredit ha förödande konsekvenser, fälla dem i cykler av fattigdom och predatorisk skuld. För mer välbärgade och privilegerade ansökande kan de ha alternativa källor till kapital och vara mindre påverkade av ett ogynnsamt kreditbeslut.

Social välfärdsoptimering erbjuder ett alternativt tillvägagångssätt som direkt införlivar dessa differentiala välfärdsstake i designen av rättvist lånande algoritmer. Långivare kan utveckla kreditmodeller som maximiserar den totala välfärden samtidigt som de säkerställer en mer rättvis fördelning av möjligheter genom att definiera en social välfärdsfunktion som fångar de relativa kostnaderna och fördelarna med kreditåtkomst för olika individer och grupper.

Till exempel, överväg en social välfärdsfunktion som prioriterar välfärden för de minst gynnade ansökarna, ger mer vikt till nyttogenereringen för låginkomst- och minoritetslåntagare. Detta kan formaliseras med en alpha-rättvisefunktion med ett moderat högt värde på alpha, vilket indikerar en stark preferens för rättvisa över effektivitet.

Under detta sociala välfärdsobjekt, skulle den optimala lånepolitiken sannolikt involvera att låna mer till marginaliserade grupper, även om deras förutsagda återbetalningsfrekvenser i genomsnitt är något lägre. Detta är eftersom välfärdsfördelarna med att låna till dessa underbetjänade samhällen (t.ex. möjliggöra att de kan köpa ett hem, starta ett företag eller bedriva utbildning) kan överväga den ökade risken för försittning från ett samhälleligt perspektiv.

Naturligtvis skulle implementeringen av ett sådant välfärdsmaximerande lånesystem i praktiken kräva att man övervinner betydande data- och modellutmaningar. Långivare måste samla in detaljerad data om de socioekonomiska egenskaperna och de finansiella behoven hos låneansökande, samt de nedströmsverkningar av kreditåtkomst på deras välbefinnande över tid. De måste också engagera sig med berörda samhällen för att säkerställa att välfärdsfunktionerna är optimerade för att överensstämma med deras värderingar och prioriteringar.

Dessutom kan det finnas viktiga juridiska och regulatoriska överväganden kring användningen av skyddad klassinformation (t.ex. ras, kön, ålder) för att fatta lånebeslut, även om målet är att främja rättvisa. Beslutsfattare måste ge tydliga riktlinjer för hur antidiskrimineringslagar tillämpas i sammanhanget med social välfärdsoptimering och skapa säkra hamnar för långivare som använder dessa tekniker på ett transparent och ansvarigt sätt.

Trots utmaningarna är det värt det. Social välfärdsoptimering kan bidra till att främja finansiell inkludering och minska den rasrelaterade förmögenhetsklyftan genom att långivare kan fatta mer holistiska och välfärdsmedvetna kreditbeslut, omdirigera kapitalflödet till traditionellt underbetjänade samhällen och ekonomiskt stärka dem. Det kan också ge ett mer principiellt och transparent sätt att navigera avvägningarna mellan rättvisa och effektivitet i lånande som är grundat i de faktiska verkningarna på låntagarnas liv.

Att sätta det i perspektiv

Som exemplet med lån visar, är social välfärdsoptimering en frontlinje för algoritmisk rättvisa som går utöver statistisk paritet och mot en mer holistisk och konsekvensbaserad uppfattning om rättvisa baserad på mänsklig välfärd och välbefinnande.

Detta tillvägagångssätt kan hjälpa AI-utvecklare och beslutsfattare att fatta mer principiella och ansvariga beslut om designen och distributionen av algoritmiska system i högriskdomäner. De kan göra detta genom att definiera och maximera en social välfärdsfunktion som återger övervägda moraliska bedömningar om fördelningen av fördelar och bördor.

Men att förverkliga den fulla potentialen av social välfärdsoptimering i praktiken kommer att kräva en hel del tvärvetenskapligt arbete. Datorforskare och AI-etiker måste arbeta med ekonomer, filosofer, juridiska experter och berörda samhällen för att hantera de normativa och tekniska utmaningarna med att definiera och beräkna sociala välfärdsfunktioner. Detta inkluderar svåra frågor om individuell nyttemätning och aggregation, osäkerhet och dynamik, samt hur man ska väga avvägningen mellan effektivitet och rättvisa i olika sammanhang.

Dessutom måste beslutsfattare och regulatorer ge mer vägledning och skapa en miljö där välfärdsmedveten AI kan utvecklas och distribueras. Detta kan innebära att uppdatera befintliga antidiskrimineringslagar och regler för att hantera utmaningen med social välfärdsoptimering och skapa nya styrningsramar och tillsynsmechanismer för transparens, ansvar och allmänhetens deltagande i designen och användningen av dessa system.

Till slut måste skiftet till social välfärdsoptimering i AI åtföljas av bredare ansträngningar att hantera de underliggande strukturella ojämlikheterna och maktobalanserna som formar utvecklingen och inverkan av teknologi i samhället.

Algoritmiska rättvisainterventioner, oavsett hur väl de är utformade, kan inte ersätta mer grundläggande reformer för att främja social och ekonomisk rättvisa, såsom investeringar i utbildning, hälsovård, bostäder och infrastruktur i marginaliserade samhällen.

Som Hooker och hans kollegor säger i sin CPAIOR 2024-artikel:

“Social välfärdsoptimering tillhandahåller nya sätt att designa rättvisa och bra algoritmiska system. Mycket arbete återstår att göras för att utveckla och operationalisera dessa tillvägagångssätt, men vi tror att de är en väg framåt för AI-etik. Vi kan komma till ett mer holistiskt och moraliskt allvarligt sätt att bygga maskinlärningssystem som tjänar hela samhället genom att formulera våra begrepp om rättvisa i språket för välfärdsekonomi och explicit hantera de distributiva konsekvenserna av vår teknik.”

Sammanfattningsvis, för att uppnå verkligt rättvis AI, måste vi säkerställa att dessa tillvägagångssätt testas och finslipas rigoröst i verkliga scenarier, och att de kroppsligar ett åtagande till rättvisa och samhälleligt välbefinnande.

Klicka här för att lära dig allt om att investera i artificiell intelligens.