Ompröva rättvisan i artificiell intelligens genom social välfärdsoptimering

När AI‑system blir allt vanligare och kraftfullare har frågan om hur man gör dem rättvisa och rättvisa blivit den största utmaningen. Från utlåning och anställning till sjukvård och straffrätt har AI‑algoritmer nu börjat kontrollera livet och försörjningen för individer och samhällen. Ofta fungerar dessa algoritmer på sätt som är osynliga, oansvariga, och även partiska ibland mot historiskt missgynnade grupper.

Som svar på dessa bekymmer har en gemenskap av forskare, praktiker och beslutsfattare gått samman för att utveckla ”rättvisa” AI‑system som behandlar alla lika och inte upprätthåller eller förstärker samhälleliga ojämlikheter. Den dominerande metoden för att formalisera och operationalisera rättvisa i AI har varit användningen av ”statistiska paritetsmått”, som syftar till att jämna ut vissa prestationsmått såsom urvalsfrekvens eller felrate över skyddade grupper.

Dock, medan paritetsbaserade föreställningar om rättvisa har studerats och antagits i stor utsträckning inom AI‑gemenskapen, har de också mött ökande kritik från forskare som menar att de är konceptuellt felaktiga, praktiskt begränsade och potentiellt kontraproduktiva. De argumenterar för att enbart jämna ut statistiska resultat mellan grupper inte räcker för att uppnå substantiell rättvisa eftersom det ignorerar den faktiska välfärdspåverkan av AI‑beslut på individer och samhällen.

I en ny artikel i CPAIOR 2024‑proceedings föreslår ett team av forskare från Carnegie Mellon University och Stevens Institute of Technology ett alternativt tillvägagångssätt för AI‑rättvisa baserat på social välfärdsoptimering. Ledd av John Hooker, professor i operations research vid Carnegie Mellon University, använder författarna den välkända sociala välfärdsfunktionen ”alpha fairness” för att dissekera begränsningarna och blinda fläckarna i populära statistiska paritetsmått som demografisk paritet, jämnade odds och prediktiv ratesparitet.

Deras resultat visar att dessa paritetsmått ofta inte stämmer överens med principer för distributiv rättvisa, såsom att prioritera de mest missgynnade eller en rättvis fördelning av fördelar och bördor. I många fall ligger den alpha‑rätta lösningen långt ifrån paritetslösningen, så dessa mått kan leda till AI‑system som är suboptimala både ur ett effektivitet‑ och rättviseperspektiv.

Detta har stora implikationer för fältet AI‑etik och ansträngningarna att bygga maskininlärningssystem som respekterar mänskliga värden och social rättvisa. Det betyder att vi behöver ett mer omfattande och nyanserat tillvägagångssätt för algoritmisk rättvisa som går bortom statistiska mått och tar itu med de moraliska avvägningarna i AI inom höginsatssituationer: social välfärdsoptimering.

Förstå social välfärdsoptimering

I sitt kärna är social välfärdsoptimering ett helt annat paradigm för att tänka på och operationalisera rättvisa i AI. Istället för att snävt fokusera på att jämna ut vissa mått mellan grupper tar den ett steg tillbaka och beaktar den bredare samhälleliga påverkan av AI‑beslut på mänsklig välfärd och välbefinnande.

Idén är att designa AI‑system som uttryckligen syftar till att maximera en social välfärdsfunktion som aggregerar nyttorna (dvs. fördelar och kostnader) som upplevs av alla berörda individer till ett enda mått på socialt gott. Enligt detta tillvägagångssätt kan AI‑praktiker bygga algoritmer som balanserar dessa konkurrerande mål genom att specificera en social välfärdsfunktion som speglar övervägda moraliska bedömningar om den relativa betydelsen av effektivitet och jämlikhet.

Social välfärdsoptimering har sina rötter i välfärdsekonomi, som har en lång historia av att hantera distributiv rättvisa och kollektiva beslutsprocesser. Ekonomer och filosofer har föreslagit olika sociala välfärdsfunktioner som återspeglar olika etiska principer och värderingar, såsom utilitarism (maximera summan av nytta), prioritarism (ge mer vikt åt nytta för de mest missgynnade) och egalitarism (minimera ojämlikhet).

Under de senaste åren har ett växande antal AI‑forskare börjat utforska social välfärdsoptimering som ett sätt att inbädda rättvisa i maskininlärningssystem. Detta arbete bygger på artiklarna ”Algorithmic decision making and the cost of fairness” av Heidari et al. och Corbett‑Davies och Goel, som först introducerade idén att använda sociala välfärdsfunktioner för att fånga den differentierade påverkan av AI‑beslut på olika individer och grupper.

Ett sätt att göra detta är med alpha‑fairness, en parametrisk klass av sociala välfärdsfunktioner som har studerats i ekonomi och socialt val i 70 år. Alpha‑fairness låter dig interpolera mellan utilitaristiska och egalitära mål med en enda parameter alpha, som styr graden av aversion mot ojämlikhet.

När alpha är 0 reduceras den sociala välfärdsfunktionen till klassisk utilitarism, som maximerar summan av nytta utan hänsyn till fördelning. När alpha ökar får de mest missgynnade mer vikt, och fördelningen blir mer rättvis. I gränsen, när alpha går mot oändlighet, konvergerar alpha‑fairness mot Rawls ”maximin”‑principen att maximera nytta för den mest missgynnade individen.

I deras CPAIOR 2024‑artikel använder forskarna alpha‑fairness som ett verktyg för att undersöka tre populära statistiska paritetsmått:

• Demografisk paritet
• Jämnade odds
• Prediktiv ratesparitet

De simulerar en mängd scenarier där ett AI‑system måste fördela en begränsad resurs (t.ex. lån, jobbintervjuer, utbildningsmöjligheter) bland en population av individer med olika kvalifikationsgrader och nyttofunktioner.

Resultaten är överraskande. I många fall skiljer sig den alpha‑rätta fördelningen avsevärt från de lösningar som föreslås av paritetsmåtten.

Demografisk paritet, som kräver lika urvalsfrekvens över grupper, misslyckas ofta med att ta hänsyn till att missgynnade grupper får mer marginalnytta av att bli valda. Därför leder den till fördelningar som varken är effektiva eller rättvisa.

Jämnade odds, som jämför urvalsfrekvens endast bland ”kvalificerade” individer, fungerar något bättre men misslyckas ändå i scenarier där falska negativa fel (dvs. kvalificerade individer som blir avvisade) är dyrare än falska positiva.

Prediktiv ratesparitet, som jämnar ut andelen valda individer som är kvalificerade, har begränsad nytta och är endast tillämplig när antalet valda individer är större än antalet faktiskt kvalificerade kandidater.

Dessa resultat visar de grundläggande begränsningarna och blinda fläckarna i statistiska paritetsmått som primärt sätt att bedöma och upprätthålla algoritmisk rättvisa.

Genom att ignorera de faktiska välfärdsinsatserna i AI‑beslut och den differentierade påverkan på olika grupper kan dessa mått leda till system som upprätthåller eller till och med förvärrar befintliga ojämlikheter. De saknar också normativ rättfärdigande och konsistens, eftersom olika paritetskriterier ofta ger motstridiga rekommendationer i praktiken.

I kontrast erbjuder social välfärdsoptimering ett principfast och enhetligt sätt att navigera avvägningarna mellan rättvisa och effektivitet i AI‑system. Den syftar till att göra värderingsbedömningar och etiska antaganden i valet av social välfärdsfunktion explicita, så att utvecklare och beslutsfattare kan ha mer transparenta och ansvariga samtal om den distributiva påverkan av algoritmiskt beslutsfattande.

Dessutom har nyare forskning visat att social välfärdsoptimering kan integreras enkelt i den vanliga maskininlärningsarbetsflödet, antingen som ett efterbearbetningssteg eller direkt i träningsmålet.

Till exempel föreslår forskarna i ”Algorithmic decision making and the cost of fairness,” en regulariseringsteknik som lägger till ett socialt välfärdsterm till förlustfunktionen för vilken klassificerings‑ eller regressionsmodell som helst, så att systemet kan lära sig rättvisa beslutsregler som maximerar både noggrannhet och välfärd. Ustun et al. introducerade en efterbearbetningsmetod som tar output från någon förtränad modell och hittar de välfärdsmaximerande besluten under olika rättvishetsbegränsningar.

Dessa tekniska resultat visar att social välfärdsoptimering är ett genomförbart och praktiskt sätt att bygga rättvisa och jämlika AI‑system. Utvecklare kan använda dessa kraftfulla optimeringstekniker och mjukvarupaket baserade på ett tydligt och beräkningsbart mål som fångar de normativa övervägandena i detta ramverk för att finna fördelningar som balanserar konkurrerande kriterier.

Men att realisera den fulla potentialen av social välfärdsoptimering i praktiken kräver också att man tacklar ett antal svåra utmaningar och begränsningar. En av de största är svårigheten att framkalla och konstruera individuella nyttofunktioner som fångar den komplexa, multidimensionella påverkan som AI‑beslut har på människors liv. Detta kräver djupgående engagemang med berörda intressenter och domänexperter för att förstå de kontextuella faktorer som formar människors preferenser, värderingar och välbefinnande.

Det finns också teoretiska och filosofiska frågor kring interpersonell jämförbarhet av nytta, osäkerhet och dynamik, samt hur man aggregerar individuella nyttor till ett kollektivt socialt välfärdsmått. Olika sociala välfärdsfunktioner gör olika antaganden om detta, och det finns ingen universell konsensus om vilken som är mest försvarbar eller lämplig i ett givet sammanhang.

Dessutom, som med alla optimeringsbaserade metoder, finns risken att de mål som maximeras inte fullt ut fångar alla relevanta etiska överväganden, eller att de snedvrids av bias och blinda fläckar i data och modeller som används för att uppskatta nyttor. Det är avgörande att ha välgenomtänkta processer för intressentdeltagande, transparens och ansvarsskyldighet för att säkerställa att välfärdskriterierna optimeras i linje med de berörda samhällenas värderingar och prioriteringar.

Trots dessa utmaningar är fördelarna med social välfärdsoptimering för algoritmisk rättvisa för stora att ignorera. Ändå kan AI‑utvecklare och beslutsfattare gå bortom statistisk paritet genom ett principfast och flexibelt sätt att balansera jämlikhet och effektivitet i detta tillvägagångssätt. I slutändan kommer det leda till en mer holistisk och konsekvensbaserad uppfattning om rättvisa baserad på mänsklig välfärd och välbefinnande.

Klicka här för att lära dig hur AI kan säkerställa äkthet. 

Det #1 användningsområde: Rättvis utlåning

För att visa löftet och utmaningarna med social välfärdsoptimering i praktiken, låt oss betrakta det höginsatssområde som algoritmisk utlåning innebär. Under de senaste åren har många banker och fintech‑företag antagit maskininlärningsmodeller för att automatisera och påskynda kreditbeslut. Dessa modeller använder enorma mängder personlig och finansiell data för att förutsäga sannolikheten att en låntagare ska fallera, så att långivare kan fatta snabbare och mer effektiva underwriting‑beslut.

Det finns dock växande bevis för att dessa algoritmiska lånesystem förstärker och fördjupar historiska bias och skillnader i kreditåtkomst. Studier har visat att svarta och latinamerikanska låntagare är mer benägna att nekas lån eller får högre räntor än likvärdigt kvalificerade vita låntagare, även när traditionella riskfaktorer som inkomst, kreditvärdighet och anställningsstatus kontrolleras.

Som svar på dessa bekymmer kan vissa långivare vända sig till statistiska paritetsmetoder som demografisk paritet och jämnade odds för att minska bias i sina AI‑underwriting‑modeller. Idén är att jämna ut lånebeviljnings‑ eller felrate‑nivåer över skyddade grupper så att modellerna behandlar alla sökande lika oavsett ras eller etnicitet.

Även om dessa paritetsbaserade tillvägagångssätt kan verka intuitiva, misslyckas de med att fånga komplexiteten i kreditvärdighet och den differentierade påverkan som lånetillgång har på välfärden i marginaliserade samhällen. En växande forskningskropp visar att förenklade rättvishetsbegrepp baserade på att jämna ut resultat i själva verket kan slå tillbaka och skada de grupper de avser att skydda.

Till exempel noterar en artikel från 2018 att upprätthållandet av demografiska paritetsbegränsningar på en nytta‑maximerande beslutsregel generellt kräver användning av känsliga variabler som ras både i modellträning och beslutsfattande. Detta innebär att försök att uppfylla paritetskrav genom att endast använda ras under träning, känt som ”disparate learning processes”, blir suboptimala.

Dessutom ignorerar paritetsbaserade rättvishetskriterier att skadan av att nekas kredit inte är jämnt fördelad över befolkningen. För låga inkomster och minoritetslånare som historiskt har utestängts från traditionella finansiella tjänster, kan ett avslag på ett lån ha förödande konsekvenser, som fångar dem i fattigdoms‑ och skuldfällor. För mer välbärgade och privilegierade sökande kan de ha alternativa kapitalkällor och bli mindre påverkade av ett negativt kreditbeslut.

Social välfärdsoptimering erbjuder ett alternativt tillvägagångssätt som direkt införlivar dessa differentierade välfärdsinsatser i designen av rättvisa lånealgoritmer. Långivare kan utveckla kreditmodeller som maximerar total välfärd samtidigt som de säkerställer en mer rättvis fördelning av möjligheter genom att definiera en social välfärdsfunktion som fångar de relativa kostnaderna och fördelarna med lånetillgång för olika individer och grupper.

Till exempel, överväg en social välfärdsfunktion som prioriterar välfärden för de minst gynnade sökande, genom att ge mer vikt åt nyttaökningarna för låga inkomster och minoritetslånare. Detta kan formuleras med en alpha‑fairness‑funktion med ett måttligt högt värde på alpha, vilket indikerar en stark preferens för jämlikhet framför effektivitet.

Under detta sociala välfärdsmål skulle den optimala lånepolicyn sannolikt innebära att låna mer till marginaliserade grupper även om deras förutsagda återbetalningsnivåer i genomsnitt är något lägre. Detta beror på att välfärdsvinsterna från att låna till dessa underbetjänade samhällen (t.ex. möjliggöra bostadsköp, starta företag eller fortsätta utbildning) kan överväga den ökade risken för fallis från ett samhällsperspektiv.

Självklart skulle implementeringen av ett sådant välfärdsmaximerande lånesystem i praktiken kräva att man övervinner betydande data‑ och modelleringsutmaningar. Långivare skulle behöva samla in detaljerad data om låntagarnas socioekonomiska egenskaper och finansiella behov samt de långsiktiga effekterna av kreditåtkomst på deras välbefinnande över tid. De skulle också behöva engagera sig med berörda samhällen för att säkerställa att välfärdskriterierna optimeras i linje med deras värderingar och prioriteringar.

Vidare kan det finnas viktiga juridiska och regulatoriska överväganden kring användning av skyddade klass‑information (t.ex. ras, kön, ålder) för att fatta lånebeslut, även om målet är att främja jämlikhet. Lagstiftare skulle behöva ge tydlig vägledning om hur antidiskrimineringslagar tillämpas i kontexten av social välfärdsoptimering och skapa säkra hamnar för långivare som använder dessa tekniker på ett transparent och ansvarigt sätt.

Trots utmaningarna är det värt ansträngningen. Social välfärdsoptimering kan hjälpa till att främja finansiell inkludering och minska den rasbaserade förmögenhetsklyftan genom att låta långivare fatta mer holistiska och välfärdsmedvetna kreditbeslut, omdirigera kapitalflödet till traditionellt underbetjänade samhällen och stärka dem ekonomiskt. Det kan också erbjuda ett mer principfast och transparent sätt att navigera avvägningarna mellan rättvisa och effektivitet i utlåning som är förankrat i de verkliga effekterna på låntagarnas liv.

Sätta det i perspektiv

Som låneexemplet visar, är social välfärdsoptimering en frontlinje för algoritmisk rättvisa som går bortom statistisk paritet och mot en mer holistisk och konsekvensbaserad uppfattning om jämlikhet baserad på mänsklig välfärd och välbefinnande.

Detta tillvägagångssätt kan hjälpa AI‑utvecklare och beslutsfattare att fatta mer principfasta och ansvariga beslut om design och implementering av algoritmiska system i höginsatssituationer. De kan göra detta genom att definiera och maximera en social välfärdsfunktion som speglar övervägda moraliska bedömningar om fördelning av fördelar och bördor.

Dock kommer realiseringen av den fulla potentialen av social välfärdsoptimering i praktiken att kräva omfattande tvärvetenskapligt arbete. Datorvetare och AI‑etiska forskare måste samarbeta med ekonomer, filosofer, juridiska experter och berörda samhällen för att tackla de normativa och tekniska utmaningarna med att definiera och beräkna sociala välfärdsfunktioner. Detta inkluderar svåra frågor kring individuell nyttomätning och aggregering, osäkerhet och dynamik, samt den rätta avvägningen mellan effektivitet och jämlikhet i olika sammanhang.

Dessutom måste lagstiftare och tillsynsmyndigheter erbjuda mer vägledning och skapa en miljö där välfärdsmedveten AI kan utvecklas och implementeras. Detta kan innebära att uppdatera befintliga antidiskrimineringslagar och regler för att adressera utmaningen med social välfärdsoptimering samt skapa nya styrningsramverk och tillsynsmekanismer för transparens, ansvarsskyldighet och offentligt engagemang i design och användning av dessa system.

I slutändan måste övergången till social välfärdsoptimering i AI följas av bredare insatser för att ta itu med de underliggande strukturella ojämlikheterna och maktobalanserna som formar teknikens utveckling och påverkan i samhället.

Algoritmiska rättvishetsinterventioner, oavsett hur väl utformade, kan inte ersätta mer grundläggande reformer för att främja social och ekonomisk rättvisa, såsom investeringar i utbildning, sjukvård, bostäder och infrastruktur i marginaliserade samhällen.

Som Hooker och hans kollegor säger i deras CPAIOR 2024‑artikel:

“Social välfärdsoptimering ger nya sätt att designa rättvisa och goda algoritmiska system. Mycket arbete återstår att göras för att utveckla och operationalisera dessa tillvägagångssätt, men vi tror att de är en väg framåt för AI‑etik. Vi kan nå en mer holistisk och moraliskt seriös metod för att bygga maskininlärningssystem som tjänar hela samhället genom att formulera våra rättvishetsbegrepp i välfärdsekonomins språk och explicit hantera de distributiva konsekvenserna av vår teknik.”

Sammanfattningsvis, för att uppnå verkligt rättvis AI måste vi säkerställa att dessa tillvägagångssätt testas rigoröst och förfinas i verkliga scenarier, med ett åtagande för rättvisa och samhälleligt välbefinnande.

Klicka här för att lära dig allt om investeringar i artificiell intelligens.