Reavaliando a Equidade da Inteligência Artificial por meio da Otimização do Bem-Estar Social

À medida que os sistemas de IA se tornam mais difundidos e poderosos, a questão de como torná‑los justos e equitativos se tornou o maior desafio. De empréstimos e contratação a saúde e justiça criminal, os algoritmos de IA agora começaram a controlar as vidas e os meios de subsistência de indivíduos e comunidades. Frequentemente, esses algoritmos operam de maneiras invisíveis, sem responsabilidade, e até tendenciosos em certos momentos contra grupos historicamente desfavorecidos.

Em resposta a essas preocupações, uma comunidade de pesquisadores, profissionais e formuladores de políticas se reuniu para desenvolver sistemas de IA “justos” que tratem todos igualmente e não perpetuem ou ampliem as desigualdades sociais. A abordagem dominante para formalizar e operacionalizar a justiça na IA tem sido o uso de “métricas de paridade estatística”, que visam equalizar certas métricas de desempenho, como taxas de seleção ou taxas de erro, entre grupos protegidos.

No entanto, embora as noções de justiça baseadas em paridade tenham sido amplamente estudadas e adotadas na comunidade de IA, elas também têm enfrentado críticas crescentes de estudiosos que argumentam que são conceitualmente falhas, praticamente limitadas e potencialmente contraproducentes. Eles defendem que simplesmente equalizar resultados estatísticos entre grupos não é suficiente para alcançar uma justiça substantiva, pois ignora o impacto real do bem‑estar das decisões de IA sobre indivíduos e comunidades.

Em um novo artigo nos anais da CPAIOR 2024, uma equipe de pesquisadores da Carnegie Mellon University e do Stevens Institute of Technology propõe uma abordagem alternativa para a justiça em IA baseada na otimização do bem‑estar social. Liderados por John Hooker, professor de pesquisa operacional na Carnegie Mellon University, os autores utilizam a conhecida função de bem‑estar social “alpha fairness” para dissecar as limitações e pontos cegos das métricas de paridade estatística populares, como paridade demográfica, odds equalizados e paridade de taxa preditiva.

Os resultados mostram que essas métricas de paridade frequentemente não se alinham com princípios de justiça distributiva, como priorizar os mais desfavorecidos ou distribuir benefícios e encargos de forma justa. Em muitos casos, a solução alpha‑fair está longe da solução de paridade, de modo que essas métricas podem levar a sistemas de IA subótimos tanto em termos de eficiência quanto de equidade.

Isso tem grandes implicações para o campo da ética em IA e para os esforços de construir sistemas de aprendizado de máquina que respeitem valores humanos e justiça social. Significa que precisamos de uma abordagem mais abrangente e matizada para a justiça algorítmica que vá além das métricas estatísticas e aborde as compensações morais da IA em domínios de alto risco: otimização do bem‑estar social.

Compreendendo a Otimização do Bem-Estar Social

Em sua essência, a otimização do bem‑estar social é um paradigma completamente diferente para pensar e operacionalizar a justiça em IA. Em vez de focar estreitamente na equalização de certas métricas entre grupos, ela dá um passo atrás e considera o impacto societal mais amplo das decisões de IA sobre o bem‑estar e a qualidade de vida humana.

A ideia é projetar sistemas de IA que visem explicitamente maximizar uma função de bem‑estar social que agrega as utilidades (ou seja, benefícios e custos) experimentadas por todos os indivíduos afetados em uma única medida de bem comum. De acordo com essa abordagem, os profissionais de IA podem construir algoritmos que equilibram esses objetivos concorrentes especificando uma função de bem‑estar social que reflita julgamentos morais ponderados sobre a importância relativa da eficiência e da equidade.

A otimização do bem‑estar social tem suas raízes na economia do bem‑estar, que possui uma longa história de tratamento da justiça distributiva e da tomada de decisão coletiva. Economistas e filósofos propuseram diversas funções de bem‑estar social que refletem diferentes princípios éticos e julgamentos de valor, como utilitarismo (maximizar a soma da utilidade), prioritarianismo (dar mais peso aos ganhos de utilidade dos mais desfavorecidos) e egalitarismo (minimizar a desigualdade).

Nos últimos anos, um número crescente de pesquisadores de IA começou a explorar a otimização do bem‑estar social como forma de incorporar justiça aos sistemas de aprendizado de máquina. Este trabalho baseia‑se em artigos intitulados “Algorithmic decision making and the cost of fairness” de Heidari et al. e Corbett‑Davies e Goel, que foram os primeiros a introduzir a ideia de usar funções de bem‑estar social para capturar o impacto diferencial das decisões de IA sobre diferentes indivíduos e grupos.

Uma forma de fazer isso é com alpha fairness, uma classe paramétrica de funções de bem‑estar social que tem sido estudada na economia e na escolha social por 70 anos. Alpha fairness permite interpolar entre objetivos utilitaristas e egalitários com um único parâmetro alpha, que controla o grau de aversão à desigualdade.

Quando alpha é 0, a função de bem‑estar social reduz‑se ao utilitarismo clássico, maximizando a soma da utilidade sem considerar a distribuição. À medida que alpha aumenta, mais peso é dado aos mais desfavorecidos, e a alocação torna‑se mais equitativa. No limite, quando alpha tende ao infinito, alpha fairness converge para o princípio “maximin” de Rawls, que maximiza a utilidade do indivíduo mais desfavorecido.

Em seu artigo da CPAIOR 2024, os pesquisadores usam alpha fairness como lente para examinar três métricas populares de paridade estatística:

• Paridade demográfica
• Odds equalizados
• Paridade de taxa preditiva

Eles simulam uma variedade de cenários nos quais um sistema de IA deve alocar um recurso limitado (por exemplo, empréstimos, entrevistas de emprego, oportunidades educacionais) entre uma população de indivíduos com diferentes taxas de qualificação e funções de utilidade.

Os resultados são surpreendentes. Em muitos casos, a alocação alpha‑fair difere significativamente das soluções propostas pelas métricas de paridade.

Paridade demográfica, que exige taxas de seleção iguais entre grupos, frequentemente falha em considerar o fato de que grupos desfavorecidos obtêm mais utilidade marginal ao serem selecionados. Portanto, leva a alocações que não são nem eficientes nem equitativas.

Odds equalizados, que comparam taxas de seleção apenas entre indivíduos “qualificados”, tem um desempenho ligeiramente melhor, mas ainda falha em cenários onde erros falsos negativos (ou seja, indivíduos qualificados sendo rejeitados) são mais custosos que falsos positivos.

Paridade de taxa preditiva, que equaliza a fração de indivíduos selecionados que são qualificados, tem uso limitado e só é aplicável quando o número de indivíduos selecionados é maior que o número de candidatos realmente qualificados.

Esses resultados mostram as limitações fundamentais e os pontos cegos das métricas de paridade estatística como a principal forma de avaliar e impor justiça algorítmica.

Ao ignorar as reais apostas de bem‑estar das decisões de IA e o impacto diferencial em diferentes grupos, essas métricas podem gerar sistemas que perpetuam ou até exacerbam as desigualdades existentes. Elas também carecem de justificativa normativa e consistência, já que diferentes critérios de paridade frequentemente produzem recomendações conflitantes na prática.

Em contraste, a otimização do bem‑estar social oferece uma forma principiada e unificada de navegar as compensações entre justiça e eficiência em sistemas de IA. Ela busca tornar explícitos os julgamentos de valor e as suposições éticas na escolha da função de bem‑estar social, permitindo que desenvolvedores e formuladores de políticas tenham conversas mais transparentes e responsáveis sobre o impacto distributivo da tomada de decisão algorítmica.

Além disso, trabalhos recentes demonstraram que a otimização do bem‑estar social pode ser facilmente integrada ao fluxo de trabalho padrão de aprendizado de máquina, seja como uma etapa de pós‑processamento ou diretamente no objetivo de treinamento.

Por exemplo, no “Algorithmic decision making and the cost of fairness”, os pesquisadores propõem uma técnica de regularização que adiciona um termo de bem‑estar social à função de perda de qualquer modelo de classificação ou regressão, permitindo que o sistema aprenda regras de decisão justas que maximizem tanto a acurácia quanto o bem‑estar. Ustun et al. introduziram um método de pós‑processamento que recebe a saída de qualquer modelo pré‑treinado e encontra as decisões que maximizam o bem‑estar sujeitas a várias restrições de justiça.

Esses resultados técnicos mostram que a otimização do bem‑estar social é uma forma viável e prática de construir sistemas de IA justos e equitativos. Desenvolvedores podem usar essas poderosas técnicas de otimização e pacotes de software baseados em uma função objetivo clara e computável que captura as considerações normativas desse quadro, a fim de encontrar alocações que equilibram critérios concorrentes.

Mas, concretizar todo o potencial da otimização do bem‑estar social na prática também requer enfrentar uma série de desafios e limitações difíceis. Um dos maiores é a dificuldade de eliciar e construir funções de utilidade individual que capturem o impacto complexo e multidimensional das decisões de IA sobre a vida humana. Isso requer um engajamento profundo com as partes interessadas afetadas e especialistas de domínio para entender os fatores contextuais que moldam as preferências, valores e bem‑estar das pessoas.

Existem também questões teóricas e filosóficas sobre a comparabilidade interpessoal da utilidade, incerteza e dinâmicas, bem como sobre como agregar utilidades individuais em uma medida coletiva de bem‑estar social. Diferentes funções de bem‑estar social fazem suposições distintas a respeito desses aspectos, e não há consenso universal sobre qual é a mais defensável ou apropriada em um dado contexto.

Além disso, como em qualquer abordagem baseada em otimização, há o risco de que os objetivos que estão sendo maximizados não capturem plenamente todas as considerações éticas relevantes, ou que sejam enviesados por pontos cegos nos dados e modelos usados para estimar as utilidades. É essencial ter processos bem‑pensados de participação das partes interessadas, transparência e responsabilidade para garantir que os critérios de bem‑estar sejam otimizados de modo a alinhar‑se com os valores e prioridades das comunidades afetadas.

Apesar desses desafios, os benefícios da otimização do bem‑estar social para a justiça algorítmica são grandes demais para serem ignorados. Ainda assim, desenvolvedores e formuladores de políticas podem ir além da paridade estatística por meio de uma abordagem principiada e flexível que equilibre a equidade e a eficiência. Em última análise, isso levará a uma noção mais holística e consequencialista de justiça baseada no bem‑estar humano.

Clique aqui para saber como a IA pode garantir autenticidade. 

O Caso de Uso Nº 1: Empréstimos Justos

Para demonstrar as promessas e desafios da otimização do bem‑estar social na prática, vamos considerar o domínio de alto risco dos empréstimos algorítmicos. Nos últimos anos, muitos bancos e fintechs adotaram modelos de aprendizado de máquina para automatizar e acelerar decisões de crédito. Esses modelos utilizam enormes quantidades de dados pessoais e financeiros para prever a probabilidade de inadimplência de um solicitante, permitindo que os credores tomem decisões de subscrição mais rápidas e eficientes.

Entretanto, há evidências crescentes de que esses sistemas de empréstimo algorítmico estão perpetuando e ampliando preconceitos históricos e disparidades no acesso ao crédito. Estudos mostraram que mutuários negros e latinos têm mais probabilidade de ter empréstimos negados ou de receber taxas de juros mais altas do que mutuários brancos igualmente qualificados, mesmo controlando fatores de risco tradicionais como renda, pontuação de crédito e situação de emprego.

Em resposta a essas preocupações, alguns credores podem recorrer a métodos de paridade estatística, como paridade demográfica e odds equalizados, para mitigar o viés em seus modelos de subscrição de IA. A ideia é equalizar as taxas de aprovação de empréstimos ou de inadimplência entre grupos protegidos, de modo que os modelos tratem todos os solicitantes igualmente, independentemente de raça ou etnia.

Embora essas abordagens baseadas em paridade pareçam intuitivas, elas falham em capturar a complexidade da capacidade de crédito e o impacto diferencial do acesso ao empréstimo sobre o bem‑estar das comunidades marginalizadas. Um corpo crescente de pesquisas sugere que noções simplistas de justiça baseadas em equalizar resultados podem, na verdade, ter efeitos contrários e prejudicar os próprios grupos que pretendem proteger.

Por exemplo, um artigo de 2018 observa que impor restrições de paridade demográfica a uma regra de decisão que maximiza a utilidade geralmente requer o uso de variáveis sensíveis como raça tanto no treinamento do modelo quanto na tomada de decisão. Isso implica que tentativas de atender às restrições de paridade usando a raça apenas durante o treinamento, conhecidas como “processos de aprendizado discrepantes”, serão sub‑ótimas.

Além disso, os critérios de justiça baseados em paridade ignoram o fato de que os danos de ser negado crédito não são distribuídos uniformemente na população. Para mutuários de baixa renda e minoritários que historicamente foram excluídos dos serviços financeiros tradicionais, ser negado um empréstimo pode ter consequências devastadoras, aprisionando‑os em ciclos de pobreza e dívida predatória. Para solicitantes mais afluentes e privilegiados, eles podem ter fontes alternativas de capital e ser menos impactados por uma decisão de crédito adversa.

A otimização do bem‑estar social oferece uma abordagem alternativa que incorpora diretamente essas apostas diferenciais de bem‑estar no design de algoritmos de empréstimo justos. Os credores podem desenvolver modelos de crédito que maximizem o bem‑estar total, garantindo ao mesmo tempo uma distribuição mais equitativa de oportunidades, definindo uma função de bem‑estar social que capture os custos e benefícios relativos do acesso ao empréstimo para diferentes indivíduos e grupos.

Por exemplo, considere uma função de bem‑estar social que prioriza o bem‑estar dos solicitantes menos favorecidos, dando mais peso aos ganhos de utilidade de mutuários de baixa renda e minoritários. Isso poderia ser formalizado usando uma função de alpha fairness com um valor moderadamente alto de alpha, indicando uma forte preferência por equidade em detrimento da eficiência.

Sob esse objetivo de bem‑estar social, a política de empréstimo ótima provavelmente envolveria conceder mais crédito a grupos marginalizados, mesmo que suas taxas previstas de pagamento sejam, em média, um pouco menores. Isso ocorre porque os ganhos de bem‑estar ao conceder empréstimos a essas comunidades sub‑atendidas (por exemplo, possibilitar a compra de uma casa, iniciar um negócio ou buscar educação) podem superar o risco aumentado de inadimplência sob a perspectiva societal.

Claro que implementar tal sistema de empréstimo que maximiza o bem‑estar na prática exigiria superar desafios significativos de dados e modelagem. Os credores precisariam coletar dados granulares sobre as características socioeconômicas e necessidades financeiras dos solicitantes, bem como os impactos subsequentes do acesso ao crédito em seu bem‑estar ao longo do tempo. Também seria necessário engajar‑se com as comunidades afetadas para garantir que os critérios de bem‑estar sejam otimizados de modo a alinhar‑se com seus valores e prioridades.

Além disso, podem existir considerações legais e regulatórias importantes ao usar informações de classe protegida (por exemplo, raça, gênero, idade) para tomar decisões de crédito, mesmo que o objetivo seja promover a equidade. Os formuladores de políticas precisariam fornecer diretrizes claras sobre como as leis anti‑discriminação se aplicam no contexto da otimização do bem‑estar social e criar “portos seguros” para credores que utilizem essas técnicas de forma transparente e responsável.

Apesar dos desafios, vale a pena. A otimização do bem‑estar social pode ajudar a avançar a inclusão financeira e fechar a lacuna de riqueza racial, permitindo que os credores tomem decisões de crédito mais holísticas e conscientes do bem‑estar, redirecionando o fluxo de capital para comunidades tradicionalmente desatendidas e empoderando‑as economicamente. Também pode oferecer uma forma mais principiada e transparente de navegar as compensações entre justiça e eficiência nos empréstimos, fundamentada nos impactos reais na vida dos mutuários.

Colocando em Perspectiva

Como o exemplo de empréstimos demonstra, a otimização do bem‑estar social é uma fronteira da justiça algorítmica que vai além da paridade estatística e avança rumo a uma noção mais holística e consequencialista de equidade baseada no bem‑estar humano.

Essa abordagem pode ajudar desenvolvedores de IA e formuladores de políticas a tomar decisões mais principiadas e responsáveis sobre o design e a implantação de sistemas algorítmicos em domínios de alto risco. Eles podem fazer isso definindo e maximizando uma função de bem‑estar social que reflita julgamentos morais ponderados sobre a distribuição de benefícios e encargos.

Entretanto, concretizar todo o potencial da otimização do bem‑estar social na prática exigirá muito trabalho interdisciplinar. Cientistas da computação e estudiosos de ética em IA precisarão colaborar com economistas, filósofos, especialistas jurídicos e comunidades afetadas para enfrentar os desafios normativos e técnicos de definir e computar funções de bem‑estar social. Isso inclui questões difíceis sobre a medição e agregação da utilidade individual, incerteza e dinâmicas, e a compensação correta entre eficiência e equidade em diferentes contextos.

Além disso, formuladores de políticas e reguladores precisam oferecer mais diretrizes e criar um ambiente no qual IA consciente do bem‑estar possa ser desenvolvida e implantada. Isso pode significar atualizar leis e regulamentos anti‑discriminação existentes para abordar o desafio da otimização do bem‑estar social e criar novas estruturas de governança e mecanismos de supervisão para transparência, responsabilidade e engajamento público no design e uso desses sistemas.

Em última análise, a transição para a otimização do bem‑estar social em IA deve ser acompanhada por esforços mais amplos para enfrentar as desigualdades estruturais subjacentes e os desequilíbrios de poder que moldam o desenvolvimento e o impacto da tecnologia na sociedade.

Intervenções de justiça algorítmica, por mais bem‑desenhadas que sejam, não podem substituir reformas mais fundamentais para promover justiça social e econômica, como investimentos em educação, saúde, moradia e infraestrutura em comunidades marginalizadas.

Como Hooker e seus colegas dizem em seu artigo da CPAIOR 2024:

“A otimização do bem‑estar social fornece novas maneiras de projetar sistemas algorítmicos justos e bons. Muito trabalho ainda precisa ser feito para desenvolver e operacionalizar essas abordagens, mas acreditamos que elas representam um caminho a seguir para a ética em IA. Podemos chegar a uma forma mais holística e moralmente séria de construir sistemas de aprendizado de máquina que sirvam a toda a sociedade ao enquadrar nossas noções de justiça na linguagem da economia do bem‑estar e ao lidar explicitamente com as consequências distributivas de nossa tecnologia.”

No geral, para alcançar uma IA verdadeiramente justa, devemos garantir que essas abordagens sejam rigorosamente testadas e refinadas em cenários do mundo real, incorporando um compromisso com a justiça e o bem‑estar societal.

Clique aqui para saber tudo sobre investimento em inteligência artificial.