Em um esforço para reformar a gestão de benefícios sociais, Amsterdã embarcou em um experimento ambicioso com a IA: o algoritmo Smart Check. Prometia identificar erros em pedidos de auxílio com mais precisão e menos viés do que os humanos. Mas o resultado final foi o oposto do esperado — e lança dúvidas sobre o futuro da IA em decisões sociais sensíveis.
A cidade investiu cerca de meio milhão de euros e seguiu todas as diretrizes da chamada “IA responsável”: testes de viés, auditorias, consultas públicas, revisão por especialistas. Mesmo assim, o sistema se mostrou tendencioso em diferentes fases: primeiro contra migrantes e homens, depois contra mulheres e cidadãos holandeses. O algoritmo também passou a indicar mais pessoas para investigação do que os próprios assistentes sociais — falhando em seu objetivo principal.
O Smart Check foi treinado com dados de investigações passadas feitas por humanos — dados que já continham preconceitos. Assim, o algoritmo apenas replicou (e às vezes amplificou) essas distorções. Tentativas de corrigir isso com técnicas de reponderação ajudaram parcialmente, mas surgiram novas camadas de viés, como contra mães e pessoas com filhos — uma variável sequer considerada nas auditorias iniciais.
O Conselho de Participação, composto por beneficiários e ativistas, foi contrário ao projeto desde o início. Apesar de mudanças feitas após sua pressão, o grupo rompeu com o projeto alegando que afetava direitos fundamentais dos cidadãos. A crítica principal: atacar fraudes que são estatisticamente raras (cerca de 3%) com um sistema que pode prejudicar quem mais precisa de ajuda é desproporcional.
O fracasso do projeto expõe uma tensão importante: estamos usando algoritmos para resolver problemas que, talvez, não sejam tecnológicos. Como destacou Hans de Zwart, defensor de direitos digitais, seria mais justo usar tecnologia para identificar pessoas que têm direito ao benefício e não estão recebendo, em vez de vigiar quem está pedindo ajuda.
A cidade voltou ao sistema humano — que também mostrou viés, mas permanece sem correção sistemática. Isso levanta uma pergunta desconfortável: por que exigimos mais da IA do que dos humanos? A resposta pode estar menos em algoritmos e mais em como definimos “justiça” e quem tem voz nesse processo.
Amsterdã fez quase tudo certo no manual da IA ética — e mesmo assim falhou. A história do Smart Check mostra que, antes de perguntar como usar a IA, é preciso refletir sobre por que usá-la. E, principalmente, definir quem decide o que é justo.
Fonte: Inside Amsterdam’s high-stakes experiment to create fair welfare AI / MIT Technology Review
Este artigo foi criado em colaboração entre Cláudio Cordovil e Chat GPT-4
Imagem gerada por Inteligência Artificial
