Nos EUA, um algoritmo que prevê quais pacientes se beneficiarão de cuidados médicos extras subestima drasticamente as necessidades de saúde dos pacientes negros mais doentes, ampliando as disparidades raciais de longa data na medicina, constataram pesquisadores em artigo na revista Science.
O problema foi detectado em um algoritmo vendido por uma empresa líder em serviços de saúde, chamada Optum, para orientar a tomada de decisões para milhões de pessoas em assistência médica. Mas, de acordo com os pesquisadores, o mesmo problema quase certamente existe em outras ferramentas usadas por várias empresas privadas, sistemas de saúde sem fins lucrativos e agências governamentais para administrar os cuidados de saúde de cerca de 200 milhões de pessoas nos EUA a cada ano.
A correção do viés mais do que duplicaria o número de pacientes negros que precisavam de cuidados médicos no sistema de saúde estudado pelos pesquisadores – eles já estão trabalhando em parceria com a Optum numa correção. Quando a empresa replicou a análise em um conjunto de dados nacional de 3,7 milhões de pacientes, verificou que os pacientes negros classificados pelo algoritmo como necessitando de cuidados extras estavam muito mais doentes que brancos em situações similares: os negros sofreram coletivamente 48.772 doenças crônicas adicionais.
“Para mim, é realmente inconcebível que o algoritmo de outras pessoas não sofra com isso!”, disse Sendhil Mullainathan, professor de computação e ciência do comportamento na Faculdade de Administração Booth da Universidade de Chicago, que supervisionou o trabalho. “Espero que isso faça com que toda a indústria diga: ‘Nossa, temos que consertar isso’”.
O algoritmo não era intencionalmente racista – de fato, ele excluiu especificamente a raça. Em vez disso, para identificar pacientes que precisavam de mais apoio médico, o algoritmo usou uma medida aparentemente cega: o custo de pacientes ao sistema de saúde no futuro. Mas o custo não é uma medida de necessidade neutra de cuidados de saúde em relação à raça. Pacientes negros custavam cerca de US$ 1.800 a menos por ano do que pacientes brancos com o mesmo número de condições crônicas. Assim, o algoritmo igualou os pacientes brancos com pacientes negros que tinham muito mais necessaidade médicas.
Cada vez mais máquinas tomam decisões que afetam a vida humana. Grandes organizações, principalmente na área da saúde, estão tentando aproveitar conjuntos de dados massivos para determinar como operam. Eles utilizam dados que podem não parecer racistas ou tendenciosos, mas podem ter sido fortemente influenciados por vieses sociais, culturais e institucionais de longa data - como custos com saúde. Sistemas de computador determinam quais candidatos a emprego devem ser entrevistados, quem deve receber um empréstimo ou como triar as pessoas doentes. Nesses processos, eles correm o risco de automatizar o racismo ou outros preconceitos humanos.
Longa história de viés
Na medicina, há uma longa história de pacientes negros enfrentando barreiras ao acesso aos cuidados e recebendo cuidados de saúde menos eficazes. Estudos constataram que pacientes negros são menos propensos a receber tratamento de dor, cirurgia para câncer de pulmão ou medicamentos para baixar o colesterol. Tais disparidades provavelmente têm raízes complicadas, incluindo racismo explícito, problemas de acesso, falta de seguro, desconfiança no sistema médico, mal-entendidos culturais ou preconceitos inconscientes que nem os próprios médicos sabem que têm.
Mullainathan e seus colaboradores descobriram que o algoritmo estudado, desenvolvido para ajudar os sistemas de saúde a selecionar pacientes que teriam maiores necessidades futuras de cuidados de saúde, estava na realidade prevendo a probabilidade de as pessoas usarem muitos cuidados de saúde que resultariam em altos custos no futuro. Como os pacientes negros geralmente usam os serviços de saúde de taxas mais baixas, o algoritmo tem menor probabilidade de sinalizá-los como propensos a usar muitos serviços de saúde no futuro.
O algoritmo aprofundaria essa disparidade indicando pacientes brancos mais saudáveis como necessitando de um tratamento mais intensivo.
“Os algoritmos para previsões que alimentam essas ferramentas devem ser continuamente revisados e refinados, e complementados por informações como dados socioeconômicos, para ajudar os clínicos a tomar as decisões de cuidados mais bem informadas para cada paciente”, disse o porta-voz da Optum, Tyler Mason. “Conforme alertamos a nossos clientes, essas ferramentas nunca devem ser vistas como um substituto para a experiência e o conhecimento de um médico sobre as necessidades individuais de seus pacientes”.
Ruha Benjamin, professora associada de estudos afro-americanos da Universidade de Princeton, traçou um paralelo ao modo como Henrietta Lacks, uma jovem mãe afro-americana com câncer do colo do útero, era tratada pelo sistema médico. Lacks é bem conhecida agora porque suas células cancerígenas, obtidas sem o seu consentimento, são usadas em toda a pesquisa biomédica moderna. Ela foi tratada na ala para negros do Hospital Johns Hopkins, em uma época em que os hospitais eram segregados. Imagine se hoje, Benjamin escrevesse em um artigo anexo, Lacks passasse por uma “triagem digital” com um algoritmo que não levasse em conta explicitamente sua raça, mas subestimasse sua doença porque usava dados que refletiam o viés histórico para projetar suas necessidades futuras. Esse racismo, embora não seja motivado por uma ideologia odiosa, poderia ter o mesmo resultado que a segregação anterior e os cuidados abaixo do padrão.
“Estou impressionado com o fato de tantas pessoas ainda pensarem que o racismo sempre tem que ser intencional e alimentado pela malícia. Eles não querem admitir os efeitos racistas da tecnologia, a menos que possam identificar o bicho-papão por trás da tela”, disse Benjamin.
O software usado para prever a necessidade de suporte médico mais intensivo dos pacientes foi resultado da Lei de Assistência Acessível (Affordable Care Act, em tradução literal), que criou incentivos financeiros para os sistemas de saúde manterem as pessoas bem, em vez de esperar para tratá-las quando adoecerem. A ideia era que seria possível simultaneamente conter os custos e manter as pessoas mais saudáveis, identificando os pacientes com maior risco de ficarem muito doentes e fornecer mais recursos a eles. Porém, como as pessoas brancas e ricas tendem a utilizar mais cuidados de saúde, essas ferramentas também podem levar os sistemas de saúde a se concentrarem neles, perdendo a oportunidade de ajudar algumas das pessoas mais doentes.
Christine Vogeli, diretora de avaliação e pesquisa do Centro de Saúde da População da Partners HealthCare, um sistema de saúde sem fins lucrativos em Massachusetts, disse que quando sua equipe testou o algoritmo pela primeira vez, eles mapearam as pontuações mais altas em sua população de pacientes e os encontraram concentrados em alguns dos subúrbios mais ricos de Boston. Isso os levou a usar a ferramenta de uma forma limitada, complementando-a com outras informações, em vez de usar o que estava pronto para uso.
“Você terá que garantir que as pessoas tenham conhecimento sobre isso. Ou terá um problema em que estará apenas servindo às pessoas mais saudáveis e ricas”, disse Vogeli.
Sempre é possível corrigir
Tais tendências podem parecer óbvias em retrospectiva. Algoritmos, porém, são conhecidos pela falta de transparência, pois são produtos proprietários que podem custar centenas de milhares de dólares. Os pesquisadores que realizaram o novo estudo tiveram uma quantidade incomum de acesso aos dados inseridos no algoritmo e ao que ele previu.
Eles também encontraram uma maneira relativamente direta de resolver o problema. Em vez de apenas prever quais pacientes incorrem em custos mais elevados e usam mais cuidados de saúde no futuro, eles aprimoraram o algoritmo para fazer previsões sobre suas futuras condições de saúde.
Suchi Saria, especialista em aprendizado de máquina e em saúde da Universidade Johns Hopkins, disse que o estudo é fascinante porque mostra como, uma vez detectado um viés, ele pode ser corrigido. Grande parte do estudo científico das disparidades raciais na medicina fornece evidências de desigualdade, mas a correção desses problemas pode exigir mudanças sociais e culturais abrangentes, bem como mudanças no comportamento individual de milhares de provedores. Ao mesmo tempo, uma vez que um algoritmo defeituoso é identificado, o viés pode ser removido.
“O legal é que podemos facilmente medir o viés que existe historicamente, mudar o algoritmo e corrigir a distorção”, disse Saria. A parte mais complicada pode ser o desenvolvimento de um mecanismo de supervisão que irá detectar os vieses em primeiro lugar.
Saria disse que uma possibilidade é que os especialistas em dados possam testar potencialmente os algoritmos das empresas, da mesma forma que as empresas de segurança testam se as defesas cibernéticas de uma empresa são suficientes.
