[PT] O discurso tecnosolucionista em torno da IA tem o condão de jogar mais opacidade sobre os problemas e discriminações que essa ferramenta pode apresentar. Na área da saúde, isso se torna ainda mais preocupante, pois o resultado errado de um sistema pode significar um impacto fatal na vida de um paciente de risco. Quando sistemas apresentam falhas sobre uma determinada parte da população, como no caso da população negra, significa a reiteração da exclusão dessas pessoas do acesso a um atendimento rápido e de qualidade.

Em um estudo publicado na Revista Science, volume 366, pesquisadores identificaram que algoritmos comerciais de predição de necessidades de cuidados médicos estava classificando na mesma faixa de risco pacientes negros que estavam significativamente mais doentes do que pacientes brancos. Ao utilizar como métrica os custos de saúde, e não as doenças em si, o sistema reproduzia tanto decisões racistas de médicos que preferiam atribuir menos recursos a pacientes negros, como também o histórico acesso desigual dessa parte da população a cuidados de saúde.

O caso aponta que mesmo a pretensa adoção de um critério aparentemente neutro estava gerando resultados discriminatórios. Em outras palavras: apenas não utilizar a categoria raça como uma variável não é a solução – em alguns casos, pode ser exatamente o problema.

É sobre essas questões que eu e Tarcizio Silva nos debruçamos em texto feito para o ESTADÃO (acesse aqui). Como escrevemos,

“se a realidade do sistema de saúde no Brasil é atravessada por desigualdades raciais, que são, ainda, interseccionadas por desigualdades de gênero, de renda e outras, essa realidade será diretamente reproduzida em um sistema algorítmico adotado inadvertidamente, apenas sob o propósito de ‘tornar a saúde mais eficiente’ e sem qualquer avaliação de risco ou de impacto algorítmico séria”.

[EN] The technosolutionist discourse surrounding AI has the power to cast further opacity over the problems and discriminations that this tool may present. In the healthcare sector, this becomes even more concerning, as an incorrect outcome from a system could mean a fatal impact on the life of a high-risk patient. When systems fail regarding a certain segment of the population, such as in the case of the Black population, it signifies the perpetuation of the exclusion of these individuals from access to quick and quality care.

In a study published in the journal Science, volume 366, researchers identified that commercial algorithms for predicting medical care needs were classifying black patients with significantly more severe illnesses than white patients within the same risk category. By using healthcare costs as a metric rather than the diseases themselves, the system replicated both racist decisions by doctors who preferred to allocate fewer resources to black patients and the historically unequal access of this population to healthcare.

The case illustrates that even the supposed adoption of an apparently neutral criterion was generating discriminatory results. In other words, simply not using race as a variable is not the solution – in some cases, it may be precisely the problem.

These are the issues that Tarcizio Silva and I delve into in a text written for ESTADÃO (access here). As we wrote,

“if the reality of the healthcare system in Brazil is intersected by racial inequalities, which are further intersected by gender, income, and other inequalities, this reality will be directly replicated in an algorithmic system adopted inadvertently, solely under the guise of ‘making healthcare more efficient’ and without any serious assessment of risk or algorithmic impact.”