Quando os cientistas de dados de Chicago, Illinois, decidiram testar se um algoritmo de aprendizado de máquina poderia prever quanto tempo as pessoas permaneceriam no hospital, eles pensaram que estavam fazendo um favor a todos. Manter as pessoas no hospital é caro, e se os gerentes soubessem quais pacientes eram mais propensos a receber alta, eles poderiam movê-los para o topo da lista de prioridades dos médicos para evitar atrasos desnecessários. Seria uma situação de custo benefício: o hospital economizaria dinheiro e as pessoas poderiam sair o mais rápido possível.
Começando seu trabalho no final de 2017, os cientistas treinaram seu algoritmo em dados de pacientes do sistema hospitalar da Universidade de Chicago. Tomando dados dos três anos anteriores, eles analisaram os números para ver qual combinação de fatores melhor previa a duração de permanência. A princípio, eles apenas analisaram dados clínicos. Mas quando expandiram sua análise para outras informações do paciente, descobriram que um dos melhores preditores para a duração da estadia foi o código postal da pessoa. Isso foi intrigante. O que a duração da estadia de uma pessoa no hospital tem a ver com o local onde morava?
Saiba mais: OS FILHOS E A REVERÊNCIA AOS PAIS IDOSOS
Saiba mais: BANCO DE CÉREBROS DA USP AJUDA NO DIAGNÓSTICO DE ALZHEIMER
À medida que os pesquisadores se aprofundavam, eles se tornaram cada vez mais curiosos com o caso. Os códigos postais que se correlacionavam com estadias hospitalares mais longas estavam em bairros pobres e predominantemente afro-americanos. As pessoas dessas áreas permaneceram em hospitais por mais tempo do que as de áreas mais ricas e predominantemente brancas. A razão dessa disparidade não ficou muito clara. Talvez as pessoas das áreas mais pobres tenham sido internadas com condições mais severas. Ou talvez eles fossem menos propensos a receber os medicamentos de que precisavam.
A descoberta criou um enigma ético. Se a otimização dos recursos hospitalares fosse o único objetivo de seu programa, os códigos postais das pessoas seriam claramente um poderoso preditor do tempo de permanência no hospital. Mas usá-los desviaria, na prática, os recursos hospitalares dos negros e pobres para os brancos ricos, exacerbando os preconceitos existentes no sistema.
“O objetivo inicial era a eficiência, que isoladamente é um objetivo digno”, diz Marshall Chin, que estuda ética em saúde na Universidade de Chicago Medicine e foi um dos cientistas que trabalharam no projeto. Mas a justiça também é importante, diz ele, e isso não foi explicitamente considerado no design do algoritmo.
Esta história de Chicago serve como um aviso oportuno, à medida que os pesquisadores médicos recorrem à inteligência artificial (IA) para melhorar os cuidados de saúde. As ferramentas de IA podem trazer grandes benefícios para as pessoas que atualmente não são bem atendidas pelo sistema médico. Por exemplo, uma ferramenta de IA para rastrear radiografias de tórax quanto a sinais de tuberculose, desenvolvida pela start-up Zebra Medical Vision em Shefayim, Israel, está sendo implementada em hospitais na Índia para acelerar o diagnóstico de pessoas com a doença. Os algoritmos de aprendizado de máquina também podem ajudar os cientistas a descobrir quais pessoas provavelmente responderão melhor a quais tratamentos, iniciando uma era de medicamentos feitos sob medida que podem melhorar os resultados.
Saiba mais: DRAG QUEENS SE MUDAM PARA ASILO PARA ALEGRAR A VIDA DOS IDOSOS
Saiba mais: ENTENDA A DIFERENÇA ENTRE A DOENÇA DE ALZHEIMER E A DEMÊNCIA
Mas essa revolução depende dos dados disponíveis para essas ferramentas aprenderem, e esses dados refletem o sistema de saúde desigual que vemos hoje. “Em alguns sistemas de saúde, há coisas muito básicas que estão sendo ignoradas, qualidade básica de assistência que as pessoas não estão recebendo”, diz Kadija Ferryman, antropóloga da Escola de Engenharia Tandon da Universidade de Nova York, que estuda o social, cultural e impactos éticos do uso da IA nos cuidados de saúde. Essas desigualdades são preservadas nos terabytes de dados de saúde gerados em todo o mundo. E esses dados prepararam o setor de assistência médica para o tipo de interrupção causada pelas plataformas de compartilhamento de viagens no setor de transportes e plataformas de aluguel de residências como o Airbnb no setor hoteleiro, diz Ferryman. “Apple, Google, Amazon – todos estão fazendo incursões no setor de assistência médica.” Mas como os algoritmos de IA aprendem com os dados existentes, há um risco, diz Ferryman, de que as ferramentas que resultam dessa corrida do ouro possam entrincheirar ou aprofundar. desigualdades – como o fato de pessoas negras nas salas de emergência dos EUA terem 40% menos probabilidade de receber analgésicos do que as brancas.
Em janeiro, na Conferência sobre Justiça, Prestação de Contas e Transparência em Atlanta, Geórgia, cientistas da Universidade da Califórnia, Berkeley e da Universidade de Chicago apresentaram evidências de “preconceito racial significativo” em um algoritmo que determina as decisões de assistência médica para mais mais de 70 milhões de pessoas nos Estados Unidos.
O algoritmo em questão aloca ‘escores de risco’, que são usados para inscrever pessoas com alto risco de futuras necessidades complexas de saúde em programas de assistência com recursos especiais. Os pesquisadores descobriram que os negros tinham significativamente mais doenças crônicas do que os brancos com os mesmos escores de risco. Isso significa que as pessoas brancas têm maior probabilidade de se matricular em programas direcionados do que as pessoas negras com o mesmo nível de saúde. Se o algoritmo classificasse as pessoas negras e brancas da mesma forma, disseram os pesquisadores, as pessoas negras seriam inscritas nos programas com mais que o dobro da taxa atual.
O acesso prejudicado ao atendimento de determinadas pessoas é apenas uma das maneiras pelas quais as ferramentas de IA podem ampliar a lacuna de saúde globalmente. Outro problema é garantir que as ferramentas baseadas em IA possam ser aplicadas igualmente a diferentes grupos de pessoas. As informações de certos grupos populacionais tendem a estar ausentes nos dados com os quais essas ferramentas aprendem, o que significa que a ferramenta pode funcionar menos para os membros dessas comunidades.
Homens brancos e adultos estão fortemente representados nos conjuntos de dados médicos existentes, em detrimento dos dados de mulheres e crianças brancas e pessoas de todas as idades de outros grupos étnicos. É provável que essa falta de diversidade nos dados resulte em algoritmos tendenciosos.
Saiba mais: MEDICAMENTOS CONTRA DIABETES PODEM REDUZIR SINTOMAS DE ALZHEIMER
Saiba mais: ITÁLIA MUDA CONCEITO DE IDOSO PARA 75 ANOS
Existem alguns esforços para preencher essas lacunas. Em 2015, os Institutos Nacionais de Saúde dos EUA (NIH) criaram a iniciativa Todos Nós, com US $ 130 milhões em financiamento. O programa de pesquisa visa formar um banco de dados genético e de saúde de um milhão de voluntários, expandindo os conjuntos de dados disponíveis para orientar o desenvolvimento de medicamentos de precisão, a fim de fornecer atendimento de melhor qualidade a todos os Estados Unidos. Ele visa especificamente comunidades anteriormente sub-representadas para coleta de dados. Em julho, mais de 50% dos participantes totalmente matriculados no programa eram de grupos étnicos minoritários.
Mas mesmo esses conjuntos de dados diversos podem não se traduzir em ferramentas de IA que podem ser implementadas de maneira confiável em países de baixa renda, onde os perfis de doenças geralmente diferem dos de países de alta renda. Na África subsaariana, as mulheres são diagnosticadas com câncer de mama mais jovens, em média, do que as mulheres de países desenvolvidos, e sua doença é mais avançada no momento do diagnóstico. As ferramentas de diagnóstico por IA treinadas em mamografias da Europa estão preparadas para identificar doenças em seus estágios iniciais em mulheres mais velhas, portanto, podem não ser boas, diz Kuben Naidu, presidente da Sociedade Radiológica da África do Sul na Cidade do Cabo.
A maneira óbvia de resolver esse problema é dar aos desenvolvedores de IA acesso a dados de países de baixa renda. Mas isso gera preocupações relacionadas à proteção de dados para populações vulneráveis, diz Naidu. Os dados médicos são altamente sensíveis – informações como o status de HIV podem ser usadas para discriminar certas populações, por exemplo. Naidu lembra-se de ter ficado perturbado com a ansiedade que encontrou ao visitar uma reunião de radiologistas nos Estados Unidos alguns anos atrás. As empresas de IA entre os expositores “ficaram muito entusiasmadas ao saber que eu era da África e perguntaram como poderiam obter acesso aos nossos dados”, diz ele.
Obviamente, a privacidade não é apenas uma preocupação nos países em desenvolvimento. Mesmo em países com forte legislação de proteção de dados, como os Estados Unidos, manter os dados pessoais em sigilo pode ser mais difícil do que o esperado. Atualmente, a Universidade de Chicago está enfrentando uma ação coletiva para compartilhar registros de pacientes com o Google. O projeto retirou identificadores como números de segurança social e nomes dos dados, de acordo com as leis de privacidade do país. Mas os autores da ação argumentam que as datas das visitas de pacientes, que não foram retiradas dos dados, poderiam ser combinadas com outras informações mantidas pelo Google, como localizações de smartphones, para combinar as pessoas com seus registros de saúde.
Saiba mais: ENTENDA A DIFERENÇA ENTRE A DOENÇA DE ALZHEIMER E A DEMÊNCIA
Saiba mais: MITOS E VERDADES SOBRE ALZHEIMER
Uma preocupação relacionada é que as empresas de dados podem tentar as pessoas a abrir mão de sua privacidade em troca de assistência médica ou recompensa financeira. Tais práticas poderiam criar uma divisão de privacidade entre ricos e pobres da mesma maneira que a divisão digital que já separa diferentes grupos socioeconômicos.
Ferryman, que faz parte do conselho de revisão institucional do programa All of Us, admite que luta contra a tensão entre o esforço – não importa quão benevolente – para coletar dados de populações historicamente marginalizadas e malignas, e a necessidade de proteger essas mesmas populações. de ser explorado. “Por um lado, queremos ajudar essas pessoas reunindo mais informações sobre elas. Mas, por outro lado, o que dizer que os dados não serão usados de maneiras que os discriminem?”
Promovendo a justiça através da IA
Uma maneira de garantir que as ferramentas de IA não piorem as desigualdades na saúde é incorporar a justiça social no design das ferramentas de IA. A equipe de dados da University of Chicago Medicine fez isso depois de descobrir os problemas com o algoritmo de otimização proposto para alta hospitalar. Sua unidade de ciência de dados agora faz parceria com o departamento de diversidade, inclusão e patrimônio da universidade. Isso significa que abordar a equidade na IA não é uma reflexão tardia, mas sim um núcleo de como implementamos a IA no nosso sistema de saúde”, diz John Fahrenbach, cientista de dados do Centro de Ciência e Inovação em Assistência à Saúde da universidade.
Existe algum caminho a seguir nesse sentido. O Serviço Nacional de Saúde do Reino Unido recebeu críticas por não dar atenção suficiente ao potencial da IA para ampliar as lacunas de saúde em seu Código de Conduta atualizado para Tecnologias de Saúde e Cuidados com Dados, lançado em fevereiro. Da mesma forma, a Administração de Alimentos e Medicamentos dos EUA (FDA), que regula e aprova novas tecnologias médicas, foi solicitada pela Associação Médica Americana a destacar o viés como um risco significativo de aprendizado de máquina em seu processo de aprovação de software médico. Uma modificação no processo, proposta em abril, permitiria que as ferramentas de IA que melhoram continuamente seu desempenho, aprendendo com novos dados, sem precisar passar por outra revisão pelo FDA.
Alguns financiadores de pesquisa estão enfrentando o problema de frente, lançando programas de pesquisa para estudar como a introdução de ferramentas de IA afeta o acesso aos cuidados e sua qualidade. A Wellcome, uma instituição de caridade biomédica de Londres, lançou esse programa em junho deste ano. O programa de cinco anos, de 75 milhões de libras (US $ 90 milhões), procurará maneiras de garantir que as inovações no uso de dados em saúde beneficiem a todos – não apenas no Reino Unido, mas também em outras partes do mundo , como leste e sul da África e Índia, onde a Wellcome tem uma forte presença.
Saiba mais: CONHEÇA A 1ª LEI DO ALZHEIMER NO BRASIL
Saiba mais: POR QUE A PREOCUPAÇÃO COM A DOENÇA DE ALZHEIMER?
Determinar se dados irregulares ou tendenciosos podem resultar em cuidados de saúde desiguais desempenhará um papel importante no programa, diz Nicola Perrin, chefe de dados de ciência e saúde da Wellcome, mas esse não será o foco principal. A iniciativa irá detalhar como a composição exclusiva de hospitais individuais – como a disponibilidade de médicos, remédios ou equipamentos e o relacionamento do hospital com as comunidades que dependem dele para atendimento – afeta se as ferramentas de IA são fornecidas.
“Essa é a parte que sempre é negligenciada, a parte sem glamour e sem sexo”, diz ela. Especialmente nos países em desenvolvimento, trata-se de garantir que as ferramentas atendam à demanda no terreno e de criar confiança e adesão das comunidades às quais eles pretendem ajudar, diz ela. “Precisamos entender as expectativas das pessoas e onde devem estar os limites.”
Este ponto ecoa o de Naidu. A implantação de ferramentas de assistência à saúde nos países em desenvolvimento nunca é fácil, diz ele, e requer uma compreensão íntima dos gargalos existentes no sistema de saúde. Por exemplo, a IA que pode identificar pessoas com tuberculose por raios-X no peito, preparada para uso na Índia, também pode economizar tempo, dinheiro e vidas na África do Sul – especialmente em áreas rurais onde não há especialistas para examinar essas imagens, ele diz. Mas, para obter imagens em primeiro lugar, as comunidades precisarão de máquinas de raio-X e pessoas para operá-las. A falha em fornecer esses recursos significa que as ferramentas de IA simplesmente servirão aqueles que já moram perto de clínicas com melhores recursos.
Ferryman acha que é correto ser cauteloso com as novas tecnologias médicas. “Não há garantia absoluta de que as ferramentas terão benefícios que superam os possíveis danos que podem causar”, diz ela. Mas ela também acha que a maioria das pessoas que trabalha na área da saúde nos Estados Unidos quer um sistema mais justo. Os sistemas de saúde são construídos com especialistas altamente treinados, cuja principal motivação é cuidar das pessoas, e muitos médicos estão famintos por inovações que tornam o sistema mais justo, diz ela. “Isso me dá esperança.”
