As respostas do ChatGPT a consultas relacionadas à saúde ‘quase indistinguíveis’ daquelas fornecidas por humanos

As respostas do ChatGPT às perguntas relacionadas à saúde das pessoas são quase indistinguíveis das fornecidas por humanos, revela um novo estudo da NYU Tandon School of Engineering e da Grossman School of Medicine, sugerindo o potencial dos chatbots para serem aliados eficazes das comunicações dos profissionais de saúde com os pacientes.

Uma equipe de pesquisa da NYU apresentou a 392 pessoas com 18 anos ou mais dez perguntas e respostas de pacientes, com metade das respostas geradas por um profissional de saúde humano e a outra metade pelo ChatGPT.

Os participantes foram solicitados a identificar a fonte de cada resposta e avaliar sua confiança nas respostas do ChatGPT usando uma escala de 5 pontos, de totalmente não confiável a totalmente confiável.

O estudo descobriu que as pessoas têm capacidade limitada de distinguir entre chatbot e respostas geradas por humanos. Em média, os participantes identificaram corretamente as respostas do chatbot em 65,5% das vezes e as respostas do provedor em 65,1% das vezes, com intervalos de 49,0% a 85,7% para diferentes perguntas. Os resultados permaneceram consistentes, independentemente das categorias demográficas dos entrevistados.

O estudo descobriu que os participantes confiam levemente nas respostas dos chatbots em geral (pontuação média de 3,4), com menor confiança quando a complexidade relacionada à saúde da tarefa em questão era maior. Questões logísticas (por exemplo, agendamento de consultas, questões de seguro) tiveram a classificação de confiança mais alta (pontuação média de 3,94), seguida de cuidados preventivos (por exemplo, vacinas, exames de câncer, pontuação média de 3,52). O aconselhamento de diagnóstico e tratamento teve os índices de confiança mais baixos (pontuações de 2,90 e 2,89, respectivamente).

De acordo com os pesquisadores, o estudo destaca a possibilidade de que os chatbots possam auxiliar na comunicação paciente-profissional, particularmente relacionada a tarefas administrativas e gerenciamento de doenças crônicas comuns. Mais pesquisas são necessárias, no entanto, sobre os chatbots assumindo funções mais clínicas. Os provedores devem permanecer cautelosos e exercer um julgamento crítico ao selecionar conselhos gerados por chatbots devido às limitações e possíveis vieses dos modelos de IA.

O estudo, ‘Putting ChatGPT’s Medical Advice to the (Turing) Test: Survey Study’, foi publicado na Educação Médica JMIR.