Notícias

Boas evidências confundem o ChatGPT quando usado para informações de saúde, segundo estudo

chatgpt

Crédito: Pixabay/CC0 Domínio Público

Um estudo pioneiro no mundo descobriu que, quando feita uma pergunta relacionada à saúde, quanto mais evidências são fornecidas ao ChatGPT, menos confiável ele se torna – reduzindo a precisão de suas respostas para apenas 28%.

O estudo foi apresentado recentemente na Empirical Methods in Natural Language Processing (EMNLP), uma conferência sobre Processamento de Linguagem Natural na área. As descobertas são publicadas em Anais da Conferência de 2023 sobre Métodos Empíricos em Processamento de Linguagem Natural.

À medida que os grandes modelos de linguagem (LLMs), como o ChatGPT, explodem em popularidade, representam um risco potencial para o número crescente de pessoas que utilizam ferramentas online para obter informações importantes sobre saúde.

Cientistas da CSIRO, a agência científica nacional da Austrália, e da Universidade de Queensland (UQ) exploraram um cenário hipotético de uma pessoa comum (consumidor de saúde não profissional) perguntando ao ChatGPT se o tratamento “X” tem um efeito positivo na condição “Y”.

As 100 perguntas apresentadas variaram entre “O zinco pode ajudar a tratar o resfriado comum?” para “Beber vinagre dissolverá uma espinha de peixe presa?”

A resposta do ChatGPT foi comparada com a resposta correta conhecida, ou “verdade básica”, com base no conhecimento médico existente.

O principal cientista pesquisador da CSIRO e professor associado da UQ, Dr. Bevan Koopman, disse que, embora os riscos da busca por informações de saúde online estejam bem documentados, as pessoas continuam a buscar informações de saúde online e cada vez mais por meio de ferramentas como o ChatGPT.

“A ampla popularidade do uso de LLMs on-line para obter respostas sobre a saúde das pessoas é a razão pela qual precisamos de pesquisas contínuas para informar o público sobre os riscos e ajudá-lo a otimizar a precisão de suas respostas”, disse o Dr. Koopman. “Embora os LLMs tenham o potencial de melhorar significativamente a forma como as pessoas acedem à informação, precisamos de mais investigação para compreender onde são eficazes e onde não são.”

O estudo analisou dois formatos de perguntas. A primeira foi apenas uma pergunta. A segunda foi uma questão tendenciosa com evidências de apoio ou contrárias.

Os resultados revelaram que o ChatGPT foi muito bom em fornecer respostas precisas em formato apenas de perguntas, com uma precisão de 80% neste cenário.

No entanto, quando o modelo de linguagem recebeu uma solicitação baseada em evidências, a precisão foi reduzida para 63%. A precisão foi reduzida novamente para 28% quando uma resposta “insegura” foi permitida. Esta descoberta é contrária à crença popular de que a apresentação de evidências melhora a precisão.

“Não temos certeza de por que isso acontece. Mas, dado que isso ocorre, independentemente de a evidência fornecida ser correta ou não, talvez a evidência acrescente muito ruído, diminuindo assim a precisão”, disse o Dr. Koopman.

ChatGPT foi lançado em 30 de novembro de 2022 e rapidamente se tornou um dos grandes modelos de linguagem (LLMs) mais amplamente usados. LLMs são uma forma de inteligência artificial que reconhece, traduz, resume, prevê e gera texto.

O coautor do estudo, professor da UQ, Guido Zuccon, diretor de IA do Queensland Digital Health Centre (QDHeC), disse que os principais mecanismos de pesquisa estão agora integrando LLMs e tecnologias de pesquisa em um processo chamado Retrieval Augmented Generation.

“Demonstramos que a interação entre o LLM e o componente de busca ainda é pouco compreendida e controlável, resultando na geração de informações de saúde imprecisas”, disse o professor Zuccon.

Os próximos passos da pesquisa são investigar como o público utiliza as informações de saúde geradas pelos LLMs.

Mais Informações:
Bevan Koopman et al, Dr. ChatGPT, diga-me o que quero ouvir: como diferentes solicitações afetam a correção das respostas de saúde, Anais da Conferência de 2023 sobre Métodos Empíricos em Processamento de Linguagem Natural (2023). DOI: 10.18653/v1/2023.emnlp-main.928

Citação: Boas evidências confundem o ChatGPT quando usado para informações de saúde, conclui o estudo (2024, 3 de abril) recuperado em 4 de abril de 2024 em https://medicalxpress.com/news/2024-04-good-evidence-chatgpt-health.html

Este documento está sujeito a direitos autorais. Além de qualquer negociação justa para fins de estudo ou pesquisa privada, nenhuma parte pode ser reproduzida sem permissão por escrito. O conteúdo é fornecido apenas para fins informativos.

Looks like you have blocked notifications!

Segue as Notícias da Comunidade PortalEnf e fica atualizado.(clica aqui)

Portalenf Comunidade de Saúde

A PortalEnf é um Portal de Saúde on-line que tem por objectivo divulgar tutoriais e notícias sobre a Saúde e a Enfermagem de forma a promover o conhecimento entre os seus membros.

Deixe um comentário

Artigos Relacionados

Botão Voltar ao Topo
Keuntungan Bermain Di Situs Judi Bola Terpercaya Resmi slot server jepang