Pesquisadores descrevem como os chatbots de IA podem ser aprovados como dispositivos médicos

As ferramentas de bate-papo generativas baseadas em LLM, como ChatGPT ou MedPaLM do Google, têm grande potencial médico, mas existem riscos inerentes associados ao seu uso não regulamentado na área da saúde. Um novo Medicina da Natureza O artigo do Prof. Stephen Gilbert e colegas aborda uma das questões internacionais mais prementes de nosso tempo: como regular modelos de linguagem ampla (LLMs) em geral e especificamente na saúde.

“Large Language Models são modelos de linguagem de rede neural com habilidades de conversação notáveis. Eles geram respostas semelhantes às humanas e se envolvem em conversas interativas. No entanto, eles geralmente geram declarações altamente convincentes que estão comprovadamente erradas ou fornecem respostas inadequadas”, disse o Prof. Stephen Gilbert, Professor de Ciência Reguladora de Dispositivos Médicos no Else Kröner Fresenius Center for Digital Health na TU Dresden.

“Hoje não há como ter certeza sobre a qualidade, nível de evidência ou consistência das informações clínicas ou evidências de suporte para qualquer resposta. Esses chatbots são ferramentas inseguras quando se trata de aconselhamento médico e é necessário desenvolver novas estruturas que garantam o paciente segurança.”

Desafios na aprovação regulatória de grandes modelos de linguagem

A maioria das pessoas pesquisa seus sintomas online antes de procurar aconselhamento médico. Os mecanismos de pesquisa desempenham um papel importante no processo de tomada de decisão. A próxima integração de LLM-chatbots em motores de busca pode aumentar a confiança dos usuários nas respostas dadas por um chatbot que imita uma conversa. Foi demonstrado que os LLMs podem fornecer informações profundamente perigosas quando solicitados por perguntas médicas. A abordagem subjacente do LLM não tem nenhum modelo de “verdade absoluta” médica, o que é perigoso.

Os LLMs com interface de bate-papo já forneceram respostas médicas prejudiciais e já foram usados ​​de forma antiética em “experimentos” em pacientes sem consentimento. Quase todos os casos de uso de LLM médicos requerem controle regulatório na UE e nos EUA. Nos EUA, a falta de explicação os desqualifica como “não dispositivos”. LLMs com explicabilidade, baixo viés, previsibilidade, correção e resultados verificáveis ​​não existem atualmente e não estão isentos de abordagens de governança atuais (ou futuras).

Neste artigo, os autores descrevem os cenários limitados em que os LLMs podem encontrar aplicação nas estruturas atuais, descrevem como os desenvolvedores podem procurar criar ferramentas baseadas em LLM que possam ser aprovadas como dispositivos médicos e exploram o desenvolvimento de novas estruturas que preservam a integridade do paciente segurança.

“Os chatbots LLM atuais não atendem aos princípios-chave para IA na área da saúde, como controle de viés, explicabilidade, sistemas de supervisão, validação e transparência. Para ganhar seu lugar no arsenal médico, os chatbots devem ser projetados para melhor precisão, com segurança e clínica eficácia demonstrada e aprovada pelos reguladores”, conclui o Prof. Gilbert.