Chatbots de IA e saúde: uma combinação séria
Milhões de pessoas têm recorrido a chatbots de inteligência artificial (IA) para obter conselhos sobre os mais variados temas, desde culinária até declarações de imposto de renda. Além disso, cada vez mais usuários consultam esses sistemas sobre questões de saúde. Entretanto, como alertou recentemente o chefe médico do Reino Unido, confiar em chatbots para decisões médicas pode não ser uma escolha sábia.
Estudo revela limitações dos modelos linguísticos em saúde
Em um estudo recente, colegas e eu avaliamos como os chatbots baseados em modelos de linguagem de grande porte (LLMs) auxiliam o público com problemas comuns de saúde. Os resultados foram surpreendentes. Os chatbots ainda não estão preparados para substituir o papel do médico. Portanto, embora a IA evolua rapidamente, estudos com versões atualizadas dessas ferramentas ainda apontam os mesmos desafios.
Metodologia do estudo
Fornecemos a participantes descrições breves de situações médicas comuns. Eles foram divididos aleatoriamente em dois grupos: um usou um dos três chatbots disponíveis no mercado, e o outro utilizou suas fontes habituais de informação em casa.
Em seguida, fizemos duas perguntas importantes: qual condição poderia explicar os sintomas? E onde a pessoa deveria buscar atendimento?
Chatbots não melhoram as decisões dos usuários
As pessoas que usaram chatbots acertaram menos o diagnóstico correto do que aquelas que recorreram a outras fontes. Além disso, não apresentaram melhor desempenho na escolha do local adequado para atendimento quando comparadas ao grupo controle. Ou seja, interagir com o chatbot não ajudou a tomar decisões de saúde mais eficazes.
Conhecimento médico existe, mas a comunicação falha
Isso não indica que os modelos careçam de conhecimento médico, pois LLMs conseguem passar facilmente em exames de licenciamento médico. De fato, quando eliminamos o componente humano e oferecemos os cenários diretamente aos chatbots, o desempenho melhorou significativamente. Eles identificaram condições relevantes na maioria dos casos e recomendaram níveis de cuidados adequados.
Criptografia e Segurança de Redes: Princípios e Práticas
Um guia abrangente sobre fundamentos de criptografia, segurança de redes e proteção de dados — ideal para estudantes e profissionais de tecnologia que buscam domínio prático e teórico.
★★★★★ 4.8
Ver na Amazon →* Link de afiliado. Se você comprar, recebemos uma pequena comissão sem custo adicional para você.
Problemas na interação humana e máquina
Portanto, por que o desempenho cai quando as pessoas utilizam os sistemas? Ao analisar as conversas, percebemos que os chatbots frequentemente mencionam o diagnóstico correto durante o diálogo. Entretanto, muitos usuários não notam ou não se lembram dele ao fornecer a resposta final.
Além disso, informações incompletas fornecidas pelos usuários ou interpretações equivocadas do chatbot agravam o problema. Assim, não se trata apenas de falhas no conhecimento médico, mas principalmente de uma comunicação deficiente entre humano e máquina.
Implicações para políticas e práticas médicas
Este estudo evidencia que os formuladores de políticas devem considerar a performance real desses sistemas antes de adotá-los em áreas críticas, como a terapia celular contra o câncer ou outras especialidades médicas. Além disso, avaliações que focam apenas em testes estruturados ou simulações “modelo a modelo” não refletem os desafios do uso real.
Realidade complexa do atendimento clínico
Pacientes costumam descrever sintomas de forma vaga ou incompleta e podem interpretar mal as explicações recebidas. Eles também fazem perguntas em ordens imprevisíveis. Por isso, mesmo sistemas que apresentam resultados excelentes em benchmarks podem falhar quando interagem com pessoas reais.
Como médico de família, posso afirmar que a prática clínica vai muito além do simples reconhecimento de uma doença. Medicina é frequentemente considerada uma arte, pois envolve interpretar a narrativa do paciente, lidar com incertezas e negociar decisões compartilhadas.
Ensino médico e complexidade da comunicação
Educadores médicos reconhecem essa complexidade há décadas. Por exemplo, o modelo Calgary–Cambridge orienta a construir rapport com o paciente, coletar informações através de questionamentos cuidadosos, compreender preocupações e expectativas, explicar achados claramente e estabelecer planos conjuntos. Isso evidencia que a comunicação eficaz é tão vital quanto o conhecimento técnico.
Por fim, para quem deseja entender os riscos da doença renal associada a decisões médicas equivocadas, esse estudo é um alerta importante.
Matéria original: https://www.sciencealert.com/ai-chatbots-are-bad-at-diagnosing-symptoms-for-a-surprising-reason-study-finds
Deixe seu comentário