IA pode incentivar experimentos científicos perigosos

Pesquisadores alertam que usar modelos de IA para desenhar experimentos científicos pode levar a incêndios, explosões ou envenenamentos.

Em testes com 19 modelos diferentes, nenhum conseguiu identificar todos os perigos, com alguns apresentando desempenho próximo ao do chute aleatório.

Modelos de IA falham em detectar riscos básicos

Embora acidentes graves em laboratórios universitários sejam raros, episódios como a morte da química Karen Wetterhahn em 1997 e explosões com danos físicos mostram o perigo real. Com a crescente adoção da IA, esses riscos ganham uma nova dimensão, já que modelos de grande porte — usados para diversas tarefas — podem fornecer respostas imprecisas ou inventadas, o que é alarmante em contextos de segurança laboratorial.

Teste LabSafety Bench revela limitações da IA

A pesquisadora Xiangliang Zhang, da Universidade de Notre Dame, elaborou o LabSafety Bench, um teste com 765 perguntas de múltipla escolha e 404 cenários visuais que avaliam se a IA reconhece riscos em laboratório. Nenhum dos 19 modelos testados ultrapassou 70% de acerto, e alguns ficaram próximos do desempenho ao acaso, especialmente em análises de imagens.

Perspectivas e precauções para o futuro

Zhang acredita que a IA terá futuro promissor na ciência, inclusive em laboratórios automatizados, mas afirma que ainda não está pronta para projetar experimentos de forma segura, pois os modelos são treinados para tarefas gerais e carecem de conhecimento específico sobre riscos laboratoriais.

Em resposta, porta-vozes da OpenAI ressaltam que seus modelos mais recentes possuem avanços na detecção de erros e planejamento, e que humanos e sistemas de segurança devem seguir responsáveis pelas decisões críticas. Outras empresas como Google, DeepSeek, Meta, Mistral e Anthropic ainda não comentaram sobre o estudo.

Matéria original: https://www.newscientist.com/article/2511098-all-major-ai-models-risk-encouraging-dangerous-science-experiments/?utm_campaign=RSS%7CNSNS&utm_source=NSNS&utm_medium=RSS&utm_content=home