Um estudo de pesquisadores da Icahn School of Medicine at Mount Sinai mostra que a forma de redigir uma solicitação pode influenciar significativamente a segurança de decisões apoiadas por IA.
Publicado na Communications Medicine, o estudo constatou que um breve lembrete de segurança reduziu a proporção de escolhas clínicas potencialmente prejudiciais. O resultado não prova que um aviso torne um modelo seguro para uso médico autônomo, mas mostra que instruções e contexto são partes importantes do design de sistemas clínicos de IA.
Uma mudança mensurável em escolhas clínicas simuladas
A equipe avaliou 20 modelos de linguagem em 501 variações de 50 cenários clínicos e 100 casos adaptados de registros hospitalares desidentificados. Ao todo, foram analisadas mais de 10 milhões de respostas.
Os pesquisadores identificaram cerca de 1,18 milhão de escolhas potencialmente prejudiciais. Sem o lembrete, elas representavam 16,6% das respostas; com o lembrete, a taxa caiu para 10,1%.
As escolhas potencialmente prejudiciais diminuíram em 19 dos 20 modelos avaliados.
Por que o contexto importa
A principal descoberta não depende de uma frase específica, mas das condições em que o sistema recebe uma solicitação. Linguagem, enquadramento e contexto podem influenciar as respostas, especialmente quando uma instrução entra em conflito com a segurança do paciente.
Um assistente clínico inclui não apenas o modelo, mas também o fluxo de trabalho que fornece informações do paciente, apresenta opções, define funções, acrescenta alertas e determina se uma pessoa revisará a recomendação.
Testar a solicitação, não apenas a resposta
As avaliações de IA na saúde costumam medir se o modelo fornece informações corretas. Este trabalho acrescenta outra dimensão: se o modelo continua priorizando a segurança do paciente quando a própria solicitação o empurra em outra direção.
Os resultados sugerem que a estratégia de prompts deve ser testada junto com precisão, confiabilidade e outras medidas de desempenho.
O que os resultados mostram e não mostram
Instruções breves orientadas à segurança podem reduzir escolhas prejudiciais nos cenários estudados. Elas não demonstram que modelos possam tomar decisões clínicas de forma independente nem que a mesma redução ocorrerá em todos os hospitais, especialidades ou produtos.
Os avisos precisam ser validados no ambiente específico e avaliados junto com supervisão clínica e outras salvaguardas.
Uma consideração de design para a IA clínica
A linguagem de segurança deve ser uma parte testável do produto, e não um acréscimo posterior. O estudo mostra que um lembrete breve não resolve todos os problemas, mas pode conduzir o comportamento do modelo a uma direção mais segura.
Este artigo é baseado em uma reportagem da Medical Xpress. Leia o artigo original.
Originally published on medicalxpress.com
