Un estudio de investigadores de la Icahn School of Medicine at Mount Sinai muestra que la forma de redactar una solicitud puede influir de manera importante en la seguridad de las decisiones asistidas por IA.
Publicado en Communications Medicine, el estudio halló que un breve recordatorio de seguridad redujo la proporción de decisiones clínicas potencialmente dañinas. No demuestra que un aviso haga seguro un modelo para uso médico autónomo, pero confirma que las instrucciones y el contexto son componentes importantes del diseño de sistemas clínicos de IA.
Un cambio medible en decisiones clínicas simuladas
El equipo evaluó 20 modelos de lenguaje en 501 variaciones de 50 escenarios clínicos y 100 casos adaptados de historiales hospitalarios desidentificados. En total, analizó más de 10 millones de respuestas.
Identificó alrededor de 1,18 millones de decisiones potencialmente dañinas. Sin recordatorio, representaban el 16,6% de las respuestas; con él, la tasa bajó al 10,1%.
El recordatorio redujo las decisiones potencialmente dañinas en 19 de los 20 modelos evaluados.
Por qué importa el contexto
El hallazgo central no depende de una frase concreta, sino de las condiciones en que el sistema recibe una solicitud. El lenguaje, el encuadre y el contexto pueden influir en sus respuestas, especialmente cuando una instrucción entra en conflicto con la seguridad del paciente.
Un asistente clínico no es solo el modelo subyacente: también incluye el flujo de trabajo que aporta información del paciente, presenta opciones, define funciones, añade advertencias y determina si una persona revisa una recomendación.
Evaluar la solicitud, no solo la respuesta
Las evaluaciones de IA sanitaria suelen medir si un modelo proporciona información correcta. Este trabajo añade otra dimensión: si sigue priorizando la seguridad del paciente cuando la solicitud lo empuja en otra dirección.
Los resultados sugieren que la estrategia de instrucciones debe probarse junto con la precisión, la fiabilidad y otras medidas de rendimiento.
Qué muestran y qué no muestran los resultados
Las instrucciones breves orientadas a la seguridad pueden reducir decisiones dañinas en los escenarios estudiados. No demuestran que los modelos puedan tomar decisiones clínicas de forma independiente ni que la reducción se repita sin cambios en todos los hospitales, especialidades o productos.
Los avisos deben validarse en el entorno específico y evaluarse junto con la supervisión clínica y otras salvaguardas.
Una consideración de diseño para la IA clínica
El lenguaje de seguridad debe considerarse una parte comprobable del producto, no una medida añadida al final. El estudio muestra que un recordatorio breve no resuelve todos los problemas, pero puede orientar el comportamiento del modelo hacia una mayor seguridad.
Este artículo se basa en información de Medical Xpress. Leer el artículo original.
Originally published on medicalxpress.com
