Estudos de predição clínica ainda raramente compartilham código utilizável

Modelos de predição clínica precisam de mais do que um resultado publicado

Modelos de predição clínica são cada vez mais usados para apoiar decisões diagnósticas e prognósticas. A precisão relatada pode influenciar a forma como os médicos estimam riscos, priorizam exames ou discutem possíveis desfechos com os pacientes. Mas uma nova análise na Nature Medicine argumenta que uma condição básica para avaliar esses modelos continua incomum: o acesso ao código analítico por trás deles.

O estudo revisou artigos de pesquisa de acesso aberto que citavam as estruturas de relato TRIPOD ou TRIPOD+AI, voltadas ao relato transparente de estudos de modelos de predição. Os pesquisadores usaram um fluxo de trabalho assistido por um modelo de linguagem de grande escala para examinar a literatura, identificar links de repositórios e avaliar os repositórios que conseguiram recuperar usando 14 características predefinidas relacionadas à reprodutibilidade.

Dos 3.967 artigos examinados, 482 incluíam uma declaração de que o código era compartilhado. Isso corresponde a 12,2% da amostra. A descoberta não prova que todos os estudos restantes não tinham código acessível, mas mostra que declarações explícitas de compartilhamento de código ainda eram exceção na literatura revisada.

Disponibilidade não é o mesmo que reprodutibilidade

O ponto central dos pesquisadores é que um link para um repositório, por si só, não torna uma análise fácil de verificar ou reutilizar. Eles encontraram uma variação substancial nas características relacionadas à reprodutibilidade dos repositórios avaliados. Na prática, outro pesquisador pode precisar de mais do que arquivos-fonte para entender se um modelo pode ser recriado: documentação, informações sobre dependências de software e uma estrutura de projeto executável também podem ser importantes.

Essa distinção é particularmente importante para o trabalho de predição clínica. Um modelo pode ser desenvolvido a partir de uma coorte específica, um fluxo de pré-processamento e um conjunto de definições de desfechos. Se as etapas analíticas não puderem ser inspecionadas de forma independente, fica mais difícil para pesquisadores externos avaliar como as escolhas feitas no fluxo de trabalho afetaram o desempenho relatado ou se o trabalho pode ser adaptado e testado em outro contexto.

A revisão também constatou que a prevalência do compartilhamento de código variava amplamente por periódico e país. O texto fornecido do estudo não identifica quais periódicos ou países lideravam ou ficavam para trás, mas a variação sugere que normas e expectativas editoriais influenciam se os pesquisadores disponibilizam seu trabalho.

Uma revisão assistida por IA das práticas de pesquisa

Os autores usaram um processo assistido por um modelo de linguagem de grande escala em uma função metodológica: examinar os artigos relevantes, extrair links de repositórios e ajudar a avaliar os repositórios em relação a um conjunto predefinido de características. A abordagem permitiu à equipe examinar milhares de artigos, enquanto a medida substantiva permaneceu focada em características concretas do relato e dos repositórios.

Seu uso também reflete um desafio mais amplo na governança da pesquisa. À medida que o volume de publicações cresce, auditorias manuais das práticas de transparência tornam-se difíceis de ampliar. Fluxos de trabalho automatizados, estruturados e cuidadosamente projetados podem ajudar a mapear essas práticas, desde que seus resultados sejam avaliados segundo critérios claramente definidos. Neste caso, os critérios estavam ligados à disponibilidade do código e a características relevantes para a reprodutibilidade, e não a um julgamento automatizado sobre a qualidade científica de um modelo individual.

Por que a lacuna importa para a implementação

Modelos clínicos destinam-se a orientar decisões no mundo real, portanto sua confiabilidade e generalização precisam ser examinadas de perto. Um modelo que parece eficaz em um artigo publicado pode ter desempenho diferente quando implementado em outro lugar, onde populações de pacientes, coleta de dados e fluxos clínicos são distintos. A avaliação independente do processo analítico é uma forma de examinar os fundamentos dessas alegações.

O código aberto não pode resolver todos os problemas de reprodutibilidade. Dados de pacientes podem ser restritos por razões de privacidade e legais, e usuários externos talvez não consigam recriar uma análise exatamente sem acesso aos dados originais. Ainda assim, código analítico claro, detalhes das dependências e documentação utilizável podem tornar o trabalho mais inspecionável e ajudar pesquisadores a entender o que seria necessário para testá-lo de forma responsável com outro conjunto de dados.

Os autores apresentam os resultados como evidência a favor de expectativas mais claras do que uma simples declaração de que o código existe. Eles afirmam que documentação, especificação de dependências e estrutura executável deveriam fazer parte de uma prática mais robusta. Esses elementos podem reduzir a ambiguidade para os leitores e para equipes que tentem reproduzir ou ampliar um estudo.

TRIPOD-Code é o próximo alvo de políticas

A revisão foi realizada para subsidiar o TRIPOD-Code, uma diretriz de relato focada na disponibilidade do código e na reprodutibilidade. Diretrizes de relato não garantem, por si só, que os pesquisadores liberem projetos completos e utilizáveis. Elas podem, no entanto, tornar as expectativas visíveis para autores, revisores e periódicos, além de criar um vocabulário comum para identificar o que foi fornecido.

O resultado oferece um parâmetro concreto: nesta amostra da literatura, apenas cerca de um em cada oito artigos incluía uma declaração de compartilhamento de código. Em um campo cujos modelos avançam rumo ao uso clínico, os autores argumentam que melhorar a qualidade e a clareza do trabalho analítico compartilhado poderia tornar a pesquisa mais utilizável e ajudar a apoiar uma tradução mais segura para a prática.

O estudo, portanto, desloca a atenção de saber se um artigo apenas menciona código para saber se um leitor independente poderia entender e executar o fluxo de trabalho analítico. É um padrão mais alto, mas estreitamente alinhado às evidências necessárias para avaliar modelos de predição clínica antes que se confie neles em ambientes de atendimento.

Este artigo baseia-se em uma reportagem da Nature Medicine. Leia o artigo original.