臨床予測研究で利用可能なコードが共有されるケースはいまだ少ない

臨床予測モデルに必要なのは公開された結果だけではない

臨床予測モデルは、診断や予後に関する意思決定を支援するため、ますます利用されている。報告された精度は、臨床医がリスクを推定し、検査の優先順位を決め、患者と見込みのある結果について話し合う方法に影響を与える可能性がある。しかしNature Medicineに掲載された新たな分析は、こうしたモデルを評価するための基本的な条件の一つが依然としてまれだと指摘する。それは、モデルの背後にある解析コードへのアクセスだ。

この研究では、予測モデル研究の透明な報告に関わるTRIPODまたはTRIPOD+AIの報告フレームワークを引用した、オープンアクセスの研究論文を調査した。研究者は大規模言語モデルを利用した支援パイプラインで文献をスクリーニングし、リポジトリへのリンクを特定するとともに、取得できたリポジトリを再現性に関する14の事前定義済みの特徴で評価した。

調査した3,967本の論文のうち、482本にはコードを共有していると記した声明が含まれていた。サンプルの12.2%にあたる。この結果は、残りのすべての研究にアクセス可能なコードがなかったことを示すものではないが、調査対象の文献では、明示的なコード共有の声明が依然として例外だったことを示している。

利用可能であることと再現可能であることは同じではない

研究者が示した中心的な点は、リポジトリへのリンクだけでは、解析を確認したり再利用したりしやすくはならないということだ。評価したリポジトリでは、再現性に関する特徴に大きなばらつきが見られた。実際には、別の研究者がモデルを再構築できるかを理解するには、ソースファイル以上のものが必要になる場合がある。文書、ソフトウェア依存関係の情報、実行可能なプロジェクト構成はいずれも重要になり得る。

この区別は、臨床予測の研究において特に重要だ。モデルは、特定のコホート、前処理ワークフロー、アウトカムの定義に基づいて開発される可能性がある。解析手順を独立して検証できなければ、ワークフロー上の選択が報告された性能にどのような影響を与えたのか、また別の環境に適用して検証できるのかを、外部の研究者が評価することは難しくなる。

レビューでは、コード共有の普及度がジャーナルや国によって大きく異なることも分かった。提供された研究本文は、どのジャーナルや国が先行または遅れていたかを特定していないが、このばらつきは、研究者が成果を公開するかどうかに規範や編集上の期待が影響していることを示唆する。

AI支援による研究慣行のレビュー

著者らは、大規模言語モデルを利用したプロセスを方法論的な役割で用いた。関連論文のスクリーニング、リポジトリへのリンクの抽出、事前定義された特徴群に基づくリポジトリ評価の支援である。この方法により、チームは数千本の論文を調査できた一方、実質的な測定は具体的な報告内容とリポジトリの特徴に焦点を置いたままだった。

この利用は、研究ガバナンスにおけるより広い課題も反映している。出版量が増えるにつれて、透明性の実践を人手で監査することは規模を拡大しにくくなる。構造化され、慎重に設計された自動化パイプラインは、明確に定義された基準に照らして出力を評価することを前提に、こうした実践の全体像を把握するのに役立つ。このケースでは、基準はコードの利用可能性と再現性に関連する特徴に結び付けられており、個々のモデルの科学的品質を自動的に判断するものではなかった。

このギャップが導入にとって重要な理由

臨床モデルは現実の意思決定に情報を提供することを目的としているため、その信頼性と一般化可能性は厳密に検討される必要がある。公開論文では有効に見えるモデルも、患者集団、データ収集、臨床ワークフローが異なる別の場所で導入されると、異なる性能を示す可能性がある。解析プロセスを独立して評価することは、そうした主張の基盤を検討する一つの方法だ。

オープンコードだけで、すべての再現性の問題を解決できるわけではない。患者データはプライバシーや法的理由で制限される可能性があり、外部の利用者は元データにアクセスできなければ、解析を完全に再現できない場合がある。それでも、明確な解析コード、依存関係の詳細、利用可能な文書があれば、研究を検証しやすくし、別のデータセットで責任を持って検証するために何が必要かを研究者が理解する助けになる。

著者らは、この結果をコードが存在するという単純な宣言を超えた、より明確な期待を支持する証拠として位置付けている。文書、依存関係の仕様、実行可能な構成は、より強固な実践の一部であるべきだという。これらの要素は、読者や研究の再現・拡張を試みるチームの曖昧さを減らすことができる。

TRIPOD-Codeが次の政策目標に

このレビューは、コードの利用可能性と再現性に焦点を置く報告ガイドライン、TRIPOD-Codeに情報を提供するために実施された。報告ガイドライン自体が、研究者による完全で利用可能なプロジェクトの公開を保証するわけではない。しかし、著者、査読者、ジャーナルに期待されることを明示し、何が提供されたかを特定するための共通語彙を作ることはできる。

この結果は具体的な基準を示している。この文献サンプルでは、コード共有の声明を含んでいたのは約8本に1本だけだった。モデルが臨床利用へと向かっている分野において、共有される解析作業の質と明確さを高めることで、研究がより使いやすくなり、実践への安全な橋渡しを支えられる可能性があると、著者らは主張している。

したがって、この研究は、論文がコードに言及しているかどうかから、独立した読者が解析ワークフローを理解し実行できるかどうかへと注目を移している。これはより高い基準だが、臨床現場で臨床予測モデルを頼りにする前に、その妥当性を判断するために必要な証拠と密接に一致している。

この記事はNature Medicineの報道に基づいている。 原記事を読む。