Испытание AI на практике

Вопрос о том, может ли искусственный интеллект по-настоящему заменить или дополнить человеческий опыт в медицинских исследованиях, перешел от теоретических дебатов к эмпирическому расследованию. Новое исследование, проведенное исследователями из University of California, San Francisco и Wayne State University, предоставило одни из самых убедительных доказательств того, что системы generative AI способны обрабатывать сложный анализ медицинских данных в темпе, намного превосходящем традиционные подходы человека.

Исследовательская команда разработала прямое сравнение, поставив восемь коммерчески доступных AI чат-ботов против исследовательских групп людей на идентичные аналитические задачи. Наборы данных содержали клиническую информацию более чем от 1000 беременных женщин, а задачи были существенными: прогнозирование риска преждевременных родов и оценка гестационного возраста с использованием образцов крови и данных тканей плаценты.

Это не простые аналитические проблемы. Они требуют понимания сложных биологических взаимосвязей, работы с беспорядочными реальными данными с отсутствующими значениями и смешивающими переменными, а также создания кода, который может обрабатывать наборы данных через pipeline машинного обучения. Это именно тот вид работы, который традиционно требовал опытных биостатистиков и специалистов по данным, работающих в течение продолжительных периодов.

Результаты, удивившие даже исследователей

Из восьми протестированных систем AI четыре произвели код, который был функциональным и пригодным для назначенных задач. Хотя показатель успеха в пятьдесят процентов может показаться неудовлетворительным, производительность этих четырех систем была замечательной. Анализы, созданные AI, соответствовали или превосходили качество результатов, полученных опытными исследовательскими командами.

Возможно, наиболее поразительным открытием была младшая исследовательская пара: магистрант, работающий вместе с учеником средней школы. Используя помощь AI, эта относительно неопытная пара создала прогностические модели за минуты, что обычно требует опытных программистов часов или даже дней для разработки. AI не просто ускорил работу; он принципиально снизил барьер для входа в проведение сложного анализа медицинских данных.

Когда измеряется на протяжении всей шкалы времени проекта, преимущества становились еще более выраженными. Исследовательские усилия, управляемые AI, были завершены примерно за шесть месяцев. Сравнимая работа, выполненная традиционными человеческими командами, заняла почти два года для консолидации в аналогичные выводы. Это представляет примерно семьдесят пять процентов сокращения времени до результатов.

Демократизация медицинских исследований

Одно из наиболее значительных последствий исследования выходит за рамки чистой скорости. Generative AI имеет потенциал для демократизации доступа к передовым возможностям науки о данных в медицинских исследованиях. В настоящее время проведение того типа анализа, протестированного в этом исследовании, требует либо обширного опыта программирования, либо доступа к специализированным командам биостатистики. Оба ресурса редки и дорогостоящи, особенно в небольших исследовательских учреждениях и в странах с низким доходом.

Если generative AI может надежно производить аналитический код, который соответствует качеству эксперта, это может позволить гораздо более широкому кругу исследователей заниматься исследованиями, управляемыми данными. Клиницист с убедительным исследовательским вопросом и доступом к соответствующему набору данных может потенциально перейти от гипотезы к результатам без необходимости нанимать специальную команду науки о данных.

Исследователи сформулировали эту потенциальность в срочных терминах, отметив, что ускорение не может прийти скорее для пациентов, которым нужна помощь сейчас. В областях, таких как исследование преждевременных родов, где преждевременные роды остаются ведущей причиной смертности новорожденных во всем мире, ускорение темпа открытий имеет прямые гуманитарные последствия.

Вопрос о качестве

Скорость бессмысленна, если она дается ценой точности, и исследователи были осторожны в решении этой проблемы. Системы AI, которые произвели функциональный код, генерировали результаты, статистически сравнимые с результатами человеческих команд. В некоторых специфических аналитических задачах выходы AI были фактически лучше, идентифицируя закономерности или производя модели с более высокой прогностической точностью.

Однако исследование также выявило важные ограничения. Половина протестированных систем AI не смогла произвести пригодный код вообще, генерируя выходы, содержащие ошибки, производящие бессмысленные результаты или просто не компилирующиеся. Эта непоследовательность подчеркивает, что generative AI еще не является готовым решением для анализа медицинских данных.

Исследователи подчеркивали, что человеческий надзор остается необходимым на протяжении всего процесса. Системы AI могут производить результаты, которые выглядят правдоподобно, но принципиально ошибочны, явление, иногда называемое уверенной неправотой или галлюцинацией. Без экспертного обзора такие ошибки могут распространиться в опубликованные исследования и в конечном итоге повлиять на клиническую практику.

Критические области, где человеческое суждение остается незаменимым, включают:

  • Оценка того, является ли аналитический подход, выбранный AI, подходящим для конкретного исследовательского вопроса
  • Оценка того, являются ли результаты биологически правдоподобными и согласуются с существующими медицинскими знаниями
  • Выявление потенциальных предвзятостей в данных, которые AI может не распознать или учесть
  • Интерпретация результатов в их надлежащем клиническом контексте и перевод их в практические медицинские знания
  • Обеспечение соблюдения этических соображений относительно конфиденциальности данных пациентов и целостности исследований

Последствия для исследовательской рабочей силы

Исследование поднимает важные вопросы о будущем медицинской исследовательской рабочей силы. Если младшие исследователи, оснащенные инструментами AI, могут производить анализы, сравнимые с анализами опытных команд, традиционный карьерный путь в биомедицинской науке о данных может потребовать эволюции.

Вместо того чтобы вытеснять квалифицированных исследователей, AI с большей вероятностью изменит характер их работы. Вместо того чтобы тратить большую часть своего времени на написание кода и обработку данных, опытные исследователи могли бы сосредоточиться на более высокоуровневых задачах: формулирование исследовательских вопросов, дизайн исследований, интерпретация результатов и трансляция выводов в клинические применения. AI обрабатывает вычислительный труд; люди обеспечивают научное суждение и контекстное понимание.

Такой сдвиг также может решить устойчивый узкое место в медицинских исследованиях. Многие многообещающие исследования застревают не потому, что данные не существуют или вопросы не важны, а потому, что нет достаточно квалифицированных аналитиков для выполнения вычислительной работы. Generative AI может помочь очистить эту отставание, ускоряя прогресс одновременно в нескольких исследовательских областях.

Что дальше

Исследователи планируют расширить свое расследование на дополнительные медицинские области и более сложные аналитические задачи. Они также стремятся разработать лучшие практики для интеграции generative AI в исследовательские рабочие процессы, включая руководящие принципы контроля качества, протоколы валидации и надлежащее раскрытие участия AI в опубликованных исследованиях.

По мере того как возможности AI продолжают улучшаться и инструменты становятся более надежными, баланс между анализом, созданным AI, и анализом, созданным человеком, в медицинских исследованиях будет продолжать сдвигаться. Текущее исследование предоставляет убедительные доказательства того, что этот сдвиг не только возможен, но уже идет, с существенными преимуществами для темпа и доступности медицинского открытия.

Для пациентов, ожидающих прорывов в исследованиях, ускорение не может прийти достаточно скоро. Способность сжать два года аналитической работы в шесть месяцев означает, что знания, достигающие клинической практики, могли бы прибыть значительно раньше, потенциально спасая жизни, которые иначе были бы потеряны на медленном ходу традиционных исследовательских графиков.

Эта статья основана на отчетах Science Daily. Прочитайте оригинальную статью.