ИИ-доктор не ошибается. Это вы неправильно поняли, когда он посоветовал не дышать пару часов
NewsMakerЛюди всё чаще лечатся у чат-бота. Потому что живой врач — роскошь.
Американцы все чаще доверяют свое здоровье виртуальным помощникам: каждый шестой житель США не реже раза в месяц консультируется с чат-ботами по медицинским вопросам. На фоне растущих очередей в больницах и неподъемных цен на здравоохранение цифровые советники вроде ChatGPT кажутся привлекательной альтернативой традиционной медицине.
Однако исследователи из Оксфордского института интернета бьют тревогу. Масштабный эксперимент, результаты которого опубликованы в работе "Clinical knowledge in LLMs does not translate to human interactions", показал: обращение к автоматизированным системам за консультацией несет серьезные риски. Многие пользователи не только затрудняются сформулировать свои вопросы, но и получают противоречивые ответы, где полезная информация перемешана с потенциально опасными рекомендациями.
В рамках исследования 1300 жителей Великобритании столкнулись с различными сценариями, разработанными профессиональными врачами. Участникам предстояло принимать решения о здоровье, используя ведущие нейросети: GPT-4 (ChatGPT), Cohere Command R+ и Llama 3 от Meta. При этом добровольцы могли также обращаться к интернет-поиску или полагаться на собственные знания.
Парадоксальные результаты эксперимента удивили научное сообщество: несмотря на то, что современные языковые модели демонстрируют практически идеальные показатели при сдаче медицинских лицензионных экзаменов, их применение в реальных условиях не дало значимых преимуществ. Более того, после общения с цифровыми консультантами некоторые участники начинали недооценивать серьезность своего состояния. Другие неверно интерпретировали полученные рекомендации, что приводило к ошибочным решениям.
Тревожная тенденция наблюдается и в профессиональной сфере. Исследования показали: рентгенологи, применяющие алгоритмы машинного обучения для анализа снимков грудной клетки, не демонстрируют лучших результатов по сравнению с коллегами, работающими традиционным методом. А специалисты, прибегающие к помощи интеллектуальных систем, лишь незначительно превосходят своих "неоснащенных" коллег в точности диагностики.
Американская медицинская ассоциация еще в 2023 году выпустила официальный документ, призывающий врачей не опираться на автоматические помощники вроде ChatGPT при принятии клинических решений. Отдельную обеспокоенность вызывают вопросы конфиденциальности: каждая современная модель обучается на огромных массивах информации, которые могут включать персональные сведения о пациентах.
Специалисты из Journal of Medical Internet Research предупреждают: любой запрос, направленный виртуальному ассистенту, становится частью его обучающей базы. Когда доктор использует нейросеть для составления письма страховой компании, личные данные больного и информация о его заболевании автоматически попадают в цифровое хранилище системы.
Несмотря на очевидные риски, технологические гиганты продолжают развивать направление компьютеризированной медицины. Apple разрабатывает программного тренера для контроля сна, физической активности и питания. Amazon активно продвигает идею трансформации здравоохранения с помощью передовых технологий, а Microsoft создает инновационную платформу для сортировки сообщений между пациентами и врачами.
Американцы все чаще доверяют свое здоровье виртуальным помощникам: каждый шестой житель США не реже раза в месяц консультируется с чат-ботами по медицинским вопросам. На фоне растущих очередей в больницах и неподъемных цен на здравоохранение цифровые советники вроде ChatGPT кажутся привлекательной альтернативой традиционной медицине.
Однако исследователи из Оксфордского института интернета бьют тревогу. Масштабный эксперимент, результаты которого опубликованы в работе "Clinical knowledge in LLMs does not translate to human interactions", показал: обращение к автоматизированным системам за консультацией несет серьезные риски. Многие пользователи не только затрудняются сформулировать свои вопросы, но и получают противоречивые ответы, где полезная информация перемешана с потенциально опасными рекомендациями.
В рамках исследования 1300 жителей Великобритании столкнулись с различными сценариями, разработанными профессиональными врачами. Участникам предстояло принимать решения о здоровье, используя ведущие нейросети: GPT-4 (ChatGPT), Cohere Command R+ и Llama 3 от Meta. При этом добровольцы могли также обращаться к интернет-поиску или полагаться на собственные знания.
Парадоксальные результаты эксперимента удивили научное сообщество: несмотря на то, что современные языковые модели демонстрируют практически идеальные показатели при сдаче медицинских лицензионных экзаменов, их применение в реальных условиях не дало значимых преимуществ. Более того, после общения с цифровыми консультантами некоторые участники начинали недооценивать серьезность своего состояния. Другие неверно интерпретировали полученные рекомендации, что приводило к ошибочным решениям.
Тревожная тенденция наблюдается и в профессиональной сфере. Исследования показали: рентгенологи, применяющие алгоритмы машинного обучения для анализа снимков грудной клетки, не демонстрируют лучших результатов по сравнению с коллегами, работающими традиционным методом. А специалисты, прибегающие к помощи интеллектуальных систем, лишь незначительно превосходят своих "неоснащенных" коллег в точности диагностики.
Американская медицинская ассоциация еще в 2023 году выпустила официальный документ, призывающий врачей не опираться на автоматические помощники вроде ChatGPT при принятии клинических решений. Отдельную обеспокоенность вызывают вопросы конфиденциальности: каждая современная модель обучается на огромных массивах информации, которые могут включать персональные сведения о пациентах.
Специалисты из Journal of Medical Internet Research предупреждают: любой запрос, направленный виртуальному ассистенту, становится частью его обучающей базы. Когда доктор использует нейросеть для составления письма страховой компании, личные данные больного и информация о его заболевании автоматически попадают в цифровое хранилище системы.
Несмотря на очевидные риски, технологические гиганты продолжают развивать направление компьютеризированной медицины. Apple разрабатывает программного тренера для контроля сна, физической активности и питания. Amazon активно продвигает идею трансформации здравоохранения с помощью передовых технологий, а Microsoft создает инновационную платформу для сортировки сообщений между пациентами и врачами.