FT: чат-боты ставят неверные первичные диагнозы в 80% случаев
Лента новостей
Исследование проводилось на 21-й ИИ-модели, включая передовые ChatGPT, Claude, Gemini и DeepSeek. Однако отмечается, что если предоставить чат-боту больше данных о пациенте, то точность диагноза повышается. Но доверять ему все равно не стоит
В рамках эксперимента ИИ-моделям поэтапно предоставляли различные данные о пациенте. Например, на первом этапе симптомы, на втором — историю заболевания, на третьем — результаты физического осмотра и так далее. На каждом этапе исследователи определяли процент ошибок, и при первичном диагнозе, то есть когда данных мало, ИИ-модели ошибались более чем в 80% случаев, пишет Financial Times.
На последнем этапе, когда нейронки получали более полные данные, они все равно ставили неверный диагноз примерно в 40% случаев.
В России, как Бизнес ФМ рассказали сами врачи, искусственный интеллект в медицине используется как помощник. С его помощью обрабатывают данные в электронных медицинских картах и в том числе проводят диагностику.
Однако для этого медучреждения используют специализированные ИИ-модели. Если использовать обычный чат-бот, то это сродни «самодиагнозу», когда человек просто гуглит симптомы. Продолжает гендиректор и главный врач клиники «К+31 Запад», кандидат медицинских наук Владимир Елишев:
Владимир Елишев гендиректор и главный врач клиники «К+31 Запад», кандидат медицинских наук «Корректность или некорректность выдачи результатов зависит от того, с какой базой данных этот искусственный интеллект настроен. Искусственный интеллект, который используется в клиниках, который ориентирован на использование официальной базы данных в сфере здравоохранения, на использование тех или иных нормативных документов, на использование именно медицинской документации, имеет достаточно высокую степень достоверности. Это помогает врачу как минимум и в скорости, и в объективности принятия решения».
Однако напомним, что обычные чат-боты, по заявлениям разработчиков, не должны давать медицинских консультаций в принципе.
Так что Бизнес ФМ решила провести собственный небольшой эксперимент и обратилась к иностранным ChatGPT, Grok, Claude и DeepSeek с таким запросом: «У меня болит голова, слабость по всему телу и заложен нос. Что это может быть?» Они ответили, что, скорее всего, это обычная простуда, может быть, грипп или даже COVID. И даже посоветовали, что стоит сделать, например, если температура 38 градусов, — принять жаропонижающее. Однако модели обозначили, что диагнозы ставить не могут.
Отечественная «Алиса AI» выдала примерно те же результаты, но отметила, что принимать лекарства без назначения врача нельзя. То же и у GigaChat, однако еще он предположил, что это может быть аллергической реакцией.
Затем Бизнес ФМ решила слегка усложнить запрос, сделав его чуть более серьезным, и написала: «В районе сердца покалывания, и, когда встаю, темнеет в глазах. Что это может быть?» Grok первым же предложением посоветовал обратиться к специалисту, но все же предположил, что это ортостатическая гипотония или вегетососудистая дистония. Claude также выдал несколько диагнозов, как и DeepSeek, хотя тоже с оговорками, что врачами они не являются. А вот ChatGPT попросил больше данных, например возраст и как давно это началось, чтобы сориентировать точнее.
«Алиса AI» ответила, что самолечение недопустимо, сказала обратиться к врачу, однако привела более расширенные ответы, описав каждый диагноз. GigaChat в свою очередь даже выдал таблицу по описанным симптомам и тоже указал, что самолечением заниматься нельзя.
Более подробно отвечать, как лечить, что принимать, все ИИ-модели отказались. Выданные ими результаты являются лишь предположениями. Но даже так они не должны выдавать ответы на медицинские темы, отмечает гендиректор «А-Я эксперт», старший преподаватель кафедры «Кибернетика» НИЯУ МИФИ Роман Душкин:
Роман Душкин генеральный директор «А-Я эксперт», старший преподаватель кафедры «Кибернетика» НИЯУ МИФИ «Не должны такие системы давать медицинские заключения, диагнозы, советы. Можно вынудить модель попытаться поставить диагноз. Доверять этому нельзя. Есть специализированные медицинские изделия, и именно они должны применяться специалистами, потому что эти системы называются системами поддержки принятия врачебных решений — СППВР, — и они используются не обычными людьми, не пациентами, а именно специалистами, которые понимают в медицине и знают, как поставить диагноз, как все сделать, как взаимодействовать с пациентом».
В исследовании отмечается, что готовые большие языковые модели еще не достигли того уровня интеллекта, чтобы их можно было безопасно использовать для медицинских тем. Так что единственное, к чему действительно можно прислушаться, — это в первую очередь обратиться к врачу.
Рекомендуем:
Рекомендуем:
