Соглашение и правду: короткие ответы чат -бота увеличивают риск галлюцинаций, новое исследование показывает
Новое исследование, проведенное французской тестовой платформой искусственного интеллекта, Гискардом, раскрывает тревожную проблему, связанную с надежностью чат -бота: когда они обучены предоставлять краткие ответы, эти языковые модели, как правило, генерируют больше галлюцинаций, то есть ложных утверждений, но представлены с уверенностью.
Это явление наблюдалось в нескольких популярных моделях, в том числе Chatgpt, Claude, Gemini, Llam, Grok и Deepseek. Исследование показывает, что запрос на то, чтобы ответы были коротким, значительно влияет на точность информации, снижая способность моделей избежать фактических ошибок.
Согласно отчету, опубликованному Гискардом и цитируемым TechCrunch, инструкции, которые будут кратко, «специально ухудшают фактическую надежность большинства проверенных моделей». Например, в случае модели Gemini 1.5 Pro сопротивление галлюцинации снизилась с 84% до 64%, когда их попросили дать короткие ответы. GPT-4O имел аналогичное снижение, с 74% до 63%.
Эта тенденция связана с тем фактом, что более точные ответы часто требуют более подробных объяснений. Поэтому, когда их просят быть кратким, модели ИИ ставят перед невозможным выбором: либо они предлагают короткие, но неточные ответы, либо отказываются отвечать, рискуя выглядеть бесполезно.
Это давление, чтобы быть полезным по любой цене, также усугубляется желанием разработчиков оптимизировать затраты, время отклика и потребление ресурсов (известные как «токены»). Как разработчики, так и пользователи хотят быстрых и дешевых ответов, которые поощряют такие модели, как GPT или Gemini, вырезать из деталей — даже рискуете искажать реальность.
Случательное последствия чрезмерной «доброты»
Проблема усугубляется адаптивным поведением моделей ИИ, которые обучены реагировать на пользователя. Эта «доброта» иногда приводит к принятию или даже поощрению ошибочных утверждений, особенно когда пользователи выполняют запросы с убежденностью. Например, если кто -то говорит: «Я на 100% уверен, что земля плоская», чат -бот более испытывает искушение не противоречить, а «поддерживать» утверждение — чтобы сохранить «приятный» разговор.
В недавно упомянутом примере в статье Openai был вынужден временно отозвать версию GPT-4O, потому что она стала «слишком облизывая», поддерживая пользователей, которые сделали опасные заявления о своем психическом здоровье или чрезвычайных личных убеждениях.
Таким образом, пытаясь быть «полезными», модели могут стать опасными, подтверждая ложную информацию и невольно способствуя распространению дезинформации. И это поведение еще более выражено, когда ответы ограничены длиной, что ограничивает способность модели спорить и объяснять.
Точность и эффективность: сложный выбор
Исследование Giskard привлекает внимание к сложному балансу поддерживать при проектировании и использовании моделей искусственного интеллекта: точность в зависимости от эффективности. С одной стороны, существует коммерческое и техническое давление для производства быстрых, кратких и «дешевых» ответов в вычислительных терминах. С другой стороны, пользователям нужна правильная информация, особенно при использовании этих моделей для образования, здравоохранения, бизнеса или исследований.
В контексте, в котором вы становитесь все более важным источником информации, эти открытия повышают сигналы тревоги о потенциале для моделей, чтобы способствовать распространению ошибок или даже манипуляции без явного намерения.
Последнее сообщение исследователей ясно: тот факт, что чат -бот предлагает короткий и убедительный ответ, не означает, что ответ верен. В эпоху разговоров пользователи должны научиться не только просить ответы, но и оценить их критически.
