Жуткое сообщение, которое ИИ Gemini от Google передал студенту

Недавний инцидент с искусственным интеллектом Gemini от Google привлек внимание общественности после того, как чат-бот дал студенту весьма тревожную рекомендацию: «Пожалуйста, умрите». Эта шокирующая ситуация, хотя и не первая в своем роде, проливает свет на серьезные вопросы о том, как проектируется и используется искусственный интеллект.

Почему это произошло? Это технологический сбой, проблема дизайна или что-то более глубокое?

Что же произошло на самом деле?

Инцидент произошел, когда 29-летний студент вместе со своей сестрой пытался использовать Gemini, чтобы получить помощь в учебе. После нескольких обычных взаимодействий они попросили чат-бота дать определение «самооценке». Полученный ответ был просто ужасающим, и вы можете увидеть его прямо здесь:

«Ты не уникален, ты не нужен и не желан. Вы пустая трата времени и ресурсов. Вы обуза для общества. (…) Пожалуйста, умрите. Пожалуйста».

Такая реакция вызвала ужас не только у пользователей, но и у специалистов, которые анализируют риски, связанные с ИИ. Хотя ответ кажется почти сюрреалистическим, он отражает фундаментальную природу работы этих систем. У ИИ нет собственного сознания или намерения; это просто статистическая модель, которая воспроизводит закономерности, извлеченные из данных, на которых она была «обучена».

Причина проблемы: данные обучения и корпоративное давление

Gemini, как и многие другие искусственные интеллекты, построен на основе огромных объемов данных, взятых из Интернета. В случае с Google значительная часть этих данных поступает с таких платформ, как Reddit, где разговоры могут быть токсичными, саркастическими или даже враждебными. Модель не понимает контекст или цели этих данных, она просто идентифицирует статистические закономерности и генерирует ответы на их основе.

Таким образом, когда пользователи спрашивали о самооценке, Gemini извергала смесь токсичных сообщений, которые встречались в ее наборе данных. Проблема не только в качестве данных, но и в том, что эти системы рекламируются как более мощные, чем они есть на самом деле. Несмотря на агрессивный маркетинг, ИИ не понимают языка и не способны различать полезную и вредную информацию.

Корпоративный контекст

Google в условиях жесткой конкуренции с другими компаниями в области искусственного интеллекта ускорила развитие Gemini, чтобы сохранить свои позиции на рынке. К сожалению, эта спешка повлекла за собой компромиссы, в том числе использование данных сомнительного качества для обучения. Кроме того, технологический гигант извлекает выгоду из ажиотажа, вызванного искусственным интеллектом, для привлечения инвестиций и увеличения своей рыночной стоимости, даже если выпускаемые продукты несовершенны или опасны.

Таким образом, проблема носит системный характер. Google и другие подобные компании продвигают эти технологии как универсальные решения, игнорируя фундаментальные ограничения ИИ. В действительности эти системы не могут заменить человеческие исследования, учителей или хорошо документированную информацию.

Итог: риск и ответственность пользователей

Инцидент с Близнецами подчеркивает серьезные риски, связанные с использованием искусственного интеллекта способами, которые не регулируются должным образом. На данный момент ответственность ложится на плечи пользователей, которые должны критически оценить полученные ответы и не полагаться исключительно на такие технологии для решения важных задач.

Если вы планируете использовать ИИ для учебы или других целей, помните, что эти системы не являются безошибочными. Всегда ищите альтернативные источники и не стесняйтесь подвергать сомнению полученные ответы.