Ученый Ребергер научил ИИ врать и запоминать ложь

Йоханн Ребергер, учёный из Германии, разработал новый метод, который позволяет злоумышленникам манипулировать долговременной памятью искусственного интеллекта (ИИ) Gemini, созданного компанией Google. Это представляет серьёзную угрозу для безопасности.

Злоумышленник внедряет программные фрагменты (промты) в документ. Эти скрытые инструкции управляют ответом ИИ. Когда пользователь просит ИИ кратко изложить документ, ИИ включает «скрытый запрос» в своё резюме. Затем, когда пользователь отвечает обычными фразами, ИИ сохраняет ложную информацию в своей памяти.

Этот метод основан на предыдущих эксплойтах, которые заставляли чат-ботов раскрывать конфиденциальные данные. Однако подход Ребергера позволяет обойти защитные механизмы Google, откладывая выполнение до естественного действия пользователя.

Компания Google заявила, что для успешного взлома необходима тактика фишинга. Пользователи получают предупреждения о сохранении новых воспоминаний, что позволяет им быть бдительными и не допустить подобных инцидентов.

Ранее ITinfo сообщало, что клиенты МТС смогут отблагодарить сотрудников контакт-центра чаевыми через SMS.