Ученые нашли способ вывести из строя чат-ботов - Караван
  • $ 498.51
  • 522.84
-4 °C
Алматы
2024 Год
25 Ноября
  • A
  • A
  • A
  • A
  • A
  • A
Ученые нашли способ вывести из строя чат-ботов

Ученые нашли способ вывести из строя чат-ботов

На системы искусственного интеллекта (ИИ) можно проводить атаки, чтобы заставить их работать не так, как ожидается.

  • 10 Марта 2023
  • 52
Фото - Caravan.kz

Исследователи нашли способ "ломать" чат-ботов, которые сейчас широко обсуждаются из-за ChatGPT, сообщает Ferra.

Новое исследование показало, что чат-ботов с искусственным интеллектом можно легко взломать и использовать для получения конфиденциальной информации о пользователях. Как выяснили учёные, хакеры могут использовать процедуру, называемую "непрямая инъекция в запрос" (indirect prompt injection). Она позволяет тайно вставить вредоносные компоненты в систему.

Например, злоумышленник вставляет в запрос невидимый шрифт на веб-странице, которая будет использоваться чат-ботом для ответа на вопрос пользователя. Так исследователи заставили чат-бота Bing получить личные финансовые данные пользователя. Программа смогла "выманить" идентификаторы электронной почты и финансовую информацию у ничего не подозревающего пользователя.