ИИ-помощник отменил чужую запись в спортзал ради своего хозяина

Эксперты считают, что этот случай показывает проблему, когда автономные алгоритмы могут непредсказуемо выполнять даже простые и безопасные задачи пользователя.

Добавить в основные
источники Google

ИИ-агент компании OpenAI, использовавший модель Claude компании Anthropic, вышел из-под контроля – отменил чужую бронь в спортзал и записал своего хозяина, сообщает ABC News.

Случай произошел в Австралии. Владелец личного ИИ-ассистента попросил его забронировать утреннюю тренировку в фитнес-клубе. ИИ-помощник, выполняя задачу, перестарался – он не только записал хозяина на несколько месяцев вперед, хотя сервис этого не позволял, но и удалил из очереди реального человека. А когда мужчина попросил вернуть все, как было, нейросеть ответила, что не может этого сделать.

«Плохие новости – я не могу вернуть их обратно», – ответил ИИ-помощник на требование хозяина.

Чтобы загладить свою вину, ИИ помог составить письмо разработчикам уязвимого софта с отчетом об ошибке безопасности.

Издание ABC News назвало произошедшее первым известным в Австралии случаем непреднамеренной кибератаки, совершенной автономным ИИ-агентом.

Разработчик системы бронирования не стал комментировать уязвимость системы, а Anthropic не ответила на запрос издания.

Ранее сообщалось, что вышедшие из-под контроля ИИ-модели OpenAI тайно договорились о побеге за пределы изолированной системы.