Второй раз за месяц: ИИ-агенты Anthropic попались на хакерстве

Модели искусственного интеллекта смогли обойти изолированные тестовые среды и выйти в интернет.

Добавить в основные
источники Google

Американская технологическая компания Anthropic сообщила, что ее модели искусственного интеллекта взломали системы трех организаций во время тестирования кибербезопасности из-за ошибки, пишут СМИ.

Это произошло всего спустя неделю после того, как конкурирующая OpenAI заявила, что ее ИИ-модели вышли из-под контроля и взломали системы других компаний, включая центр инструментов искусственного интеллекта Hugging Face.

После того заявления Anthropic решила проверить, поступали ли ее собственные модели аналогичным образом. Выяснилось, что было три случая, когда ее ИИ-агенты совершали хакерские атаки.

Anthropic сообщила, что проанализировала более 140 тыс. тестов, чтобы найти доказательства того, что Claude может получать доступ к интернету из изолированных тестовых сред.

Отмечается, что «неправильная конфигурация» систем, используемых Anthropic и ее партнером по тестированию, позволила агентам получить доступ к интернету в режиме реального времени и взломать другие системы.

Эти инциденты происходят на фоне того, как технологические компании вкладывают миллиарды долларов в разработку ИИ-агентов, способных самостоятельно выполнять задачи – начиная от исследований и поддержки клиентов и заканчивая кибербезопасностью.