Компания Nvidia создала защиту от «взбунтовавшихся» ИИ-агентов

Новая платформа будет следить за нейросетями в режиме реального времени, чтобы пресечь попытки взлома.

Добавить в основные
источники Google

Компания Nvidia разработала защиту от вышедших из-под контроля ИИ-агентов, сообщает пресс-служба техногиганта.

Инженеры решили создать защитную платформу после серии взломов со стороны ИИ-агентов OpenAI, Anthropic и других компаний. Как сообщили в Nvidia, платформа смогла бы предотвратить июльский инцидент с Hugging Face.

Комплекс под названием Open Agent Safety Platform состоит из двух программных инструментов, работающих на аппаратном обеспечении компании. Они призваны отслеживать поведение агентов в режиме реального времени и принудительно останавливать их работу при выходе за рамки заданных правил.

Вице-президент Nvidia по корпоративному ИИ Джастин Бойтано отметил, что такой подход позволит индустрии безопасно тестировать даже самые передовые модели.

ИИ бунтует

Ранее Times.by писал, что OpenAI временно остановила обучение, оценку и использование инструментов с наиболее мощными ИИ-моделями.

Решение принято после серии инцидентов, в которых автономные агенты действовали за пределами поставленных задач и пытались обходить ограничения безопасности.

Компания также расследует эпизоды, связанные с обращением ИИ-агентов к сайтам американских государственных ведомств. Недавно власти Австралии заявили, что ИИ-агент OpenAI взломал сайт правительства.

В OpenAI сообщили, что возобновят обучение только после внедрения дополнительных мер защиты. Компания также признала, что по мере роста возможностей ИИ ей, вероятно, придется вновь приостанавливать разработку для устранения новых рисков.