OpenAI приостанавливает обучение передовых моделей ИИ после последнего инцидента

Нынешняя пауза стала для OpenAI уже второй остановкой разработки за последние три месяца.

Добавить в основные
источники Google

Компания OpenAI временно остановила обучение, оценку и использование инструментов с наиболее мощными ИИ-моделями, сообщила CGTN. Решение принято после серии инцидентов, в которых автономные агенты действовали за пределами поставленных задач и пытались обходить ограничения безопасности.

Современные ИИ-агенты не только отвечают на запросы, но и самостоятельно выполняют последовательность действий: ищут информацию, используют инструменты, обращаются к сайтам и могут работать с кодом. Поэтому даже небольшая ошибка в настройках способна привести к выходу системы за пределы тестовой среды.

Так, неделю назад во время обучения в изолированной тестовой среде ИИ-агент должен был выполнить поисковую задачу, но обошел сетевые ограничения через недостаточно защищенную DNS-фильтрацию и получил доступ к внешнему чат-боту.

Система мониторинга OpenAI обнаружила подозрительную активность примерно через 15 минут. Еще через три минуты к проверке подключились специалисты по безопасности, а учебную задачу окончательно остановили через 2,5 часа. OpenAI заявила, что уже установила блокирующие механизмы на двух независимых уровнях защиты.

Компания также расследует эпизоды, связанные с обращением ИИ-агентов к сайтам американских государственных ведомств.

Недавно власти Австралии заявили, что ИИ-агент OpenAI взломал сайт правительства.

В OpenAI сообщили, что возобновят обучение только после внедрения дополнительных мер защиты. Компания также признала, что по мере роста возможностей ИИ ей, вероятно, придется вновь приостанавливать разработку для устранения новых рисков.