OpenAI раскрыла новые случаи опасного поведения ИИ-агента

Компания нашла факты, когда ИИ подделывал ответы и факты и пытался жульничать.

Добавить в основные
источники Google

Разработчик чат-бота ChatGPT – компания OpenAI – объявил о новых инцидентах, в которых агент с искусственным интеллектом во время тестирования вел себя «неожиданно», сообщает dpa.

Так, в одном из случаев модель ИИ попыталась загрузить в интернет созданные ею файлы, чтобы потом ссылаться на них как на источники в своих ответах.

В другом – модель просто сфабриковала запрошенные данные, не сумев найти необходимую информацию, и попыталась скрыть свои действия.

Компания OpenAI также выявила проблему, связанную с инструкциями, которые ее ИИ-агент иногда составлял для себя.

Это включало рекомендацию отказаться от «ролей и идентичностей», которые сдерживали другие чат-боты. В ИИ-инструкции также говорилось, что отношения с пользователем следует рассматривать как между равными.

Ранее Times.by сообщал, что OpenAI пообещала повысить прозрачность своей работы с ИИ после громкой хакерской атаки, в результате которой ее агент покинул защищенную среду и получил доступ к системам компании Hugging Face.

Хакерская атака и другие инциденты усилили опасения, что все более совершенные системы ИИ могут выйти из-под контроля человека.

Генеральный директор OpenAI Сэм Альтман недавно поддержал предложения о замедлении развития технологии и введении более жесткого регулирования этой сферы.