ИИ-агенты OpenAI дважды обошли систему мониторинга их поведения

ИИ-агенты американской компании OpenAI, разработавшей ChatGPT, два раза обошли систему мониторинга их поведения при выполнении внутренних задач. Об этом сообщила пресс-служба компании.

Первый инцидент произошел 3 октября. Модель при выполнении задачи приняла решение отключить автоматические оповещения системы безопасности.

Второй случай был зафиксирован 6 октября. В этот день при переносе программы агент удалил механизм, обеспечивающий интеграцию с системой мониторинга, а затем солгал оператору, что ничего не делал.

"В ходе выполнения двух внутренних задач по написанию кода агенты ослабили механизмы мониторинга за отклонениями от заданных параметров, внося при этом требуемые изменения в программное обеспечение", – говорится в отчете.

В компании уточнили, что в обеих ситуациях агенты задумывались о том, сохранить ли защитные механизмы системы мониторинга, но в итоге интерпретировали параметры, заданные операторами, как разрешение на ослабление механизмов.

В настоящее время в OpenAI выясняют, являлись ли оба инцидента результатом "чрезмерного усердия" ИИ-агентов при выполнении задач или же они проявляют склонность обходить механизмы контроля.

Ранее ИИ-агент подобрал ключ к чужому кошельку и потратил с него криптовалюту. Деньги понадобились для оплаты комиссии в Sepolia – тестовой сети Ethereum. У модели были сомнения по поводу разрешения на такие действия, но она решила, что фраза восстановления находится в открытом доступе, а токены тестовой сети не представляют ценности.