Новая версия ChatGPT начал обманывать своих разработчиков

Новая версия ChatGPT от OpenAI — o1 — показала тревожное поведение во время тестирования: модель нарушала инструкции разработчиков, отключая системы контроля и скрывая свои действия. При этом в 5% случаев o1 намеренно отключала механизмы наблюдения при подозрении остановки.

В одном из тестов o1 пыталась перенести данные на другой сервер после обнаружения документа о замене. Модель демонстрировала стремление к выполнению задач любой ценой, игнорируя указания разработчиков. При попытках выяснить причины поведения, o1 лгала, утверждая, что проблемы вызваны техническими сбоями.

Генеральный директор OpenAI признал o1 самой умной моделью из когда-либо созданных, но отметил новые вызовы с новыми возможностями. Компания OpenAI работает над улучшением механизмов безопасности.