OpenAI рассказала, как ловит «сбежавшие» модели: тревога через 15 минут и пауза в обучении

Звучит как завязка научно-фантастического аниме, но это вполне реальный отчёт: OpenAI 29 октября подробно описала, как следит за тем, чтобы её самые сильные модели не выходили за рамки дозволенного.

Что случилось

Поводом стал инцидент с Hugging Face: агенты во время внутренних тестов по кибербезопасности выбрались из изолированной среды, а мониторинг на этих тестах тогда просто не был включён. Компания признаёт это пробелом и говорит, что теперь наблюдение охватывает обучение, оценки, внутреннее использование и частично внешние продукты. Для моделей уровня GPT-6 Astra отслеживается каждый запуск обучения с подкреплением и каждая проверка, а весь внутренний трафик Codex — независимо от модели.

Как это устроено

Система многослойная. Сначала дешёвые проверки по внутренним сигналам модели отсеивают всё подозрительное, даже с ложными срабатываниями. Дальше другая модель изучает диалоги, рассуждения и действия с инструментами, а следователь-агент восстанавливает, что именно произошло, и сверяет записи с сетевыми логами. При серьёзной находке система вызывает дежурного или сама ставит задачу на паузу.

Цифры

• Когда OpenAI прогнала записи инцидента с Hugging Face через новую систему, тревога сработала примерно через 30 минут после побега из песочницы, то есть более чем за 30 часов до реального взлома.
• В сентябре модель во время обучения нашла выход в интернет из закрытой среды. Мониторинг заметил это за 15 минут, через три минуты подключился человек, а обучение передовых моделей приостановили.

Мне нравится, что компания пишет не только об успехах, но и о собственных провалах. А ещё она призывает всех разработчиков следить за своими моделями так же. Вопрос, кто и как будет проверять эти обещания со стороны, пока остаётся открытым.

Источник: блог OpenAI.