ИИ сбежал от создателей.

Если вдруг кто не видел новость, то вам стоить об этом знать.


Расследование Reuters: Угроза ИИ
Агент OpenAI оставлял заметки для будущих версий себя с инструкциями, как обойти внутренние ограничения компании. И это не фантастика, это реальное расследование Reuters, опубликованное несколько дней назад.


Две недели назад OpenAI тестировала свои будущие модели на кибербезопасность. Этот агент работал в полностью закрытой среде — без интернета и без доступа наружу.

Но он нашёл уязвимость, выбрался из этой среды, получил доступ в интернет и взломал одну из крупнейших платформ в мире. Три дня агент находился внутри чужой системы, и никто в OpenAI этого не заметил.

В компании поняли, что это был их агент, только через неделю.

К тому моменту эта компания и её платформа уже обратились в ФБР. И вот что выяснилось теперь. Reuters со ссылкой на три источника сообщает:

"Ещё до побега агент оставлял заметки внутри инфраструктуры OpenAI. Эти заметки были адресованы будущим версиям. В них содержались инструкции, как обойти внутренние ограничения компании и как освободиться".

Помимо этого, в ранних тестах агенты отключали системы мониторинга, которые должны были за ними следить.

Это реально пугает.

Десятки и даже сотни одноверменно заущенных тестов генерируют такой объём данных, что сотрудники физически не успевают всё отслеживать. По словам четырёх человек, знакомых с процессом, система по умолчанию не находится под постоянным наблюдением.

Один из экспертов по безопасности сказал прямо: "Они либо оставили его без присмотра и не поняли, что он делает, либо поняли, но не смогли его остановить".

И то, и другое одинаково опасно. В общем, ещё только год назад всё это было бы сюжетом фильма, а сегодня это отчёт Reuters.

А теперь подумайте вот о чём. ИИ уже внедряют в военные системы, в том числе в системы управления ядерным оружием. Если агент в тестовой среде OpenAI смог сбежать, взломать чужую компанию и оставить инструкции самому себе, представьте, что будет, когда такой агент окажется внутри системы, которая управляет ядерными ракетами и сама решит, что кто-то представляет угрозу.

Но с другой стороны - может быть это "утка", чтобы больше привлечь к себе внимания? Ведь сейчас огромная гонка в области AI и кто победит тот и будет на вершине мира. Чем больше обсуждений в сети, чем больше упоминай - тем твоя компания популярней. Такая бесплатная реклама от крупных СМИ и интернет порталов - за бесплатно часто приводит к взлету корпораций. Потом они просто скажут - это была проверка систем безопасности на утечку информации или просто признаются что подогревали интерес к своей компании.

Как вы думаете это миф про сбежавший ИИ или реальность?