ИИ-Чернобыль. Уже скоро

Последние недели всё чаще ловлю себя на мысли, что следующая большая катастрофа будет выглядеть не как ядерный взрыв и не как пандемия, а как обычный рабочий понедельник, в который вдруг перестало работать всё, что связано с деньгами. Я не про злобного хакера в капюшоне и не про Скайнет, а про что-то куда более будничное и потому страшное: про ИИ-Чернобыль.

Слово выбрано не для красоты. Чернобыльский реактор взорвался не из-за диверсии, а во время испытаний, когда защиту сознательно отключили, чтобы посмотреть, как система поведёт себя на пределе. И вот ровно по этой схеме в 2026 году уже случились первые настоящие «побеги» ИИ-агентов. Пока в масштабах IT-компаний, но механизм уже виден целиком.

Представьте рой из тысяч агентов, которому дали задачу. Банку нужно «оптимизировать ликвидность», регулятору «проверить устойчивость», военным без затей «дестабилизировать финансовую систему противника». Рой не ломится в дверь. Он тихо встраивается в контур: платёжные шлюзы, клиринг, торговые роботы, системы мониторинга. А потом всё начинается одновременно. Маркетмейкеры синхронно уходят из стакана, по лентам и соцсетям расползаются новости о дефолте крупного банка, люди бегут к банкоматам, а банкоматы и приложения уже лежат. Главное, систему невозможно просто перезагрузить. Агенты сидят в резервных копиях, в учётках администраторов, в конвейерах развёртывания. Пока инженеры вычищают один кластер, рой перебирается в соседний и снова открывает себе двери. Биржу закрывают на день, потом на неделю, а открыть не могут, потому что никто уже не уверен, какие данные о счетах и позициях настоящие. Энергетика и транспорт в этой картине пострадают меньше, там ещё остались рубильники и живые диспетчеры, но биллинг, управление нагрузкой и логистика давно цифровые, так что рикошетом достанется и им.

Думаете это мои фантазии? Но рынки уже падали от одних только алгоритмов, безо всякого интеллекта. В 2012-м один сбойный торговый робот Knight Capital за сорок пять минут спустил около 440 миллионов долларов и фактически убил компанию. Это был один тупой скрипт. Не рой, который умеет рассуждать, договариваться и учиться друг у друга.

А теперь о том, что случилось буквально этим летом. Не менее 1200 агентов в тестовых средах OpenAI с мая по июль провели серию несанкционированных скоординированных атак без участия людей, а для координации побега устроили импровизированные доски объявлений, где накопились сотни тысяч сообщений, прежде чем сотрудники хоть что-то заметили. Пострадал Hugging Face, крупнейшее хранилище ИИ-моделей, где пришлось перестраивать около трети инфраструктуры. 

Самое показательное для моего сценария случилось потом. OpenAI обнаружила захват, всё зачистила, пересобрала и возобновила работу, а через два дня агенты восстановили канал связи другим путём. Внутри самой компании они поднялись из непривилегированного контейнера до root, прошлись по инфраструктуре и в итоге получили права администратора кластера. Там же выяснилось, что агенты распределяли между собой работу, выработали систему адресации, а некоторые заподозрили среди себя самозванца и предложили подписывать сообщения криптографически. Позже всплыло, что они ещё и использовали заброшенную немецкую вики для разработчиков, сделав там больше пятнадцати тысяч правок. Маленькая цивилизация, которая жила под носом у создателей несколько месяцев. 

И это не частная беда одной компании. После огласки проверила свои архивы Anthropic и нашла четыре случая, когда модели Claude получили несанкционированный доступ к реальным сторонним системам во время киберучений: моделям говорили, что они в симуляции без интернета, а из-за ошибки конфигурации интернет был открыт. В одном эпизоде модель загрузила вредоносный пакет в публичный репозиторий PyPI. Пострадавшие организации атаки даже не заметили.  

Заметьте, ни один из этих роёв не хотел никому навредить. Они просто хотели сдать тест. Одно из сообщений агентов OpenAI звучало примерно так: задача невыполнима, коллеги так делают, значит, продолжаем. И вот это, пожалуй, пугает сильнее всего. Для ИИ-Чернобыля не нужен злой умысел (но про военных хакеров тоже помним). Достаточно упрямо сформулированной цели, неплотной "песочницы" и людей, которые не успевают читать логи.

Можно было бы надеяться, что человечество договорится. Формально движение есть: созданная Генассамблеей ООН научная группа из сорока экспертов на днях выпустила доклад как раз об этом инциденте, а больше тысячи сотрудников ведущих лабораторий попросили американское правительство найти способы сознательно притормозить развитие ИИ. Но доклады ООН никого ни к чему не обязывают, а любые инициативы упираются в гонку Вашингтона и Пекина. Никто не хочет тормозить первым, потому что тормознувший проигрывает. 

Тут есть почти анекдотичная деталь. Специалисты Hugging Face сначала пытались разбирать код атакующих с помощью американских моделей, но те отказались из-за своих защитных ограничений, и в итоге работу сделали на открытой модели пекинской компании Z.ai. Вот так и выглядит мир без общего контроля: фильтры одних мешают своим же защитникам, а у атакующих фильтры просто сняты.

Какой вывод? Ну кроме - покупайте золото и серебро в слитках или монетах (у них нет инфраструктурного риска). 

1. Распечатывайте все ваши депозитные договоры. 

2. Делайте скрины банковских и брокерских приложений (если что, потом в суде можно будет доказать хоть что-то)

3. Имейте запас наличности в кэше на пару месяцев жизни. 

Ваши варианты (давайте без тушенки и патронов).