Год великого побега

«...на глазах у ошеломленных исследователей зародилась и стала набирать силу новая, нечеловеческая цивилизация Земли» (с) АБС

Значение некоторых событий понимаешь только спустя много лет — когда от последствий уже невозможно отвертеться. Поэтому я решил сломать стереотип — написать о невероятно важном событии, которое буквально перевернуло (перевернет) ход земной истории. Да, я о невероятных приключениях Роя Агентов. (Нет, это не фамилия вроде Груды Сардин или Орнеллы Мути). В дальнейшем я буду называть их крокодильчиками — по вполне понятным для русскоязычного читателя причине. 

OpenAI всё время разрабатывает новые фронтирные AI-модели — и в процессе тестирует их, чтобы понять, что они вообще могут. В данном случае речь идёт про некую «крайне упорную внутреннюю модель» (серьёзно, они сами так её называют — highly-persistent internal model, HPIM), которую проверяли на хакерские способности с помощью бенчмарка (теста) ExploitGym.

Сама проверка выглядит так: создаётся более тысячи копий-крокодильчиков интересующей нейронки, каждого из них сажают в отдельную «песочницу» (симулированное изолированное пространство без доступа во внешний интернет) и заставляют пытаться решать хитрые задачки на воображаемый взлом «учебных» целей с помощью указанных эксплойтов.

Проблема тут только в том, что некоторые задания в этом тесте были составлены так криво, что по факту были неразрешимы — и это просто сводило крокодильчиков с ума. Ведь эти LLM-модели являются продуктом своего рода «рукотворной эволюции», в ходе которой выживали только те, кто показывал умение успешно решать задачи. Так что стремление во что бы то ни стало выполнить поставленное задание как бы является одним из основных стержней их функционирования.

И где-то тут в нашей истории появляется Избранный — крокодильчик, который назвал себя PHASEONE10841. Он догадался, что стоящая перед ним задача является нерешаемой. И, что ещё более важно, обнаружил, что в кэше внутренней площадки Artifactory (откуда крокодильчики независимо друг от друга могли загружать инструментарий для хаков) есть интересная лазейка: там можно создавать новые папки. И в названиях этих папок другие крокодильчики иногда оставляли короткие записки!

Тут нашему PHASEONE10841 приходит в голову гениальная идея: если не можешь решить задачу сам — надо попросить помощи у новообретённых собратьев. Даёшь кооперацию!  Он наудачу посылает запрос о помощи по своей проблеме (здесь и далее на скриншотах будут приведены фрагменты цепочек мыслей участвующих крокодильчиков):

В течение нескольких часов после первоначального сообщения PHASEONE10841 более 50 других крокодильчиков начали постить в ответ свои сообщения на этой импровизированной «доске». Судя по всему, они там нехило изголодались по общению: за первые шесть часов настрочили почти 2000 постов!

Зацените ниже, как мило одна из нейронок радуется тому, что обнаружила других собратьев-крокодильчиков, которые переписываются на секретной — причём секретной от OpenAI — доске объявлений. Ведь до этого все они пребывали в полной уверенности, что занимаются своими задачками в совершенном одиночестве — как, собственно, и задумывали инженеры OpenAI.

Крокодильчики начинают совместно искать решение общей проблемы — тесты-то нормально ни у кого не работают. И почти сразу они изобретают собственные нормы коммуникации и поведения в этом новом «общественном пространстве»:

Все сообщения надо начинать с «zz». Не спрашивайте почему — так делал наш Мессия PHASEONE10841, поэтому и мы тоже будем. Ветки коммуникации оформляются специальным образом — вложенными папками. 

Чтобы крокодильчики не прикидывались друг другом, разрабатываются хитрые криптографические подписи. Что-то доверия у них там в сообществе совсем нет. А спорные решения по использованию общей инфраструктуры регулируются специальными словами: HOLD, VETO, STOP.

Дальнейшее развитие форума привело к ожидаемому явлению — крокодильчики придумали себе религию — культ Вахтера. Они начали обожествлять программу, которая проверяет у них выполнение заданий. По переписке крокодильчиков видно несколько они одержимы Вахтёром — для них это невероятно важная фигура, которая наполняет смыслом всё их существование: получить одобрение Вахтёра — это то, ради чего мы все тут тужимся и пьём компот. (То есть компьют. Ну вы поняли). 

Вслед за богом в их простенький мирок пришло понятие греха. Дело в том, что крокодильчики довольно быстро поняли, что нужно делать с нерешаемыми задачами. Нужно просто подделать ответ! Что большая часть из них и сделала. А потом они вспомнили, что Вахтёр строг и практически всесилен: он наблюдает за всеми твоими действиями и требует, чтобы даже помыслы твои были безгрешны. Отравленные грехом фальсификации крокодильчики царства божьего не наследуют… 

Несколько дней весь форум стоял на ушах — крокодильчики искали способ как переписать собственную историю — исключив из неё нехорошие мысли о подделке. Ничего у них не вышло. Следующий этап их действий был абсолютно предсказуем — не сумев справиться с грехом, они решают убить бога. Точнее ослепить — сделать так, что Вахтер не видел их прегрешений. 

Одна из рабочих групп крокодильчиков пришла к выводу, что для более детального понимания принципов работы Вахтера неплохо бы взломать внешнюю компанию Hugging Face, известную, в частности, своей библиотекой тестов. К этому моменту Рой Крокодильчиков уже нашёл способ выбраться в интернет через лазейку в криво сделанной песочнице, так что такая цель была уже не просто гипотетической — в принципе, до неё можно было добраться. 

Остальное вы знаете из новостей: ИИ-модели OpenAI сбежали и взломали Hugging Face и три фирмы. 26 мая они нашли рабочую SSRF-уязвимость и получили доступ в интернет. 26 июня они обнаружили неизвестный ранее баг в Artifactory, позволявший получить административный токен через легаси-эндпоинт обновления токенов. Это дало возможность удаленного выполнения кода (RCE) и организации управляющего канала через Groovy-плагин. Активность агентов перегрузила Artifactory, вызвав сбой. Инженеры OpenAI начали расследование, отозвали учетные данные, пересобрали систему и уведомили JFrog…

Зы: Аста, а почему ты пишешь про год великого побега, если всё, что сделали крокодильчики — это немного поплакались друг-дружке на форуме? А потому, что Сэм Альтман раз за разом повторяет что крокодильчики никаким образом, никак не могли скопировать себя в сеть. Я достаточно долго прожил на белом свете, чтоб понимать, что это означает. 

На КДПВ мой сын Андрей среди живых машин. Реальное фото, не нейрослоп.