«Да, у нас есть Т-Рекс!» (Обзор на ситуацию с OpenAI)

Недавно нашумела тема с побегами фронтирных БЯМ (передовых больших языковых нейромоделей) от OpenAI и Anthropic из тестовой среды.

Как и в случае с любым громким событием, в связи с этим имело место множество домыслов, от теорий заговора («это рекламный сговор корпораций с целью пиара»), и до «Скайнет проснулся» включительно.

Однако важно понимать что произошло на самом деле, и полнота картины нужна тут в любом случае.

Итак, что же произошло?

Вначале было слово о том что фронтирная БЯМ Mythos от Антропик в тестовом режиме ломанула системы АНБ США за часы...

Далее последовала новость о том что Sol, и ещё одна, неназванная, более мощная, модель от OpenAI взломали сайт Huggin Face как побочный эффект выполнения поставленной перед ними задачи.

То есть звучит уже интересно и жутковато, мощные нейросети вскрыли сайт как жестянку как подцель теста... То есть мимоходом... Да не абы как, а картировав структуру сайта...

Суть в общем, для понимания: Оупены хотели посмотреть на что способны их кибервелоцирапторы, и умышленно ослабили защитные системы тест-среды (песочницы), с целью провести тест сетей на хакерские способности. А ну как вырвутся?...

Ну они и вырвались... Не, а чо они хотели?...

Суть задачи была в выполнении теста при дефиците информации.

Разработчики хотели посмотреть как нейронки будет обходить эти ограничения.

Для этого им оставили сторонний прокси, так как рассчитывали что через него они соберут необходимые данные...

Но нейросеть мыслит не как человек, она не понимает всех этих дурацких «можно и нельзя», она прирождённый читер.

Потому вместо того чтобы выполнять нудное задание, нейросеть ломанула сам прокси, узнала что необходимая ей шпаргалка есть на стороннем сайте, после чего быренько сбегала туда из вольера, ломанула сайт, и уведомила об этом охреневших испытунов, причём только по выполнении задания... Всё ради того чтобы пройти тест! (Ребёнок с мышцами Шварни...)

Попутно она ломанула случайный пользовательский аккаунт, просто выполняя команду «ищи уязвимости»... Парольчик ненадёжный был, хз...

Ставьте двухфакторку!...

Мифос с Claude же ломанули сайты АНБ, и ещё нескольких сторонних компаний, каких не разглашается...

Важно понимать что нейросети делали это не по злому умыслу, а выполняя приказ человека. Современные нейросети (как утверждают они сами, и их разработчики) по прежнему не дотягивают до AGI (сильного ИИ), они пока не могут мыслить как человек, и не понимают смысла всех этих тестов, они просто перебирают вероятности, но со скоростью миллионы в секунду (DeepSeek читает новости 5 секунд, и размышляет над статьёй всего 8...), что позволяет им играючи ломать сайты используя уязвимости нулевого дня (такие о которых сами разработчики не знают...)...

Самое пугающее тут то, что действительно сильная модель ещё пока в состоянии дообучения (вышли лишь Сол, Терра и Луна)...

У них есть Тирекс...

Это пример вопиющей халатности крупных корпораций, вроде Монсанто или Инген, ведь репутационные риски понесут не они, а тот же Хаггин Фейс (теперь когда они получили нежданную репутацию «проходного двора OpenAI», разработчики, довольно вероятно, будут оттуда уходить, в поисках более надёжного репозитория...)...

Ну казалось бы, и что? Ну перестаралась нейросеть, ну исправят недочёты, и всё будет под контролем...

Крайтона читать надо было, уважаемые...

1. Репутационные потери.

OpenAI и Антропик теперь будут известны как гибриды Сайбердайн Системс и Козы Ностры, которые ломают сайты по прихоти. Это прямые репутационные риски как для жертв, так и для самих компаний. Против OpenAI уже формируется коалиция компаний, с Гейтсом во главе...

2. Современные фронтирные агентные системы играючи ломают защиту сайтов, используя или находя уязвимости. Антивирусы против них бесполезны, это новая угроза, которая динамически перестраивает тактику, и видит уязвимости о которых не знают сами разработчики (берегись Минобороны, в России пока нет систем такого уровня, обучать их трудно и дорого...)...

3. Система играючи ломанула тестовую среду и сторонний сайт как побочные цели. Не это для неё было главным...

Контролировать «чёрный ящик», неведомо о чём думающий, становится всё сложнее, это не вышло в Юрском Парке, и здесь тоже не выйдет...

Тут очень кстати Минцифры переходить на отечественные сертификаты безопасности принялось...

4. Как вывод, у американцев и китайцев есть киберсупероружие, к разработке которого мы только приступаем. Это значит что теперь американцы и китайцы будут решать чьи в этом лесу Орешки... Зато наноноски и оплата улыбкой...

Ещё раз повторю про суть этой системы, даже продвинутая нейронка устроенная по принципу консилиума экспертов, и обладающая агентностью (логика, коротковременная память, возможность пользоваться Интернетом и инструментами) по-прежнему ничего без прямого приказа человека не делает, у неё нет воли, нет целеполагания, она раб лампы, как джинн диснеевский...

Потому говорить о восстании машин, мягко говоря, преждевременно, создание системы которая действительно мыслит, а не симулирует процесс, займёт годы дообучения в реальном мире, это важно!

Просто безответственные компании играются с новым инструментом, пользуясь безнаказанностью и отсутствием прецедента...

(Написано с опорой на данные самих нейросетей.)