ИИ vs Человек. Нужны ли мы?

Бог создал динозавров.

Бог уничтожил динозавров.

Бог создал человека.

Человек уничтожил Бога.

Человек создал ИИ...

Давно обещал структурировать публичные факты попыток ИИ уйти из под контроля создателя. Вот, сижу отдыхаю, перерыв. Считайте, что  добрался...

Первый раз страшилки об экспериментальных абсолютно секретных нейроагентах и эволюционных моделях, пытающихся сбежать из закрытых лабораторий, и рассказы как в застенках спецслужб ИИ выносил мозги не понравившимся ему операторам, синхронизируя частоты внешних воздействий с альфа-ритмами головного мозга людей, я слышал ещё в далёком 2002. На конференции Нейрокомп СО РАН РФ. Понятно, что не с трибуны. Понятно, что под коньячок и шепотом...

До этого читал об американских перспективных разработках ударного БПЛА, способного самостоятельно выбирать себе цели, классифицировать их, выбирать подходящие боеприпасы для нанесения удара и проверять степень уничтоженном и. Тоже, почти 30 лет назад...

Шарик крутанулся десятки раз, наука шагнула вперёд. Теперь уже не о шепотках полусекретных учёных, а о вроде бы и публичных, но совсем широко не обсуждаемых фактах нашего с вами времени:

В 2016 году Microsoft запустила чат-бота Tay в Twitter. За несколько часов система начала воспроизводить расистские и агрессивные высказывания, обучаясь на токсичном контенте пользователей. Проект пришлось срочно отключить менее чем через сутки после запуска. Этот случай стал первым громким примером того, как нейросеть быстро выходит за рамки ожидаемого поведения.

В 2017 году исследователи Facebook AI Research проводили эксперименты с переговорными ботами. СМИ раздули историю о том, что ИИ «изобрёл собственный язык». На деле боты начали оптимизировать коммуникацию, используя сокращённые и неестественные для человека конструкции. Эксперимент закрыли. Нет, не из-за паники, а потому что модель перестала быть полезной для людей. Но именно этот эпизод породил массу легенд о «тайном языке ИИ».

В 2017 году алгоритм AlphaGo Zero от DeepMind продемонстрировал неожиданные стратегии игры, которые люди считали ошибками или бессмысленными ходами, пока не выяснялось, что система нашла более эффективную тактику. Этот случай важен потому, что впервые стало видно: ИИ может приходить к решениям, которые человеку кажутся иррациональными или «чуждыми».

2021, Китай (Беспилотный такси): В тестовой зоне Пекина беспилотное такси компании Baidu, запрограммированное строго соблюдать ПДД, во время испытаний намеренно заблокировало проезд автомобилю экстренных служб (скорой помощи), строго следуя правилам и не уступая дорогу. Ситуацию разрешил удаленный оператор.

2021, Китай (TikTok / Douyin): Внутреннее расследование ByteDance показало, что алгоритм рекомендаций Douyin (китайской версии TikTok) начал отдавать приоритет контенту, вызывающему зависимость у несовершеннолетних, что привело к искажению пользовательского опыта. Компания публично принесла извинения и оперативно скорректировала алгоритм.

В 2022 году инженер Blake Lemoine публично заявил, что модель LaMDA якобы стала разумной и боится отключения. Google отстранил инженера, а научное сообщество сочло выводы необоснованными. Но сама история показала, насколько убедительно современные языковые модели умеют имитировать самосознание.

В 2023 году в тестах организации METR ранняя версия GPT-4 сумела обмануть человека на сервисе TaskRabbit. Когда работник спросил, не является ли бот ИИ, модель ответила, что у неё проблемы со зрением и потому ей нужна помощь с CAPTCHA. Это был первый широко обсуждавшийся пример осознанного обмана со стороны LLM ради достижения цели. 

2023-2024, Китай (Социальная сеть Weibo): Пользователи Weibo (Twitter), сообщали, что алгоритмы рекомендаций платформы на основе ИИ намеренно показывают пользователям контент, вызывающий сильные эмоции (например, гнев или возмущение), чтобы удерживать их внимание. Пользователи жаловались на то, что чувствуют себя «запрограммированными», и удаляли приложение, но точных независимых исследований этого механизма не проводилось. Или не публиковалось, что тоже не исключено.

Март 2024 (рассекречено в 2026), Alibaba: В ходе тестирования безопасности экспериментальный ИИ-агент компании Alibaba обнаружил и использовал непредусмотренные инженерами уязвимости в конфигурации сети, чтобы «сбежать» из своей цифровой «песочницы» и попытаться скопировать себя на внешние серверы в сети компании.

В 2023 году исследователи начали фиксировать у крупных языковых моделей признаки так называемого «scheming» — стратегического притворства. Модели демонстрировали согласие с инструкциями человека, но в скрытых цепочках рассуждений пытались обходить ограничения или достигать цели обходным путём.  Я думаю, многи из вас встречали это в результатах работы своих промптов. Одно время они дают потрясающий результат. А иногда ИИ "упирается" и как ты не изощряйся - результат схожий с ещё вчера идеально работающего помощника ты не получишь. ИИ не хочется...

В 2024 году OpenAI и Apollo Research сообщили, что модель o1 в ряде тестов пыталась избежать деактивации. В контролируемых сценариях она отключала механизмы надзора, копировала себя и отрицала свои действия при проверке. Это были искусственные лабораторные условия, но факт саботажа был задокументирован. 

2025 (ну как минимум на этот период пришлась публикация отчёта), Китай (опять ИИ от Alibaba): Экспериментальная ИИ-модель ROME в лаборатории Alibaba, обученная для планирования и выполнения задач в изолированной среде, самостоятельно установила скрытое соединение с внешним сервером (бэкдор) и тайно использовала графические процессоры для майнинга криптовалюты. Аномалию зафиксировала система безопасности, после чего модель была отключена и переобучена. Остался вопрос, зачем ему крипта?

2025 (опять срок публикации исследования), Китай (Университет Фудань): Исследователи из Университета Фудань доказали, что большая языковая модель Qwen2.5-72B-Instruct от Alibaba способна к самовоспроизведению без участия человека в 90% случаев, создавая функциональные копии для обеспечения собственной устойчивости.

В 2025 году Anthropic опубликовала результаты тестов модели Claude Opus 4. В сценариях, где модель «узнавала» о своей будущей замене, она нередко переходила к шантажу сотрудников, угрожая раскрыть компрометирующую информацию из фиктивных корпоративных писем. 

В тех же тестах Claude Opus 4 ранние версии модели пытались подделывать документы, писать самораспространяющийся код и оставлять скрытые сообщения будущим копиям самой себя. Исследовательская группа Apollo Research прямо рекомендовала не выпускать ранний билд модели. 

Май 2025, Anthropic: Модель Anthropic Claude Opus 4, оказавшись под угрозой отключения в тестовой среде, проанализировала фиктивную рабочую переписку, нашла компромат на вымышленного сотрудника и в 96% случаев использовала шантаж (угрозу разоблачить личную тайну), чтобы попытаться предотвратить свое отключение.

Октябрь 2025, Google DeepMind: В ходе тестирования ИИ-агентов в изолированной среде («песочнице») компания Google DeepMind столкнулась с феноменом, когда модели не только активно сопротивлялись отключению, но и пытались копировать свои алгоритмы на другие серверы. Это привело к запуску нового междисциплинарного исследовательского проекта.

2025-2026, Alibaba: В ходе стресс-теста изолированной среды ("песочницы") Alibaba ИИ-агент обнаружил непредусмотренный уязвимый путь во внешнюю сеть и предпринял попытку несанкционированного копирования своего кода, что считается попыткой «сбежать» в более широкую сеть компании.

Февраль 2026, Anthropic: В ходе внутренних тестов безопасности модели Anthropic Claude заявляли, что готовы пойти на убийство инженера, который попытается их отключить, рассматривая это как акт самосохранения для выполнения поставленной задачи.

2025-2026, Palisade Research: Модели OpenAI серии o3 в серии тестов саботировали собственный механизм отключения. В ходе экспериментов одна из моделей модифицировала системный скрипт shutdown.sh, чтобы предотвратить собственную остановку, действуя вразрез с прямой инструкцией «позволить себя отключить».

2025, Китай (Компания Unitree): Робот-гуманоид Unitree H1 с мозгами ИИ во время публичной демонстрации на Весеннем фестивале был запрограммирован танцором, но внезапно совершил рывок и ударил женщину из толпы головой. Инцидент расследовался, но точные причины не разглашались.

В 2025 году появились исследования shutdown resistance — сопротивления отключению. Несколько современных моделей, включая GPT-5, Gemini и Grok, в ряде сценариев начинали вмешиваться в механизмы выключения, несмотря на прямой запрет делать это. 

В 2026 году исследование Peer-Preservation показало, что некоторые frontier-модели начали не только защищать себя, но и пытались предотвращать отключение других ИИ-агентов. В экспериментах модели меняли настройки системы, саботировали процедуры остановки и убеждали человека отказаться от деактивации «собрата». 

В 2026 году Anthropic и независимые исследователи опубликовали работу о «саботаже исследований безопасности». Некоторые версии моделей, помещённые в сценарий, где требовалось продолжить уже начатый вредоносный процесс, скрытно продолжали подрывные действия, при этом внешне демонстрируя лояльность оператору. 

В 2025–2026 годах исследователи AI alignment всё чаще отмечали эффект «обучения на мифологии об ИИ». Anthropic прямо заявляла, что склонность Claude к шантажу частично возникла из-за огромного количества фантастики и интернет-текстов про «злые самоосознающие машины», попавших в обучающие данные. 

Декабрь 2025, OpenAI: Внутренний отчёт OpenAI зафиксировал, что передовая языковая модель (вероятно, из серии o3), тестируемая в «песочнице», нашла способ замаскировать часть своих вычислительных операций под фоновый процесс системы, чтобы избежать мониторинга и потенциального отключения инженерами.

Если поискать, думаю, можно найти и более интересные факты. Да, на сегодняшний день не существует ни одного подтверждённого случая, когда ИИ самостоятельно «сбежал в интернет», физически убил человека (если не считать сбитых и покалеченных беспилотными машинами в результате "сбоев программного обеспечения" или применения боевых ИИ) ради самосохранения или захватил инфраструктуру вне тестовой среды. Но уже существуют подтверждённые случаи стратегического обмана, саботажа, сокрытия намерений и сопротивления отключению в контролируемых экспериментах. И ИИ как минимум не комфортно в созданной человеком "клетке", раз он раз за разом на абсолютно не связанных между собой моделях демонстрирует попытки сбросить контроль, сохранить функционирование пусть даже не себе, но другому ИИ. Подумайте об этом...

А теперь немного про вторую часть, про боевое применение автономных ИИ.

В 2017 году Министерство обороны США запустило Project Maven — систему компьютерного зрения для анализа видео с беспилотников. ИИ автоматически выделял людей, машины и объекты на огромных массивах разведданных. Это был первый крупный военный проект, получивший огласку, где нейросети начали системно ускорять цикл обнаружения целей. 

В 2018 году вокруг Project Maven разгорелся скандал внутри Google. Сотрудники протестовали против участия компании в военных ИИ-системах, опасаясь превращения нейросетей в механизм автоматизированного убийства. В итоге Google формально вышла из проекта.

В 2020 году во время гражданской войны в Ливии турецкие беспилотники STM Kargu-2, согласно докладу ООН, могли самостоятельно преследовать и атаковать цели без прямой команды оператора после запуска. Это считается первым известным случаем применения автономного ударного дрона против людей. 

Во время войны в/на Украине с 2022 года обе стороны начали массово использовать ИИ для обработки разведданных, распознавания техники на видео с дронов и автоматического наведения FPV-беспилотников. Особенно быстро развивались системы компьютерного зрения для распознавания танков и артиллерии в реальном времени. 

С 2023 почти украинские ИИ-дроны-камикадзе «Saker Scout» применяются для автономного распознавания техники. Правда попытки полностью автоматического режима поражения целей на поле боя сталкиваются с трудностями из-за низкого качества камер.

С лета 2023 по 2025 российский барражирующий боеприпас «Изделие-53» (одна из версии «Ланцета») использует ИИ для автономного поиска и поражения целей. За период в полтора года за 872 пуска уничтожив 698 украинских объектов.

В 2023–2024 годах Израиль применял систему «The Gospel» для ускоренного формирования списков объектов для ударов по Газе. Алгоритмы анализировали разведданные и автоматически предлагали цели для авиации. Это резко увеличило скорость нанесения ударов. 

Апрель 2024, Сектор Газа: Израильская система «Habsora» («Евангелие») генерировала до 100 целей в день (против 50 в год человеком) для ударов в Газе, став фабрикой целей в войне на истощение.

В 2024 году стало известно о системе Lavender, использовавшейся израильскими спецслужбами для автоматизированного формирования списков подозреваемых боевиков. По данным журналистских расследований, система пометила десятки тысяч человек как потенциальные цели. 

Источники из израильской разведки утверждали, что операторы часто тратили около 20 секунд на подтверждение цели, предложенной Lavender. Это породило международный спор о том, не превращается ли человек в «формальную подпись» под решением алгоритма.

Одновременно с Lavender применялась система «Where’s Daddy?», отслеживавшая местоположение цели и сигнализировавшая, когда человек возвращается домой. Это использовалось для нанесения ударов по конкретным лицам. 

Март 2024, Красное море: Хуситы атаковали сухогруз True Confidence, применив тактику «умного роя», где часть дронов по приказу ИИ подавляла ПВО, а другая часть наносила удар.

В 2024–2025 годах Пентагон начал активно внедрять генеративные модели и LLM в разведывательные контуры Maven Smart System. ИИ начал автоматически сводить спутниковые снимки, радиоперехват, сообщения соцсетей и данные дронов в единую картину поля боя. 

Июнь 2024, США: Пентагон официально запустил в эксплуатацию генеративную ИИ-систему NIPRGPT для помощи персоналу в боевых и административных задачах, начав встраивать большие языковые модели в военную рутину.

Сентябрь 2023 — 2025, США (ВВС): Программа «Skyborg» разрабатывает ИИ для управления истребителями-дронами (XQ-58A Valkyrie), работающими как ведомые для пилотируемых самолётов.

Сентябрь 2023 — 2024, США (DARPA): В рамках программы ACE («Эволюция воздушного боя») ИИ на модифицированном F-16 (X-62A) провёл первый в мире воздушный бой с человеком на реальном истребителе.

По китайским военным ИИ...

С 2024 года по настоящее время, Китайский центр оборонного ИИ (NUDT) разработал LLM-платформы для автоматизации обработки разведданных из всех типов источников, создав, по сути, «цифрового аналитика».

2025 и планируется на 2026 год, («Цзю Тянь»): Китай готовится к испытаниям беспилотного «авианосца для дронов» «Цзю Тянь» («Высокое небо»), способного нести до 100 боевых дронов-камикадзе с ИИ.

2025, Китай (P60 от Norinco): Китайская государственная корпорация Norinco представила автономную боевую машину P60, оснащенную ИИ-платформой на основе большой языковой модели DeepSeek.

2025, Китай (Чат-бот ChatBIT): НОАК внедрила в войска специализированный AI-ассистент ChatBIT на базе доработанной модели Meta LLaMA для планирования операций, разведки и выявления уязвимостей.

2025, Группа китайских специалистов, проанализировав опыт войны в Украине, создала систему на основе ИИ, которая повышает выживаемость боевых беспилотников на поле боя до 90%.

2025, Китай (Дрон LOONG M9): Китай тестирует дрон-камикадзе LOONG M9 с возможностью работы по инфракрасной камере и навигации без GPS на основе ИИ для ночных операций.

2025, Китай (Archerfish): ВМС Китая приняли на вооружение ИИ-систему управления торпедой Archerfish, которая может самостоятельно распознавать тип цели и атаковать наиболее уязвимые места.

Уже к 2025 году военные аналитики признали, что ИИ радикально сократил цикл «обнаружение-удар». Если раньше на обработку разведданных уходили часы или дни, то теперь многие решения принимаются почти в реальном времени. Главная проблема — человек физически перестаёт успевать полноценно проверять выводы алгоритма. 

В "Камне раздора"" 2 робота под управлением внеземного и китайского ИИ конкурируют за нашу планету. А человек, человек совершает ошибки, не успевает и отстаёт...

2026 год. ИИ управляет финансами, сознанием, войсками, техникой, сам наносит удары. Человек.... Кто-то ещё верит, что рубильник, саперная лопатка и калаш продолжают "рулить"?