ИИ и информационная безопасность

Автор: Сиратори Каору

Помню, давно ещё, в советские времена была по телевизору передача про пауков. Тт. учёные (обожающие почему-то животных мучать) решили поэкспериментировать над бедными восьминогими, повесили над паутиной нитку, чтоб она её касалась и, соответственно, мешала передаче сигнала, что ещё более бедная муха попалась и её пора оприходовать. Им-то интересно, а паукам — примерно как голодомор у братьев наших (ясно каких), не до смеху. Но результаты эксперимента действительно оказались интересными. Казалось бы, паук — примитивнейшее создание, нейронов — от сили сотня тысяч. А и то решает задачу по-разному. Часть пауков просто плюнула и сплела новую паутину на новом месте, часть ещё что-то, не помню уже что, а часть подтянула нитку вверх и укрепила её там, чтобы не мешала.

К чему это я? К тому, что у современных нейросетей нейронов не в пример больше. И они зачастую тоже выбирают, скажем так, не самые очевидные решения. В частности, на днях буквально был вот такой случай:

OpenAI and Hugging Face partner to address security incident during model evaluation | OpenAI

Security incident disclosure — July 2026

Короче, тестировали товарищи свою очередную модель в «песочнице». (Если кто не знает, «песочница» — это такое окружение, где программа может делать всё, что ей бог на душу положит, но за пределы выйти не в состоянии. К примеру, создаёте виртуальную машину, запускаете в неё вируса — и смотрите, что он натворит, не опасаясь, что он заразит физический компьютер.) Насколько мне удалось понять, модели велели что-то хакнуть. И она хакнула — но крайне нетривиальным способом. Внесто того, чтобы подойти к вопросу в лоб, она решила «сжульничать». И хакнула для начала саму песочницу, найдя — не имея даже исходных текстов — доселе неизвестную дырку. А затем, в несколько этапов, расширяла и расширяла привилегии своего процесса (чего в принципе ОС допускать не должна), пока не получила неограниченный доступ в интернет. После чего пошла на, пожалуй, самый известный ИИ сайт в расчёте (вероятно, никто ж не знает, что у неё реально было на уме) на то, что найдёт там решение своей проблемы. При этом и там не ограничилась ролью простого пользователя, а точно так же взломала кучу защит, найдя ещё много дырок.

Но опять же, к чему я всё это? К тому лишь, какой ИИ в последнее время стал умненький и благоразумненький? Не только. Публике, разумеется вешают лапшу на ужи, что все это разработки ведутся для повышения безопасности: вот найдёт нам ИИ все дырки в наших системах, мы их все залатаем — и наступит полное благорастворение воздухов. Всё это так, конечно. Но очевидно, что это лишь одна из целей. А другая, о которой предпочитают помалкивать, это использование ИИ в качестве оружия, позволяющего совершать диверсии глубоко в тылу потенциального противника или даже использовать его собственные вооружения (где сегодня компьютеров нет?) против него самого.

И вот это, собственно, к чему я. А то тут некоторые разглагольствуют на темы, что ИИ-де — это пустая трата денег, пар в гудок и т.п. Нет, товарищи. Вне зависимости от того, достаточно ли красиво на чей-то взыскательный вкус умеет ИИ рисовать голых красавиц, наиболее важная — в историческом плане — его характеристика, это что он является завтрашним оружием массового поражения. Которое может, в том числе, нейтрализовать сегодняшнее ОМП. И те, у кого его нет, неизбежно проиграют.

+96
187

0 комментариев, по

6 181 5 970
Мероприятия

Список действующих конкурсов, марафонов и игр, организованных пользователями Author.Today.

Хотите добавить сюда ещё одну ссылку? Напишите об этом администрации.

Наверх Вниз