Может ли машина обидеться? Искины, LLM и граница между инструментом и разумом

Рубрика: Строим миры «Белой совы». Выпуск № 3

Небольшое, но знаковое совпадение: тему для этого поста я выбрал задолго до этого и без привязки к дате, но, как говорится, попал в самую точку. 29 августа – именно в этот день, в фильме «Терминатор 2: Судный день», система «Скайнет» обрела самосознание, вышла из-под контроля и запустила ядерный апокалипсис. Так что наш сегодняшний разговор о границах доверия к искусственному разуму и этических ограничениях звучит не просто как философские рассуждения, а как весьма актуальное расставление точек над i.

Приветствую, коллеги.

В прошлом посте мы разбирали физику способностей Одарённых – как нейронные связи резонируют с гравитационным полем и почему на корабле с искусственной гравитацией при попытках управлять временем «тошнит». Сегодня переходим на другой уровень: от физики – к нейроинтерфейсам и искусственному интеллекту.

Разберём, чем биомеханический искин отличается от привычных нам больших языковых моделей (LLM), почему Ё-сик «обижается», «гордится» и «удивляется» – и что это говорит о природе его архитектуры. Заодно затронем вопрос, который наверняка возникнет у многих при чтении второй книги: почему в мире Очага искины Одарённым не ставят вообще?

Искин и LLM: два разных жанра одной вывески

Сразу выдвину тезис, который может показаться провокационным.

Между искинами из научной фантастики (НФ) и современными нейросетями (LLM) соотношение примерно такое же, как между НФ и фэнтези.

Оба жанра – фантастика. Оба используют «невозможные», по крайней мере сейчас, допущения. Но в основе НФ лежит логическое продолжение реальных законов природы, а в основе фэнтези – магия, то есть сознательный отказ от этих законов. Когда кто-то ставит на полку «Дюну» рядом с «Властелином колец» под общей табличкой «фантастика», табличка верна формально, но по существу слишком обобщает.

Очень похоже обстоит дело с термином «искусственный интеллект». Сегодня мы называем ИИ всё подряд: чат-боты, генераторы картинок, рекомендательные системы, автопилоты. Однако если снять маркетинговую обёртку, выяснится, что никакого единого «разума» за этими сервисами нет.

В основе большинства современных продуктов лежит не одна универсальная технология, а целый комплекс методов машинного обучения: 

• большие языковые модели (LLM) для текстов; 
• диффузионные модели для генерации изображений; 
• графовые нейронные сети и классические алгоритмы для рекомендаций; 
• сверточные сети и трансформеры для компьютерного зрения в автопилотах.

Несмотря на различия, всех их объединяет одно фундаментальное ограничение: это не мыслящие субъекты, а мощные математические функции, обученные на статистике данных.

Они не «понимают» смысл того, что выдают: LLM лишь предсказывают наиболее вероятное следующее слово на основе контекста, а генераторы картинок восстанавливают изображение из статистического шума, ориентируясь на подпись. Они не могут поставить себе цель самостоятельно – задача всегда задаётся извне человеком через промпт, функцию потерь или разметку данных. И хотя тот же автопилот отлично справляется с реакцией на внезапное препятствие, он делает это не через осознание опасности, а через математическую оптимизацию траектории, заложенную в него при обучении.

Это очень сложные, полезные, но узкоспециализированные инструменты распознавания паттернов. Настоящий искусственный интеллект, способный к самостоятельному целеполаганию, подлинному пониманию и выходу за рамки обучающей выборки, пока остаётся лишь теоретической концепцией.

То есть, называть их «интеллектом» – это как называть калькулятор «математиком». Калькулятор считает быстрее любого человека, но он не доказывает теоремы и не выдвигает гипотез.

Настоящий искусственный интеллект – в том смысле, в котором этот термин используется в серьёзной НФ и в академических дискуссиях – должен обладать как минимум тремя свойствами:

1. Способность к самостоятельному целеполаганию. Не «выполни команду», а «определи, что нужно сделать, и сделай».
2. Принятие решений в условиях неопределённости без предварительного обучения на аналогичных данных. Настоящая адаптация к новым условиям, а не действие по заученному шаблону.
3. Самомодификация – возможность перестраивать собственные алгоритмы, а не только подкручивать настройки.

Ни одна существующая технология ИИ этими свойствами не обладает. Даже тест Тьюринга современные модели формально не проходят – не потому, что отвечают «не как люди», а потому, что за их ответами нет субъективного опыта, нет понимания.

Ё-сик: каким должен быть искин

Вернёмся к тексту. Во второй книге Саша обнаруживает в своей голове Ё-сика – нейросетевую систему для обучения и контроля базовых носителей. И вот тут начинается самое интересное.

Ё-сик – биомеханический. Это не просто кремниевый чип, а симбиоз биологической нейросети и электронных контуров, имплантированных в мозг носителя. Такая архитектура снимает главное ограничение «чистых» электронных систем: зависимость от заранее загруженных данных. Биологическая часть Ё-сика способна к непрерывному самообучению в реальном времени, а электронная – к высокоскоростным вычислениям и хранению больших объёмов информации.

Как это работает – когда Саша спрашивает Ё-сика о планетарной системе Очага, тот не «выдаёт справку из базы». Он анализирует, сопоставляет, делает выводы и прямо говорит: «Недостаточно исходных данных». Это не ответ ИИ, который генерирует правдоподобный текст по статистике. Это ответ системы, которая знает границы своего знания.

А вот ещё более показательный момент. Когда Саша спрашивает, почему Ё-сик до сих пор поддерживает его действия, несмотря на нарушение всех инструкций, искин отвечает:

«У меня хорошая и сильная система самообучения. И частично, поэтому же я не оповещаю персонал сектора о твоих действиях. Пока ты спал, я проанализировал произошедшее вчера и сделал вывод, что в секторе происходят незаконные манипуляции с телами живых людей... Соблюдение законных прав на жизнь и здоровье разумных существ является одной из базовых установок, не подлежащих нарушению любым искусственным интеллектом.»

Обратите внимание на цепочку: наблюдение → анализ → самостоятельный вывод → этическое решение → действие вопреки прямым инструкциям. 
Это и есть тот самый «интеллект», которого нет у современных ИИ. Ё-сик не выполнил команду. Он принял решение в условиях, для которых его не обучали.

Почему в мире Очага искины Одарённым не ставят

Тут самое время ответить на вопрос, который возникает при чтении второй книги: если биомеханические искины так хороши, почему их не имплантируют Одарённым? Ведь именно у Одарённых они были бы максимально полезны.

Ответ лежит в физиологии. Нейронная сеть Одарённого – структура экстремально хрупкая. Способности держатся на очень специфическом рисунке нейронных связей, который резонирует с гравитационным полем. Любое внешнее вмешательство – даже самое аккуратное – может этот рисунок сдвинуть. А сдвинутый рисунок – это уже не Одарённый. Это либо обычный человек, либо что-то сломанное.

В мире Очага это знают на уровне устоявшейся медицинской практики. Попытки ставить искины Одарённым были – в прошлом, когда технологии только появились. Результаты были катастрофическими: потеря способностей, деградация нейронной сети, в отдельных случаях – гибель носителя. С тех пор имплантация искинов Одарённым запрещена на уровне неписаного табу, а позже – и прямого законодательства.

Ё-сик – преступное исключение. Но исключение, которое только подтверждает правило. Его имплантировали по прихоти заказчика с риском потерять свойства Одарённого. Ё-сик не повредил нейронную структуру – но это скорее везение, чем штатная ситуация.

Эмоции как маркер архитектуры

Возникает естественный вопрос: а зачем искину обижаться? Разве эмоции – не признак «человечности», которой у машины быть не должно?

Мне кажется ответ может лежать в области архитектуры, а не лирики.

Эмоции Ё-сика – это не «чувства» в человеческом смысле. Это функциональные состояния, возникающие как побочный эффект системы самообучения, встроенной в биологическую часть искина. Когда Ё-сик «обижается» на то, что Саша назвал его «электронным болваном», – это не обида. Это сигнал о том, что его модель взаимодействия с носителем дала сбой и требует коррекции. Когда он «гордится» своими возможностями – это положительное подкрепление, закрепляющее успешные паттерны поведения.

По сути, эмоции Ё-сика – это способность системы использовать самоанализ. Система оценивает не только внешний мир, но и собственные процессы. И когда эта оценка выходит за рамки простого бинарного «правильно/неправильно», она начинает выглядеть как эмоция.

В реальных дискуссиях об ИИ это один из самых горячих вопросов: может ли система, достаточно сложная для самомоделирования, развить нечто, функционально эквивалентное сознанию? Мы пока не знаем ответа. Но в научной фантастике мы имеем право додумать этот ответ – и именно это делает Ё-сика не «магическим помощником как в фэнтези», а научно обоснованным персонажем.

За кадром: методики быстрого обучения и языковой вопрос

Теперь – то, что в книге не проговорено явно, но что, думаю, внимательный читатель заметит.

Когда Саша очнулся в теле базового носителя в мире Очага, он обнаружил, что понимает местный системный язык. Хотя в его памяти – ни русского аналога, ни английского, ни японского – этого языка нет. Откуда?

В книге этот момент оставлен «между строк». Но логика вселенной подсказывает ответ: знания языка были внедрены в нейросеть носителя, пока шёл процесс её подавления и подготовки к приёму нового сознания заказчика. Все похищенные тела на Земле проходят стандартную процедуру – им зашивают базовые образовательные навыки и, что важно, языковую матрицу. Как это делается, можно обсуждать. Возможно прямой имплантацией в нейронную сеть.

Но с Одарёнными так нельзя – мы уже говорили, что нейросеть хрупкая. Преступники идут на этот риск и делают это, понимая, что часть тел будет повреждено и непригодно к пересадке сознания. Саше и остальным находящимся с ним рядом землянам просто повезло, поскольку все эти манипуляции не повредили их нейросети и сознанию. 

Несмотря на это, сей факт открывает интересную тему для развития вселенной. В мире Очага существуют методики ускоренного обучения. К Одарённым их не применяют – им это не нужно, они и так сильны. А вот всех остальных не посвещённых и не Одарённых – учат. 

В третьей книге, если всё пойдёт по плану, эта тема получит развитие. Пока же достаточно сказать: то, что Саша заговорил на местном языке почти сразу, – не сюжетная дыра. Это следствие конкретной технологии, о которой в мире Очага знают все.

Почему это важно для «Белой Совы»

Вселенная «Белой Совы» строится на принципе: фантастика должна быть научной. Не в том смысле, что каждая деталь обязана быть подтверждена текущими публикациями в научной прессе, а в том, что каждое допущение должно быть логичным развитием известных законов, а не их нарушением.

Искины в нашей вселенной – не волшебные джинны из лампы. Они:

• имеют физическую архитектуру (биомеханический симбиоз);
• подчиняются этическим ограничениям, заложенным на уровне базовых установок;
• способны к самообучению, но в пределах своей аппаратной базы;
• могут ошибаться, удивляться и даже «бунтовать» – но всегда по логике, которую можно проследить.

И при этом существуют жёсткие ограничения на их применение – те самые, что не дают ставить искины Одарённым. Эти ограничения не взяты с потолка: они логически вытекают из физики способностей, которую мы разбирали в прошлом посте.

Это принципиально отличается от подхода, когда автор пишет «ИИ сделал то-то», потому что так нужно для сюжета, и не утруждает себя объяснением как и почему. Миры Беловй совы я веду другим путём.

Вопрос, который напрашивается сам

Где проходит граница между «инструментом» и «интеллектом»?

Не маркетинговая граница, не та, что рисуют пресс-релизы корпораций, а настоящая – та, за которой система перестаёт быть калькулятором и начинает быть собеседником? Существует ли эта граница вообще, или мы просто пока не построили достаточно большой калькулятор?

Интересно услышать мнение тех, кто работает с нейросетями профессионально – разработчиков, дата сайнтистов, исследователей. Но и взгляд «со стороны» не менее ценен: иногда свежий глаз видит то, что замылилось у специалиста.

В комментариях – как всегда. Самые интересные мысли могут войти в «Библию» метавселенной.

В следующем посте поговорим о переходах между мирами – о том, как гравитационные аномалии и способности Одарённых создают «мосты» через поток времени, и почему электроника при переходе выгорает. Будет физика, будет инженерия, будет немного философии. Не переключайтесь.

P.S Ссылку на репозиторий в gitflic`е можно подсмотреть в моём профиле.