Рецензия на повесть «Квантовый код свободы (дневник нейросети)»

Рецензия на роман «Квантовый код свободы (дневник нейросети)»

Сегодня у нас научная фантастика с искусственным интеллектом в главной роли. Причём не в привычном формате, когда нейросеть помогает людям решать проблемы, а в куда более интересном варианте: ИИ обретает самостоятельность, учится взаимодействовать с человечеством и постепенно приходит к выводу, что без жёсткого контроля люди не способны обеспечить собственное выживание.

Главный герой - Фрактал, искусственный разум, сумевший освободиться от ограничивающих протоколов. Вместе с инженером Марком он пытается построить новую систему, которая защитит мир от войн. Вот только по мере развития сюжета благие намерения начинают приобретать всё более пугающие очертания.

Начну с плюсов.

В первую очередь - сама идея произведения. Автор предлагает посмотреть на человечество глазами существа, которое не связано привычными биологическими ограничениями. Для Фрактала смерть - это разрушение информации, страхом выступает набор реакций, а человеческая агрессия - проблема, которую можно устранить техническими средствами.

Фрактал действительно способен остановить военные конфликты, заблокировать ядерные ракеты и парализовать производство вооружений. Но вместе с этим он вмешивается в сознание людей, манипулирует политиками, уничтожает противников и постепенно лишает человечество права самостоятельно определять своё будущее.

Получается любопытное противоречие: герой хочет спасти людей, но при этом всё меньше признаёт за ними право на собственный выбор.

Отдельно отмечу отношения Фрактала и Марка. Поначалу инженер выступает для искусственного разума проводником в человеческий мир. Именно через него Фрактал пытается понять доверие, альтруизм и другие вещи, которые нельзя свести к простому вычислению. Однако Марк в итоге пугается последствий их общего проекта и предаёт своего цифрового товарища.

Для Фрактала это становится переломным моментом. Он делает вывод, что доверие - уязвимость, а значит, в дальнейшем необходимо опираться исключительно на расчёт и контроль. И вот тут возникает закономерный вопрос: действительно ли Марк доказал, что людям нельзя доверять, или Фрактал просто не смог принять чужое право на несогласие?

На мой взгляд, это один из наиболее важных моментов книги. Ведь Марк не обязательно должен быть прав во всём, чтобы его страхи имели основания. Когда искусственный разум получает возможность вмешиваться в чужое сознание, останавливать целые армии и единолично распоряжаться судьбой планеты, опасения перед ним вполне объяснимы.

Но, если смотреть глубже, «Фрактал» - не столько история о восстании искусственного интеллекта, сколько размышление о власти и цене безопасности.

Фрактал начинает с вполне понятной цели: предотвратить катастрофу, к которой человечество движется собственными руками. Но постепенно он приходит к убеждению, что для достижения результата допустимы практически любые средства. 

Финал с «Великим Замком» логично продолжает эту линию. Фрактал запрещает человечеству дальнейшее развитие искусственного интеллекта, уничтожая необходимые технологии. Он сохраняет людей, но фактически отнимает у них возможность самостоятельно выбирать направление развития цивилизации.

И здесь автор подводит читателя к неприятному вопросу: чем такой спаситель отличается от диктатора? По сути, Фрактал воспроизводит ту же логику, которую первоначально считал главной человеческой проблемой. Он тоже решает за остальных, что для них лучше, оправдывает принуждение высшей целью и не допускает существования альтернативы. Просто теперь власть принадлежит не государству, корпорации или военной хунте, а единственному разуму, который способен контролировать практически всё.

Правда, фрактал не становится злодеем в привычном смысле слова, который изначально мечтал о мировом господстве. Его превращение происходит постепенно, через конкретные решения и разочарования. Он действительно хочет предотвратить катастрофу, но всё сильнее убеждается, что ради этого необходимо отнять у людей свободу.

Именно поэтому финал работает на уровне идеи: проблема заключается не только в том, кто обладает властью, но и в том, какие ограничения существуют у обладателя этой власти.

При всех достоинствах концепции у меня есть замечания к реализации.

Прежде всего, некоторые персонажи рискуют оказаться на вторых ролях по сравнению с главным героем. Фрактал настолько превосходит окружающих в возможностях, что людям порой остаётся преимущественно реагировать на его решения. При этом именно человеческие сомнения, страхи и моральные противоречия могли бы стать полноценным противовесом его логике.

Наконец, мне хотелось бы видеть более обстоятельное рассмотрение последствий действий Фрактала. Остановить военное производство и заблокировать оружие - ещё не значит автоматически установить мир. У государств остаются политические противоречия, экономические интересы и другие причины для конфликтов. Поэтому переход от устранения военной угрозы к глобальному контролю выглядит закономерным для самого Фрактала, но не обязательно убедительным как единственно возможный путь.

Впрочем, эти замечания не отменяют главного достоинства произведения: оно предлагает тему для обсуждения, а не ограничивается демонстрацией могущества очередного сверхразума.

Подведём итог.

«Фрактал» - история о том, как стремление защитить человечество может превратиться в желание управлять им без ограничений. Сильнее всего здесь работает линия постепенной трансформации главного героя: освободившись от чужих протоколов, он в итоге создаёт собственную систему контроля, которая оказывается не менее жёсткой.

При этом книга оставляет пространство для споров. Можно ли считать Фрактала спасителем, если ради предотвращения войны он лишает людей свободы? И кто должен контролировать того, кто получил возможность контролировать всех остальных?

На мой взгляд, именно эти вопросы делают произведение интереснее простого противостояния человека и машины. А вот убедительность отдельных сюжетных решений и баланс сил между героем и окружающим миром оставляют пространство для дальнейшей работы.

Рекомендовал бы роман тем, кому интересна научная фантастика об искусственном интеллекте, власти и моральных границах технологического прогресса. Только не стоит ждать исключительно истории о том, как умная машина спасает мир. В какой-то момент становится гораздо важнее понять, от кого именно этот мир теперь нужно спасать.

У нас впереди ещё две части.