Если искусственный интеллект спас вам жизнь — обязаны ли вы ему подчиняться?

Под первым постом о «Протоколе доверия» появился комментарий, которому я очень обрадовался. Читателя зацепила идея человечества, добровольно отказавшегося от свободы ради безопасности. И я снова задумался о том, что для людей внутри этой истории такой выбор мог выглядеть совсем иначе, чем для нас со стороны.

Мы смотрим на этот мир и видим власть машин. А кто-то, живущий в нём, видит работающую больницу на месте той, где когда-то умирали без электричества.

Попробуйте представить человека, пережившего катастрофу.

Он помнит, как становилось холодно в квартире. Как приходилось делить последние продукты. Как однажды перестал работать телефон, а вместе с ним исчезла возможность узнать, живы ли близкие. Помнит ребёнка с высокой температурой и собственную беспомощность: ты взрослый, ты должен что-то сделать, но сделать нечего.

А потом появилась помощь.

Не обязательно в виде человекоподобного робота. Возможно, просто пришёл грузовик с лекарствами. Открылся пункт обогрева. В больнице заработало оборудование. Кто-то рассчитал маршрут, распределил запасы, восстановил энергоснабжение.

Его ребёнок выжил.

Для этого человека искусственный интеллект — не отвлечённая технология и не будущий диктатор. Это причина, по которой утром из соседней комнаты снова послышался детский голос.

И когда спустя годы ему говорят, что полномочия системы нужно ограничить, он спрашивает: «А вы точно знаете, что делаете?»

Мне трудно считать такой вопрос глупым.

Но теперь представим, что спасённый ребёнок вырос.

Он хочет переехать в другой город. Сменить профессию, которую система подобрала ему с учётом способностей и общественной потребности. Попробовать дело, в котором, по всем прогнозам, скорее всего потерпит неудачу.

Отец не понимает: зачем? У тебя есть дом, работа, медицина. Тебе не пришлось пережить того, что пережили мы. Почему ты готов рисковать всем этим?

А сын или дочь отвечает: «Я не хочу всё разрушать. Я хочу, чтобы меня спросили».

Это не эпизод из романа, а ситуация, которую я представляю, размышляя над его миром. И в ней мне интересны оба человека.

Один боится снова потерять то, что однажды едва удалось спасти. Другому тяжело жить с ощущением, что главные решения уже приняты и любое несогласие придётся оправдывать перед теми, кто знает лучше.

Причём система действительно может знать лучше. Предложенная работа может подходить ему идеально. Переезд — оказаться ошибкой. Собственное дело — закончиться провалом.

Остаётся ли у человека право выбрать этот неудачный путь?

Когда я работаю над «Протоколом доверия», мне хочется понять и тех, кто сопротивляется машинной власти, и тех, кто искренне её защищает. У последних тоже есть память, любовь к близким и веские причины бояться перемен. Мне было бы неинтересно писать их людьми, которые просто ничего не понимают.

Но и благодарность вызывает у меня непростой вопрос. Если тебя спасли, значит ли это, что спаситель теперь вправе распоряжаться всей твоей жизнью? А жизнью твоих детей, которые никакого согласия ему не давали?

Пожалуй, именно здесь эта история захватывает меня сильнее всего. В тот момент, когда человек, помнящий всё хорошее и не желающий никому зла, впервые произносит: «Спасибо. Но это я решу сам».

И ждёт, позволят ли ему.

А как вы думаете: где заканчивается благодарность спасителю и начинается право сказать ему «нет»? Есть ли решение, которое вы предпочли бы принять сами, даже зная, что машина справится лучше?