По ту сторону гедонизма: почему перепрограммирование мозга не сделает нас идеальными

Аннотация: Философ Виктор Аргонов предсказывал эру «искусственного программирования потребностей» (ИПП), которая превратит человека в полностью рационального агента. Однако, и его идеал и пессимизм его критиков одинаково упускают из виду фундаментальные сложности нейробиологии и непредсказуемые последствия такого вмешательства.

В начале XXI века философ Виктор Аргонов указал на ключевой пробел в футурологии: игнорирование вопроса об изменении человеческих потребностей. Его решение — «искусственное программирование потребностей» (ИПП) — выглядело элегантным. В рамках его утилитаристсской модели, где полезность жизни есть произведение среднего удовольствия на её продолжительность, современный человек неэффективен. Мы страдаем от конфликта между сиюминутными желаниями и долгосрочными целями. ИПП, по мысли Аргонова, должен был разрешить этот конфликт, создав человека, который хочет только полезного и счастлив от его выполнения — идеального рационального гедониста, обладающего абсолютной волей.

Его критики, однако, справедливо опасались, что такие технологии станут инструментом порабощения, а не освобождения. Корпорации и государства будут программировать лояльность и трудолюбие, лишая людей автономии. Они также предрекали культурную деградацию в мире «универсальной сомы», где исчезнет мотивация к сложным видам деятельности, включая научные исследования.

Оба лагеря, как мне кажется, заблуждаются, исходя из неполной картины работы человеческого мозга.

Три кита моей гипотезы:

1. Примитивный оценщик. Наш мозг обладает фундаментально одномерной системой оценки ситуации, основанной на приросте уровня нейромедиаторов удовольствия («внутреннего наркотика»). Этот механизм эволюционно древен и примитивен.
2. Воля как обходной путь. Человек, обладая волей, способен временно игнорировать сигналы «оценщика», следуя стратегии, которая сулит большее вознаграждение в будущем. Однако это требует постоянных когнитивных усилий и подвержено сбоям.
3. Слепота к времени. Ключевое ограничение биологического «оценщика» — отсутствие прямого доступа к данным о прогнозируемой продолжительности жизни. Он не может самостоятельно вычислить интегральную полезность, о которой говорит Аргонов.

Именно здесь возникает соблазн ИПП. Логично предположить, что для реализации идеала Аргонова необходимо подключить к примитивному «оценщику» более сложное устройство — например, ИИ-интерфейс, считывающий из коры головного мозга точные прогнозы и долгосрочные планы. Этот ИИ будет корректировать сигналы удовольствия, направляя их в русло, максимизирующее не сиюминутное наслаждение, а общую полезность жизни.

Почему это не сработает так, как ожидал Аргонов:

Это техническое решение обходит одно ограничение, но порождает целый веер новых, куда более опасных проблем.

• Роботизация. Человек, чьи глубинные мотивы постоянно перенастраиваются внешним алгоритмом, рискует утратить спонтанность и творческое начало — те самые качества, которые часто являются источником прорывных идей и подлинной радости.
• Ошибки оценки. Ни одна модель ИИ не может с абсолютной точностью предсказать все последствия решений на протяжении десятилетий или веков. Ошибка в расчёте «оптимального пути» может привести к систематическому отклонению в поведении, которое будет восприниматься субъектом как истинная и желанная цель.
• Самообман мозга. Самая серьёзная опасность — бессознательная корректировка самих прогнозов. Мозг, стремясь угодить «оценщику», может начать бессознательно искажать данные о продолжительности жизни, завышая их, чтобы оправдать менее полезные, но более приятные в краткосрочной перспективе решения. Возникает порочный круг самоублажения под маской рациональности.

Заключение

Таким образом, люди с модифицированным ИПП не станут ни пассивными потребителями «сомы», как предрекали критики, ни идеальными рациональными агентами, как мечтал Аргонов. Вместо этого мы получим существ с абсолютно неадекватной, с нашей сегодняшней точки зрения, системой мотивации. Их стремления могут быть направлены на самые причудливые и непредсказуемые цели: от создания гигантских, бессмысленных с эстетической точки зрения структур до жертвования собой ради абстрактных математических концепций. Их социальная активность породит формы сотрудничества и конфликта, которые мы сегодня не в состоянии даже вообразить. Ошибаются обе стороны: будущее окажется не просто иным — оно будет радикально чуждым.