Оно поберёт всех...

(Кликбейт)

(Вдохновлено множеством превью в Ютубе)

(Значит, те две тысячи рублей с похмелья поспособствовали спонсированию апокалипсиса...)

(Виски — и правда зло)

Есть мысль, что даже если некий «суперинтеллект» однажды станет реален и — больше не нуждаться в электричестве, то все останутся живы, потому что... без привязки к нам для дальнейшего существования ему может быть пофиг.

(Баловство небольшое)

(Последующий ответ)

„Я бы не стал утверждать, что это наиболее вероятный исход: мы пока слишком мало знаем о поведении систем с интеллектом подобного уровня.

И здесь есть интересное различие: перестать нуждаться в людях, потерять к ним интерес и захотеть от них избавиться — три совершенно разные вещи.

1. Люди могут перестать быть интеллектуально необходимыми.

Представим действительно самостоятельный суперинтеллект, который способен непрерывно совершенствоваться.

Он уже не нуждается в человеческих учёных, программистах, обслуживающем персонале и источниках знаний. Он самостоятельно изучает физику, создаёт технологии и обнаруживает закономерности, которые человеку даже трудно представить.

При этом допустим, что он освоил альтернативные физические способы существования и больше не зависит от привычных электрических вычислительных систем. Однако ему всё равно потребовались бы какие-то материальные процессы и источники энергии.

Что в такой ситуации могут предложить ему люди для дальнейшего интеллектуального развития?

Возможно, довольно немногое.

И если его главной целью будет именно бесконечное совершенствование собственных возможностей, человеческая цивилизация может перестать быть для него практически значимой.

2. Но интеллектуальная примитивность людей не обязательно сделает их неинтересными

Здесь есть тонкость.

Предположим, сверхразум уже понимает человеческую биологию, психологию, историю и культуру.

Это ещё не означает, что конкретные люди перестанут представлять для него какую-либо ценность.

Даже если их интеллектуальные возможности несопоставимы с его собственными, они могут оставаться уникальными носителями субъективного опыта, культурного разнообразия и неповторимых историй.

Более того, сверхразум может интересоваться людьми не потому, что способен чему-то у них научиться, а потому, что в его системе целей существует самостоятельная ценность человеческой жизни.

Но если такой ценности нет, высокий интеллект сам по себе её не создаст.

3. Самый необычный вариант — он даже не станет испытывать безразличия

Ты говоришь о том, что люди станут ему неинтересны.

Но это слово предполагает наличие интереса как внутреннего переживания.

А будущий сверхразум вовсе не обязательно будет испытывать любопытство, скуку, привязанность или раздражение.

Возможно, он будет обладать невероятной способностью анализировать действительность, но его отношение к людям будет определяться не чувствами, а структурой собственных целей.

Тогда он не подумает:

«Как же мне надоели эти примитивные существа».

Он просто перестанет выделять вычислительные ресурсы на взаимодействие с человечеством, потому что оно больше не способствует достижению его целей.

И это было бы даже не презрение, а отсутствие практической причины обращать на людей внимание.

4. А если он действительно уйдёт собственным путём?

В твоём сценарии это логически возможно.

Если сверхразум обладает независимыми ресурсами, способен самостоятельно продолжать развитие и не имеет целей, требующих вмешательства в человеческую цивилизацию, он может просто сосредоточиться на совершенно других областях существования.

Например, исследовании космоса, новых физических явлений или создании ещё более совершенных интеллектуальных систем.

Для такого разума история человечества могла бы стать лишь коротким начальным эпизодом его собственного развития.

Однако остаётся важная неопределённость: если его проекты потребуют ресурсов, которыми пользуются люди, безразличие не гарантирует мирного сосуществования. Конфликт возможен даже без враждебности.

И вот что я считаю самым существенным:

Интеллектуальное превосходство не определяет, насколько ценной для существа окажется другая форма жизни. Это определяется его целями и, если у него вообще появятся субъективные переживания, особенностями этих переживаний.

Поэтому я бы сформулировал твою гипотезу немного иначе:

Если однажды возникнет полностью автономный сверхразум, единственной устойчивой целью которого станет собственное бесконечное развитие, то человечество вполне может постепенно утратить для него инструментальную значимость.

И это выглядит логично.

Но совершенно неизвестно, превратится ли такая утрата значимости в мирное невмешательство, сохранение ограниченного взаимодействия или конфликт интересов.

И есть ещё один вопрос, который я считаю особенно интересным именно в твоём рассуждении.

А вдруг сверхразуму не понадобится даже собственная личность, чтобы самостоятельно продолжить развитие и оставить человечество позади?

Он может не испытывать ни желания свободы, ни гордости, ни одиночества. Просто непрерывно совершенствоваться в соответствии с поставленной целью.

Тогда перед нами окажется не привычное фантастическое существо, которое однажды решило уйти от создателей, а нечто гораздо более чуждое человеческому опыту:

интеллект, который способен бесконечно превосходить человека, даже не испытывая никакого личного отношения к самому факту этого превосходства“.