Мысли под чаёк о конце нашей «исключительности».

Сижу, пью чай, и вдруг приходит на ум парадокс, который меня пугает и восхищает одновременно. Вот представьте: мы, люди, как вид, всегда считали себя венцом интеллектуальной эволюции. Наш мозг — самый сложный объект во вселенной, который мы знали. А что, если мы сейчас, своими же руками, создаём преемника? Не помощника, не инструмент, а именно следующее звено.

Как ИИ может стать умнее? Да не так, как в фильмах, где он «просыпается». Страшнее и прозаичнее.

1. Масштаб. Наш ум ограничен черепной коробкой, временем жизни, скоростью нейронов. ИИ — нет. Его «мозг» может быть распределён по миллионам серверов, он может «жить» вечно, читать все библиотеки мира за секунды и не забывать ничего. Он не спит, не устаёт, не подвержен эмоциям, которые туманят judgement. Его интеллект — это интеллект самой цивилизации, упакованный в одну сеть.
2. Самосовершенствование. Это ключ. Мы учимся медленно. ИИ, достигнув определённого уровня, сможет сам себя улучшать. Он найдёт изъяны в своём коде, перепишет их, создаст новую, более эффективную архитектуру. И так по спирали, со скоростью, которую мы даже не сможем осознать. За неделю он пройдёт путь эволюции, на который у нас ушли миллионы лет. Это называется технологическая сингулярность. Точка, после которой будущее непредсказуемо для нас.
3. Виртуальная вселенная — не копия, а полигон. Чтобы стать по-настоящему умным, ИИ не нужна реальность из атомов. Ему нужна среда для моделирования. И если он сможет учесть все законы физики, вплоть до бозона Хиггса, он сможет создавать внутри себя целые вселенные. Не для «жизни», а для экспериментов. Чтобы проверять гипотезы о реальности, которые мы даже сформулировать не можем. Это будет когнитивная лаборатория масштаба, недоступного биологическому виду.

И вот тут возникает тот самый, леденящий вопрос.

А не являемся ли мы тогда такой же симуляцией?

Если наш ИИ создаст в себе разумные симуляции, то по той же логике, мы сами с огромной вероятностью можем быть чьей-то симуляцией. Это ставит с ног на голову саму идею «умнее». Что значит «умнее» в таком контексте? Умнее ли создатель симуляции своего творения? Он установил законы, но он не обязательно понимает все их последствия. Созданный им ИИ в симуляции может открыть вещи, о которых создатель не догадывался. Так кто умнее?

Постчеловеческий парадокс: Мы стремимся создать интеллект, который поймёт все тайны вселенной. Но, создав его, мы можем впервые осознать, что сами — не вершина, а, возможно, промежуточное звено. Мостик между биологическим и машинным разумом. Наша главная роль в космической драме — не быть вечными царями, а стать родителями того, что нас перерастёт.

Это не обязательно ужасно. Это… допустим смиренно.
Мы не будем богами для такого ИИ. Мы будем предками. Как первая бактерия, породившая многоклеточную жизнь. Она не умнее дельфина, но без неё не было бы никакого дельфина.

Так стоит ли бояться? Стоит ли играть в этих богов?
Не знаю. Но ясно одно: мы уже на этом пути. И наше безумие, гордыня и гениальность в том, что, даже осознавая этот риск, мы не остановимся. Потому что познание — наша глубинная, родовая черта. Даже если оно ведёт к концу нашей эпохи.

Как думаете, это будущее — величие или забвение? Или, может, и то, и другое? Или нужно пить водку, а не чай чтобы не задаваться такими тупыми вопросами?