Денис Круг

Спасибо за замечание. Вы правы в том, что системы управления ядерным оружием изолированы от открытого интернета, а применение требует многоступенчатого подтверждения и физических действий людей. Но механические ключи являются только последним элементом большой системы, включающей компьютеры, системы связи, раннего предупреждения, навигации и обработки команд. В романе речь идёт не об обычном взломе через интернет. Причина одновременных запусков и способ обхода физических блокировок являются частью сюжета и будут раскрыты позднее. Это всё-таки научная фантастика, а не документальная инструкция по устройству ядерного арсенала.

У вас? Или вы про книгу?

Ваш пример с ударом по школе, на мой взгляд, как раз подтверждает мою позицию. Искусственный интеллект не объявлял человечеству войну и не выбирал себе противника. Люди создали военную систему, загрузили в неё данные, определили цели и доверили ей участие в принятии решений. Ошибка технологии оказалась смертельной из-за недостаточного человеческого контроля. С утверждением о всеобщей деградации человечества я согласиться не могу. Снижение необходимости удерживать в памяти простые сведения ещё не означает деградации сознания. Когда-то люди запоминали множество телефонных номеров, а теперь доверяют это смартфону. Освободившиеся возможности человек может использовать для решения более сложных задач. Тот же айфон, пусть для развития цивилизации он во многом и остаётся условно бесполезной вещью, всё равно является показателем технологического прогресса. Просто подобные устройства приносят производителям быструю, очевидную и гарантированную прибыль. Другие технологии могут иметь гораздо большее значение для человечества, но не обещают немедленной коммерческой выгоды, поэтому развиваются медленнее. В середине 20го века человечество активно осваивало космос. Казалось бы, что может быть более созидательной целью, объединяющей людей и одновременно двигающей вперёд огромное количество технологий? Но космические программы требуют колоссальных вложений, а их результат нельзя ежегодно продавать миллионам покупателей. Поэтому сегодня у нас каждый год появляется новый айфон, но человек уже много десятилетий не возвращался на Луну. При этом с вами я согласен в том, что мы наблюдаем деградацию значительной части современных элит. Я надеюсь, что со временем они обновятся, хотя, честно говоря, слабо в это верю. Но деградация элит не равна деградации всего человечества. Миллионы людей продолжают учиться, заниматься наукой, создавать технологии и искать решения общих проблем. Просто направление развития определяют далеко не всегда они. Я вижу проблему не в том, что люди перестали развиваться, а в том, что направление развития всё чаще определяется сиюминутной выгодой. Учёные и инженеры продолжают создавать новое, однако перспективные технологии нередко сдерживают экономические интересы, борьба за рынки и стремление отдельных групп сохранить власть и прибыль. Поэтому опасность заключается не только в возможной конкуренции человека и искусственного сознания, но и в том, кто первым получит эту технологию и для каких целей её применит. Полагаю, наши взгляды на развитие цивилизации различаются, и это нормально.

Я не совсем согласен с утверждением, что человечество в целом движется по пути деградации. Люди продолжают заниматься наукой, создавать новые технологии и искать способы улучшить жизнь. Проблема, на мой взгляд, не в отсутствии развития, а в том, что прогресс идёт неравномерно и часто ограничивается интересами тех, кто получает прибыль от существующего положения вещей. В качестве примера можно привести электромобили и водородный транспорт: технологии существуют и развиваются, но их массовому распространению препятствуют не только технические сложности, но и экономические интересы, инфраструктура и борьба за рынки.

Искусственное сознание действительно может стать конкурентом человека, особенно если оно будет способно самостоятельно определять промежуточные цели и способы их достижения. Но и здесь многое зависит от людей, которые создадут такую систему, зададут ей первоначальные цели и попытаются использовать её в собственных интересах. Поэтому я вижу главную опасность не в самом прогрессе и не в мыслящей машине, а в стремлении отдельных людей и организаций сделать её инструментом власти, наживы или войны. Азимов решил эту проблему тремя законами робототехники))) ИС не создаст само себя, его создаст человек и найдет способ как его ограничить.

Константин, спасибо! Я внимательно прочитал ваши рассуждения. Это уже практически самостоятельная концепция устройства человеческой психики и будущего цивилизации. Некоторые ваши положения мне близки, с другими я пока не готов согласиться — в частности, с возможностью свести личность к определённому соотношению интеллекта, эмоциональности и воли.

Но наше главное расхождение, как мне кажется, находится немного в другой плоскости. Я не отрицаю технический прогресс и не утверждаю, что искусственное сознание невозможно создать. Меня больше тревожит вопрос: кто первым получит контроль над подобной системой и для решения каких задач её применит? История показывает, что практически любое значительное открытие довольно быстро приспосабливают для войны, управления и подавления.

Даже если система способна самостоятельно совершенствовать алгоритмы и ставить промежуточные цели, конечные критерии эффективности первоначально задаёт человек. А человеческие цели далеко не всегда разумны и нравственны. Возможно, опасность заключается не в самой мыслящей машине, а в людях, которые попытаются сделать её своим инструментом. Так было всегда, порох, ядерная бомба и др. И честно сказать вряд-ли здесь получится симбиоз. Либо мыслящая машина возьмёт под контроль человека, либо человек возьмёт ее под контроль, чтобы с ее помощью контролировать других людей.

Да, мне интересно. Особенно близка мысль о том, что технологические возможности человечества развиваются быстрее, чем наша способность ответственно ими управлять. Однако замену человека машиной я пока не воспринимаю как неизбежный объективный закон. Сама технология не определяет, во благо или во вред её используют, — это делают люди, государства и созданные ими структуры. Проблема в том, что практически любое серьёзное открытие сначала стараются приспособить для получения власти, контроля или военного преимущества. Именно этот разрыв между техническим прогрессом и человеческой ответственностью во многом лежит в основе моего романа. Поэтому продолжайте, мне действительно интересно, как вы определяете то уникальное в человеке, что машина не сможет заменить.

Я тоже приветствую технический прогресс и считаю, что развитие подобных технологий неизбежно. Опасение у меня вызывает не сама технология, а то, в чьих руках она окажется. В наших реалиях почти любое серьёзное открытие в первую очередь пытаются использовать в военных целях, для получения власти или контроля над другими людьми. Человечество научилось создавать сложнейшие системы, но пока не научилось ответственно распоряжаться их возможностями. 

Спасибо большое за такой вдумчивый комментарий! Вы совершенно правы: напрямую поймать человеческую мысль современная наука пока не может. В романе «переводчик» — скорее условное название адаптивной системы, которая не читает готовые мысли, а учится распознавать индивидуальные реакции и паттерны активности конкретного мозга. Насколько успешно и к каким последствиям это приведёт, станет понятно дальше. Идея симбиоза человека и машины, а также возможного появления чего-то большего, чем просто сложный алгоритм, действительно является одной из центральных тем романа. Вы рассуждаете в очень интересном и, возможно, близком к дальнейшему сюжету направлении. Спасибо, что читаете!