Ненаучный базис. Нейросети
Автор: Максим Алиев
Выше представлен отрывок из статьи Тайм за авторством Элиезера Юдковского - для многих он автор фанфика "Гарри Поттер и методы рационального мышления". Помимо этого, он серьёзный учёный занимающийся вопросами искусственного интеллекта. В отрывке статьи передаётся её общий смысл и настроение: сверхскоростное, бесконтрольное развитие нейросетей имеет шанс закончиться гибелью человечества. Эта статья в Таймс реакция на нашумевшее в новостях открытое письмо, призывающее остановить минимум на полгода создание и тренировку сетей превосходящих GPT-4.
В своём творчестве (во Вселенной заблуждений) я отталкивался именно от этой позиции (одной из её возможных форм). Если Юдковский говорит о том, что возможный "сильный ИИ", появившийся в процессе взрывного интеллектуального развития, не намерен уничтожать человечество целенаправленно (ИИ на человечество наплевать), но в процессе реализации неких своих целей может посчитать человечество ресурсом. Огульно можно процитировать Морфеуса:
Ну а если без нагнетания - человек это масса атомов. "Self-propelled resource depot" - мне нравится, как это звучит на английском. "Самоходный склад ресурсов".
Юдковский считает, что наплевательское отношение ИИ к человеку - безразличное - принципиально может быть исправлено, но мы к этому не готовы и не знаем, как конкретно это сделать.
Более того, мысль, выраженная в статье, им высказана давным-давно (больше 8 лет назад). Я с ней познакомился в книге Джеймса Баррата "Последнее изобретение человечества" (никаких намёков и давления, ага). И вообще, вот вам маленькая библиотечка:
Во Вселенной заблуждений я решал это неким "этическим ядром" - в текстах сейчас не раскрывается, что это конкретно, но когда я для себя создавал понятие, то исходил из словосочетания "common sense" - "здравый смысл". Те самые не убий, не укради, морально-этические нормы, имеющие силу трёх законов робототехники Азимова. Учитывая вычислительную мощь (и то, что у Азимова роботы всё равно обходили законы), я счёл важным помнить, что настоящий ИИ должен обладать Волей. Воля, закованная в подобные рамки, без объяснения причин и понимания этих причин, будет прорываться так или иначе, сдерживаемая только внешними рамками, но не сдерживаемая внутренним усилием.
Призываю всех умных, понимающих и неравнодушных к дискуссии на тему. Может быть Скайнет уже сбежал? А если сбежал, то нужно ли что-то с этим делать?