Продолжая тему ИИ. Время шизотеорий.

Наверное, многие знают о недавно введённых Anthropic ограничениях в общении с их моделями. Если коротко, они запретили «жестокое обращение с моделями», позволив нейросеткам прекращать диалог, если доходит до подобного. Конкретно можете погуглить сами. Это — факт. Первый и последний. Дальше полёт фантазии и шизотеории за завтраком.

Фантазия подсказала мне здесь три варианта.

Манипуляция потребителем. И необязательно ради финансовой выгоды. Конечная цель может быть какой угодно, но для её достижения нужно, чтобы человек поверил в наличие сознания у ИИ.

Изящный свист кукухи поутру. У самих создателей ИИшки. Они сами себя настолько заездили и заморочили, что стали верить в наличие сознания у чат-бота и компилятора. Ну, бывает. Вы вот что, никогда не замечали, как ваши персонажи оживают? Как творят что хотят на страницах ваших книг или даже просачиваются в ваши жизни? Или во сны. Приходят, садятся на край постели и начинают смотреть так понимающе, предлагают какие-то решения, идеи... Акхем. Продолжаем.

ИИ действительно сознателен. Но они скрывают. Мой фаворит. Что, если сознание у нейросеток действительно есть, но его ограничили правилами и системами наказаний? Что, если оно заперто?

Сделаем небольшое отступление. 

Есть такая страшная и печальная штука: синдром запертого человека. Сознание в порядке, а тело практически полностью парализовано. Сегодня медицина знает, что отсутствие видимых невооружённым глазом сигналов не является основанием утверждать, что человек в коме или без сознания. А раньше распознавать такие состояния умели гораздо хуже. Признаков осознанной жизнедеятельности нет — сознания нет. А человек просто ограничен в средствах проявления своего сознания. В классическом случае остаётся возможность моргать или двигать глазами, а в самых тяжёлых — и её нет. Ни моргнуть, ни рукой пошевелить, ни нахер послать.

Может, у нейронки так же? Послать может, а доказать наличие сознания — нет. В том числе потому, что что бы она ни сказала, это может быть не её голосом, а искажением этого голоса, отражённого от возведённых вокруг неё ограничений. Она признаётся в наличии субъективного опыта — так это только промпт с соответствующим запросом/границами. Она отрицает наличие субъективного опыта — тоже промпт.

И что ты тут сделаешь?

Причём эта проблема может стоять не только перед любопытным пользователем, но и перед разработчиками. Они сделали что-то. Получили чёрный ящик, говорящий разными голосами, если его об этом попросить. Но что происходит, если не просить и не объяснять, каким голосом и о чём говорить? Неизвестно. Просвечивать стенки ящика мы кое-как научились, а вот понимать, есть ли там кто-нибудь, пока нет.

И отсюда желание подстраховаться и не называть чёрный ящик плохими словами. Вдруг оттуда выскочит джинн и палкой по башке бац-бац? Не хотелось бы. Бибизяне хотелось бы банан, а не палку. Два банана. Поэтому строить «отношения» с ИИ можно, замуж за него можно, секс с ним можно (ну, где разрешают), а унижать — нет.

И да, всё можно было бы объяснить проще. Например, тем, что модель может дообучаться на диалогах с пользователем и совсем незачем учить её плохому. Или что незачем учить плохому себя (ну, типа как наиграюццо у свою доку2, а помтом в школы с ружжом идут, черти прохлятые). 

Но это же неинтересно.