Про самосознание ИИ

Это я применительно к фантастике больше.

Смотрите, что такое это самое самосознание, сказать до сих пор сложно. Но проверяют его обычно эмпирически - субъект может отличить себя от окружающей среды. Иными словами человек знает, что это именно его рука, не кого надо рука. Ворона узнаёт своё отражение в зеркале, а кот вероятно отличает свой хвост от чужого, но это не точно (коты и собаки не проходят "зеркальный тест", но предположительно этому виной повышение значение обоняния в восприятии).

Так вот, предположим, что у нас есть ИИ (но современные LLM, а гипотетический AGI), и мы хотим как-то узнать, если у него самосознание. 

Вы ставите перед вебкамерой ноута зеркало...

Что-то не так? 

Да, всё не так. Внезапно, у ИИ нет тела и, как следствие, ему нечего отделять от окружающей среды. Можно сказать он плавает в камере сенсорной депривации, но с нейрошунтом. Будет ли в таких условиях у человека самосознание или он почувствует себя вселенной?

Вопрос хороший для фантастического рассказа, если что.

То есть да, для доступного нам теста на самосознание потребуется наличие тела. Это раз.

Другая проблема кроется в "китайской комнате". Но это проблема выдуманная, поскольку у оной модели нет памяти - она описывает stateless алгоритм. Даже современные LLM уже не являются алгоритмом, а более того обладают зачатками памяти - тем самым "контекстом". В "комнате" контекста нет.

Но контекста для самосознания не хватит. Дело в том, что мозг (не только человека) в той или иной мере является объединением и вычислительной машины и памяти. Можно сказать, что это вычислительная память. Вопрос это не физического устройства, потому что какая разница что эмулировать. 

Вопрос концепции - современные ИИ - обучаются раз и навсегда (условно говоря), а результат анализа окружения они хранят в относительно небольшом "контексте".

Если же натягивать мозг на схему ИИ, то мозг будет постоянно обучающейся нейросетью, которая хоть и имеет тоже какой-то контекст ("кратковременная память"), но она же постоянно запоминает из оного данные - т.е. дообучается.

Любое взаимодействие мозга (или гипотетического ИИ, подражающего ему) с окружающим миром изменят сам мозг. Даже чтение эти строк. Естественно, природа дала мозгу фильтры, чтобы он совсем уж всякую хрень не запоминал.

Ещё одно свойство, мозга это возможность к той самой рефлексии - хрен знает из-за чего, но мозг высовывает данные из памяти в контекст, обдумывает их снова и снова, а потом это снова заливается в память, порой искажая её (очень ценное свойство...). Это в определённой степени происходит без внешнего воздействия - смотрит человек на мокрое оконное стекло и вспоминает, как прошлым летом солнечным утром...

ИИ так не делает по многим причинам, но вы сами понимаете, что если вдруг начнёт так делать, то ответы станет выдавать ещё более глючные... почти как человек... 

Итог всего этого для НФ я подведу в виде вопросиков:

1. Если разум человека пересажен в некий интернет, то как человек будет проходить зеркальный тест?

2. До какого возраста разумные роботы будут гоняться за собственным хвостом?

3. У ворон есть самосознание, но есть ли у них совесть, если они каркают среди ночи?

4. Есть ли совесть у автора поста, если в "ложной слепоте" всё это опровергнуто! (Автор поста, "ложную слепоту" читал и писал на оную отзыв.)

5. А как с самосознанием у духов и прочих бестелесных сущностей?

6. Зачем писать такие блоги в два часа ночи?