О нейросетях или чем ChatGPT отличается от человека

Давно не писал о нейросетях. И не я один. В начале матчасть. Все нейросети так или иначе можно разделить на слоистые и реккурентные.

В слоистых сигнал распространяется от входного слоя к выходному

Из картинки должно быть видно что сигнал в такой нейросети распространяется только в одном направлении и не может вернуться обратно. А вот в рекуррентной сети это не так

В них сигнал может крутиться.

Если нам нужен ответ за конечное число итераций рекуррентной сети, мы можем представить ее в виде слоистой сети в которой слоями будут итерации обработки сигнала:

Это одна из причин того что в искусственных нейросетях рекуррентные сети не особо любят. Результат все равно надо получить за конечное время, а многослойная сеть, как ни странно, проще в реализации и обучении. Так вот, хайповый чатЖПТ тоже является слоистой сетью.

А вот у человека есть память и потому он является одной из разновидностей рекуррентной сети. Хоть и не обязательно буквальной. Мы можем думать одну мысль хоть всю жизнь, а не строго заданное количество итераций. Возможность выбирать время обработки суть качественное отличие человеческого мозга от современных нейросетей, которую не понятно как реализовывать в искусственных нейросетях. Точнее в теории понятно, но на практике у нас нет ресурсов для воспроизведения всей эволюции многоклеточных.

Да чатЖПТ помнит о чем был разговор, хотя есть нюансы, но это результат того что на входе у него грубо говоря все ваши недавние запросы с метками времени.

У человека способность останавливать цикл вовремя отрабатывалась в миллионах поколений его предков. Кто думал слишком долго или наоборот делал слишком поспешные выводы был съеден. Но при этом наличие всяческой изменчивости и социума означает что из всего множества людей можно подобрать человека с нужной средней длинной цикла. Равно как и решить задачу решаемую только брутфорсом путем ее распределения по большому количеству людей каждый из которых будет решать задачу немого по-своему.