Почему искусственная нейронная сеть моделирует естественную

Жизнь - боль. Во многие знания - многие печали. Мне вот например регулярно приходится сталкиваться с различными "борцами с фейками" пытающимися просветить меня по поводу моих любимых нейросетей. Проблема в том что о нейросетях которые искусственные большинство имеет весьма смутное представление из-за того что данное направление относительно недавно пережило "зиму" и считалось безблагодатным. И еще не понятно кто хуже: те кто в принципе не в курсе что и как или "датасцаентисты" прибежавшие на хайп середины 10х и на полном серьезе считающие что нейросеть == CNN. 

Подобный пост я готовлю давно и по другому поводу, но прочитав вот это не могу молчать. И так, в чем не прав автор поста (который тут почему-то называют "блогом") по ссылке? Для начала он банально путает процесс передачи информации по нейрону и формирование потенциала действия. В частности показывает что зависимость потенциала на нейроне от концентрации нейромедиатора-то нелинейная. Вот только мембранный потенциал - это лишь механизм, формирующий "спайки" - короткие и стандартные электрические импульсы идущие по дендритам и аксонам. См. рисунок.

Рис.1 Зависимость частоты спайков на ганглиозной клетки сетчатки от способа возбуждения рецептивного поля. Из книги Д. Хьюбела "Глаз, мозг, зрение". Слева - on-поле.

Ганглиозная клетка имеет так называемое рецептивное поле: группу рецепторных клеток и клеток-прокладок передающих сигнал на ганглиозную. Прокладки нужны для того чтобы воздействие света на различные участки рецептивного поля по-разному влияло на ганглиозную клетку. Бывает два типа рецептивного поля. В полях с on-центром освещение центра рецептивного поля вызывает возбуждение ганглиозной клетки, периферии - торможение. В полях с off-центром все происходит наоборот. Это нужно для того чтобы ганглиозная клетка наиболее интенсивно реагировала на градиенты освещенности - то что несет больше всего информации об изображении. В качестве побочного эффекта самый-самый сильный отклик on-поле дает на спроецированную строго на его центр точку на черном фоне. Но жить это не мешает и эволюцией оставлено. На правом рисунке - on-поле, на левом - off-поле.

Как видно из рисунка, в ответ на специфическое для себя возбуждение нейрон увеличивает частоту спайков. На рис 2 показана зависимость частоты от размера пятна на on-поле

Рис.2 Зависимость частоты спайков от размера светового пятна на on-поле.

Видно что пока пятно не вышло из центра - частота растет и рост можно достаточно точно описать линейной функцией. Ибо увеличивается количество возбуждающих медиаторов с центра. Потом подключается тормозящая периферия и делает перелом графика. И так, информация о величине градиента кодируется именно частотой спайков, а не самим фактом образования спайка - они образуются и без возбуждения (см. рис 1). Кроме того, мы видим что можно подавить спайки очень специфическим стимулом удерживая on-центр в тени и освещая периферию. Но после отключения такого стимула рецептивное поле выдаст спайки на максимальной частоте. Это применяется при сканировании глазом окружающего пространства, что позволяет добиваться очень высокой детализации при всего миллионе волокон в зрительном нерве.

И так, первое. Информация кодируется частотой спайков. Но это в пределах одного нейрона. Как ее можно передать на другой нейрон? Есть два способа: электрический синапс при котором происходит простое возбуждение соседнего нейрона импульсами возбуждающего. Мембрана нервной клетки устроена так что при любом воздействии выше некоторого порогового происходит спайк. Собственно именно по-этому и частота спайков - защита от шумов. Но это неинтересно ибо обработки информации на таким не построить. Гораздо интересней уже встречавшиеся на сетчатке химические синапсы. В них спайки приводят к выбросу нейромедиаторов. В зависимости от того что это за нейромедиаторы синапс может либо увеличивать число спайков на целевом нейроне (возбуждать) или уменьшать (тормозить).

Ну собственно и все. С инженерной точки зрения живая нейросеть - это система обработки информации, состоящая из множества стандартных элементов связанных стандартными коннекторами двух типов: один просто передает возбуждение, а другой работает как логическое "не" и подавляет возбуждение. Да, это компьютер.

Ну а теперь что такое искусственная нейронная сеть. Еще раз, не электронная - она электронной была при Розенблатте. Ну и еще в 90е годы прошлого века этим немного баловались. Сейчас искусственная нейронная сеть - просто абстракция существующая в виртуальном пространстве компьютера. В принципе ни чего не мешает вернуться к аналоговым истокам, но необходимости к тому пока не найдено. Ну так вот, искусственная нейронная сеть представляет собой систему обработки информации из стандартных элементов (нейронов), связанных стандартными коннекторами (синапсами) которые как правило имеют значения от -1 до 1. В принципе можно и тройкой -1,0,1 обходиться, моделируя живую сеть буквально (тормозящий, отсутствие синапса, возбуждающий) - проблема больше техническая и не понятно что мы будем с этого иметь - диапазон дает больший простор для маневра. А что происходит в нейроне? Происходит суммирование значений сигналов, умноженных на синапсы по которым они пришли. Затем к этой сумме прибавляется пороговая константа, своя для каждого нейрона. Потом от всего этого берется любая нелинейная функция по вкусу.

В живом нейроне точно так же интенсивность возбуждения зависит от того сколько спайков было на возбуждающих синапсах, а сколько на тормозящих. Нелинейность возбуждения живого нейрона от суммы возбуждений обеспечивается тем что частота спайков ограничена сверху периодом покоя после каждого спайка - имеем передаточную функцию с насыщением, которую часто используют и в искусственных нейросетях. Возможно у живого нейрона не простое взвешенное суммирование сигналов, а завернутое в нелинейные функции. Но это легко воспроизвести в искусственной нейросети. Если понадобится - значение имеет не то как суммировались сигналы, а сама борьба возбуждающих сигналов с тормозящими. Еще в искусственных нейронах как правило нет усталости. Но, я надеюсь, очевидно, что это не от того что реализовать такое невозможно в принципе. Сама по себе зависимость поведения от предыдущих состояний у искусственных нейронов бывает.

Почему же нет сильного ИИ? Да потому что пока еще не научили на свою голову. Но ситуация буквально как в известном меме:

вот когда сдадут Тест Тьюринга - тогда и поговорим.
вот когда научатся в Го играть - тогда и поговорим.

=вы находитесь здесь=

вот когда освоят метаобучение - тогда и поговорим.

вот когда убьют всех людей - тогда и поговорим.

Плюс за человеческим мозгом 14 миллиардов нейронов только в коре больших полушарий и почти миллиард лет эволюции многоклеточных. Но тут находится как источник оптимизма для создания сильного ИИ, так и фундаментальное решение проблем с враждебным ИИ. Можно не проходить всю эволюцию нервной ткани, а стырить готовое решение. Что и делается - концепция сверточных нейронных сетей цельнотянута с зрительного отдела (точнее с моделью зрительного отдела созданной тем самым Хьюбелом). Ну а дальше напрашивается цельнотянуть конкретного человека. Скорее всего не путем буквального переноса структуры головного мозга а как со зрительным отделом: берем архитектурные решения и учим на записи "стимул-реакция" загружаемой нейросети. Остается только неопределенность в том сколько именно нейронов достаточно для воспроизведения "чебурека", что делает возможным как будущее сурового трансгуманизма из "Квантового вора", так и более менее привычные космооперу/киберпанк со в целом еще белковыми героями.