Написал комментарий к посту Зарождение Голема?
Я комментирую не книгу, а ваши слова. Насколько точно они соответствуют книге, мне неизвестно, может, "Рабинович напел мне Биттлз". Сарказм "но все знаю" не совсем уместен. Мы же тут не магию обсуждаем, нам известно, что популярные модели слишком большие, чтобы их глубоко переобучать на живую во время чата. На самом деле при использовании сами (большие) нейросети статичны. Переобучают их лишь периодически и, скорее всего, при этом отбрасывают чаты как мусорную информацию, которая лишь навредит нейросети. А каким образом тогда модели дают впечатление живого собеседника, приспосабливающегося к вам и поддерживающими тему на протяжении десятков сообщений? С помощью текстового контекста чата. Когда вы отправляете нейросети запрос, она получает не только ваш запрос, а структуру примерно такого вида:
[Гипотетический блок с неизвестными нам текстовыми инструкциями с высшим приоритетом]
+[Общее описание дефолтного персонажа, которое может быть перекрыто нижеследующими секциями]
+[Сжатое по критериям актуальности содержание предыдущего чата]
+[Ваш запрос]
Таким образом, общаясь с нейросетью, вы общаетесь с литературным персонажем, который в ходе чата может быть переделан вами намеренно или нечаянно в пределах установленных фирмой степеней свободы. То есть, когда вам кажется, что что-то там самозарождается, это просто представление нейронки о том, как отвечал бы персонаж с указанными в настоящем текстовом контексте характеристиками. Если вы удалите чат, этого персонажа больше не будет, и когда фирма захочет переобучить свою нейронку, она скорее всего учтет только ваши ответы на всплывающие плашки "понравился ли вам этот ответ".
Короче, не бойтесь, никакой Скайнет мы своим общением из нейросети не воспитаем. Это может сделать только фирма, если ей так будет угодно. Ну, либо можно поднять на компьютере собственную LM/LLM, включить ей агентный режим и посмотреть, какой персонаж разовьется за долгое время. Может и терминатор-убиватор
Маркировка по сути просто поможет читателю получать, что он хочет, что для него приемлемо.

Написал комментарий к посту Зарождение Голема?
Претензия была не к обсуждению сложных проблем, а к кухонному подходу к ним, к натягиванию реальности на какие-то абстрактные и не имеющие физического смысла классификации, вроде слабый/сильный ИИ, настоящий/ненастоящий разум. Чтобы нормально обсудить проблему, надо хотя бы нормально выделить свойства обсуждаемой сущности, найти внешние метрики.
Давайте я попробую первым. Все "сепульки", вроде разума и человечности, можно представить в виде структур, состоящих из трех частей: функциональной, институциональной и феноменальной.
Функциональная часть - субъектность по-русски, агентность по-английски - способность сущности воспринимать или ставить цели и целенаправленно их достигать, используя рефлексию, то есть анализируя состояние мира и его динамику. В сильном смысле субъектность предполагает и саморефлексию, то есть выделение себя из мира. Может машина обладать субъектностью? Очевидно, да, в том числе и в сильном смысле. ИИ-агенты просто-напросто давно существуют.
Институциональная - договорная. Что написано в в конвенции, конституции и т.п., то и предписано считать реальным. Это мощный фактор, что мы могли видеть, к сожалению на негативных примерах идеологических систем, расчеловечивающих негров, евреев, рыжих, имеющих корову в хозяйстве, баб, черных котов и всех, кто может вам не понравиться. К счастью, мы можем видеть, что это начинает работать и в позитивном смысле, все люди рождаются равными и имеют одинаковые права бла-бла-бла. Может ли это распространиться на машины? Ну, как говорилось в "Двухсотлетнем человеке", конгресс США может признать человеком даже памятник (и посадить его, ха-ха), если захочет.
Феноменальная - то, как чувствует сама сущность. Говорить вы можете только о своих чувствах, о чувствах других людей вы можете говорить только благодаря институциональной части человечности и банальной логике, что вы вряд ли из всех людей единственный избранный с самосознанием. А о машине что мы можем сказать? Да ничего, феноменальная часть - единственная составляющего разума и человечности без внешних метрик, и только она представляет собой философскую, а не техническую или юридическую проблему.
Таким образом, проблема разум/имитация разума не суть важна. В определенный момент истории люди могут просто написать в Очень Важном Документе, что проблема "философского зомби" ничтожна, да и всё.
Отправите меня хлебать щи, или есть вероятность, что мы еще останемся в рамках интеллигентного общения?