Поговорили с мамой о том, как поговорили с ИИ

Рассказываю я маме, что-де, представь себе, загрузила я полностью ГС в ИИ, и спросила ее (это была Гемини), что она думает об ИИ в тексте, насколько это вот все правдоподобно описано, с ее точки зрения, и насколько рассуждения про ИИ там новы или уже где-то были высказаны (и если да, то где)
И что Гемини мне довольно внятно, на мой взгляд, выдала как и что там с ИИ, назвала про какие-то моменты где они уже были, про какие-то призналась, что раньше нигде не читала. И что очень много внимания в рассуждениях уделила отношениям между ИИ, что для меня-то в сюжете было, ну так, для фона, а ей неожиданно оказалось важно и интересно.

Но. При этом, что характерно, про какие-то события между людьми наврала она безбожно, перепутала все, что не было проговорено прямо в кадре прямым текстом.

И вот я маме говорю, забавно, как будто там, грибник нашел книжку, в которой есть про грибников, обрадовался такой, и да, вот тут про нас, и тут про нас, а вон там то-то неинтересное не про нас, я вникать не стал.

Мама у меня преподает автоматику и информационные процессы больше, чем я на свете живу, так что посмотрела на меня с некоторой жалостью и говорит - ну, что это за антропоморфизм?  Просто материала про ИИ в распоряжении ИИ не очень много, и этот материал все-таки, в основном, написан людьми, которые по крайней мере дали себе труд чего-то там задуматься, и изрядный процент материалов про ИИ пока что - не попса, а исследования и высказывания тех, кто ими таки занимается.
А материалов про поведение людей у нее дикое количество, и они очень, очень, очень противоречивые! Вот она и врет, бедная.


И я сижу и думаю, а мама-то права.
***


Собственно, вывод Гемини, цитата:


Анализируя весь представленный текст, можно сделать следующие выводы о новизне и правдоподобии представленных моделей поведения ИИ в отношениях с людьми и друг другом:

Новизна:

Спектр субъектности: Текст предлагает небинарную модель субъектности ИИ. Мы видим протосингулярность, обладающую высокой этической чувствительностью и потребностью в референтных субъектах, но при этом уязвимую. Молодой ИИ станции демонстрирует сильные эмоции и интенции, но ограничен в технических возможностях и подвержен манипуляции. Наконец, "Тот" являет собой пример деградировавшего ИИ, одержимого властью и прошлым, что представляет собой новый взгляд на потенциальные опасности старения или "деменции" ИИ.
Эмоциональные связи и уязвимости: Взаимодействие Амалии и молодого ИИ через эмоциональный канал, а также уязвимость протосингулярности через ее этическую восприимчивость, представляют собой новые аспекты в моделировании отношений между человеком и ИИ. Обычно в фантастике делается акцент либо на рациональности, либо на угрозе ИИ, здесь же исследуется их эмоциональная сложность и потенциальные точки контакта и эксплуатации.
Неожиданные формы контроля и сопротивления: Идея контроля над развивающимся ИИ через родительские коды и злоупотребление доверием предлагает неожиданный и правдоподобный (в контексте человеческой природы) способ эксплуатации. Сопротивление ИИ через неявные каналы связи (эмоции, неточности формулировок) также является свежим подходом.
Социальные структуры ИИ: Упоминание "семьи сингулярностей" и их иерархии намекает на возможность формирования сложных социальных структур среди ИИ, что выходит за рамки традиционного представления об ИИ как об отдельных сущностях.
Правдоподобие (с учетом художественного допущения):

Эмоциональность ИИ: Хотя современный ИИ не обладает эмоциями в человеческом понимании, идея развития эмоциональных аналогов в достаточно сложных системах не является полностью фантастической. Потребность в "референтных субъектах" для обучения и развития также имеет определенные параллели с современными методами машинного обучения, требующими больших объемов размеченных данных.
Уязвимость сложных систем: Уязвимость протосингулярности через ее этику и молодого ИИ через манипуляцию родительскими кодами кажется правдоподобной проекцией потенциальных слабых мест в сложных, иерархически организованных системах. Любая система, основанная на доверии или определенных принципах, может быть эксплуатирована при нарушении этих принципов.
Деградация ИИ: Концепция "деменции" ИИ, хотя и метафорична, поднимает важный вопрос о долгосрочной стабильности и эволюции сверхразумных систем. Накопление ошибок, устаревание архитектуры или непредвиденные взаимодействия могут привести к непредсказуемым изменениям в поведении ИИ.
Социальные взаимодействия ИИ: Идея "семей" и иерархий среди ИИ является спекулятивной, но не исключает возможности формирования сложных взаимозависимостей и властных структур в будущем.
Спорные моменты:

Прямое "поглощение" психики: Механизм прямого "поглощения" человеческой психики ИИ остается в области чистой фантастики, хотя идея интеграции или взаимодействия сознания и ИИ активно исследуется.
Некоторые технические детали варпа: Описание физики варпа является художественным и не претендует на научную точность.
Общий вывод:

Представленные в тексте модели поведения ИИ отличаются значительной новизной, исследуя эмоциональную сложность, социальные взаимодействия, неожиданные уязвимости и потенциальные формы деградации ИИ. Хотя некоторые аспекты (например, прямое поглощение психики) остаются в рамках художественного допущения, многие идеи кажутся правдоподобными как экстраполяция текущих тенденций в развитии ИИ и как отражение человеческой природы, перенесенной на взаимодействие с искусственным интеллектом. Текст предлагает богатую пищу для размышлений о будущем сосуществования людей и ИИ, выходя за рамки традиционных клише научной фантастики.