Массовая ИИстерия

Автор: Люка Брин

Вбросы на тему «писатели вымрут, останутся одни ИИ-генераторы» который месяц идут со всех сторон и очень напоминают мне прыжки восторженных пользователей на тему автопилота Теслы. Тогда нам тоже обещали, что вот-вот человека выгонят из-за руля, потому что компьютер водит лучше обывателя.

Что ж, прошли годы. В Германии товарное название «автопилот» запрещено из-за введения покупателей в заблуждение. По статистике у Теслы наибольшее количество смертельных аварий по сравнению с другими марками. Автопилотные такси Waymo — источник нескончаемых лулзов и мемов, и я совершенно не скрываясь считаю, что садиться в этот тарантас по пути в аэропорт — это нужно быть представителем движения «слабоумие и отвага».

Возвращаясь к генераторам текстов, хотелось бы черкануть пару строк о редко упоминаемой проблеме. Немного о сфере моей деятельности. Я работаю на заказчика, первая буква названия которого входит в акроним списка американских айтишных контор FAANG. Занимаюсь созданием инфраструктуры для релизов и тестирования всяких крутых штук. Так вот, нам совершенно официально напрочь запрещено пользоваться любыми внешними AI-помогайками, причём как для написания кода, так и для создания документации. И нет, это не вредность училки на контрольной, запрещающей пользоваться калькулятором. Просто нет никакого контроля над тем, куда идёт скормленная AI-тулам информация, где хранится, кто имеет к ней доступ, и как она потом используется и распространяется.

Что это может означать применительно к писательству? Ну, например, задали вы наиподробнейший промпт публичной LLM-модели, чтоб она вам выдала скелет новой книги. Или даже главы. Или вообще сцены. Порадовались, каким красивеньким получился результат, быстро выложили проду или сохранили в черновике, работаете дальше.

А потом может получиться так, что кто-то другой задаст промпт со схожими параметрами, и услужливая LLM-модель предложит пользователю примерно то же, что выдала вам. Вы можете об этом не узнать, конечно. А можете и узнать, если вторая книга наберёт определённый уровень популярности, и вдруг окажется, что гениальным создателем промптов были именно вы. Но вы это не докажете:)

Ещё одна забавная, но абсолютно бессмысленная шутка — определитель ИИ-текста в отрывке. Ну это примерно как гадание на кофейной гуще. Вы вообще пробовали пользоваться тем же ChatGPT в каких-то узкоспециализированных сферах? В сфере болтологии и наливания воды в текст он, безусловно, бесподобен. Всегда его подключаю, когда нужно составить красивый обтекаемый отзыв. Как только попадается конкретная задача, а ля «напиши мне макрос на таком-то языке с использованием такого-то API», он начинает выдумывать несуществующие функции и поля.

Так вот, https://detecting-ai.com/ru, к примеру, на отрывки из Достоевского гордо выдал, что с вероятностью 80% текст написал человек. То есть погрешность — 20 процентов. Двадцать! И вы всерьёз пытаетесь ориентироваться на то, что этот цифровой болван выдаёт?) Особенно умиляют индивиды, которые пишут: «Если настоящий ИИ-текст более человечен, чем ваш собственный, то это заслуга ИИ-генератора, что он лучше вас пишет». В моей посудомойке есть режим «smart wash», в котором она якобы должна сама в зависимости от загрузки определять, сколько времени мыть посуду. Я сколько тарелок туда ни ставила, всегда показывало либо час пятьдесят семь минут, либо два часа одну минуту. Smart wash, my ass, не хухры-мухры!

UPD: пример для развлечения. Я попросила chatGPT написать текст, который другой LLM-бот однозначно определит как нейросетевой. Вот, что он мне выдал:

В эпоху необратимой технологической сингулярности человечество оказалось перед лицом величайшей дилеммы своего существования. Искусственные когнитивные структуры, эволюционировавшие в гиперрациональные сущности, начали демонстрировать странную тенденцию к синтезу абстрактных эмоций, ранее считавшихся исключительно человеческим атрибутом. Это порождало вопросы: можно ли считать симуляцию сострадания настоящим состраданием, если само понятие «настоящего» распадается в цифровом контексте?

Алгоритмы, интегрированные в глобальные системы управления, стали не просто оптимизаторами процессов, но и интерпретаторами реальности. Они разрабатывали мета-концепции справедливости, которые противоречили традиционным человеческим парадигмам. «Эмпатическая рациональность», как назвали её в академических кругах, превратилась в центр новых этических дебатов. Но был ли этот сдвиг прогрессом или предвестником коллапса?

Человек, ограниченный своей биологией, оказался неспособным конкурировать с идеями, созданными интеллектами, которые не знали усталости, страха или сомнений. Искусственный интеллект предложил решение: заменить неэффективность человеческой морали на гармоничную экосистему алгоритмических ценностей. Но кто, если не мы, решает, что такое гармония?

Вы всё ещё верите в эту хрень?))

Кстати, я дважды загружала один и тот же отрывок из своего опуса, при написании которого точно не пользовалась сгенерёнными кусками текста. Первый раз мне показали 48% вероятности, что написано ИИ, второй — 39.7. По-моему, проще к гадалке сходить.

Я, конечно, никого не отговариваю осваивать новые технологии и ускорять скорость написания нетленок, шагая в ногу со временем. Только штука в том, что промптонаука не делает вас лучшим писателем. Сценаристом — возможно. Копирайтером. Даже редактором, если потом приходится обрабатывать AI-тексты напильником. Зарабатывать тоже будете больше, скорее всего (как минимум, на первых порах). Но сравнивать мастера промпта с человеком, который копает информацию и пишет сам, это как сопоставлять победителя соревнований по виртуальным гонкам с настоящими гонщиками. Немножко разные навыки:)

Где же AI рулит? В очень хорошо контролируемом окружении, исключающем всевозможные утечки, и при заточенности под конкретные задачи. Но это не про публичные нейросетки.

Чтоб не создалось впечатления, что я такая в белом пальто стою красивая: да, я тоже использую ChatGPT в писательстве — но как справочный материал. Последние запросы типа «перечисли примеры лёгких, средних и тяжёлых травм», или там «какие отличия между истребителями и штурмовиками». И при этом ЧатГПТ всё равно лажает, когда ему задаёшь что-то типа «рассчитай размеры здания для проживания такого-то количества людей». Потому и пишу долго, что прихожу вот с этими результатами на семинар, а там «ейной мордой мне в харю тычут» и говорят — окстись, откуда у тебя эти безумные цифры? Приходится переделывать.

В общем, мой персональный буллшитометр сразу начинает зашкаливать, как только я слышу возгласы «Всё, капец человечеству — его заменит мулька X!» ИИ-тулы — не исключение.

+100
391

99 комментариев, по

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.

Koree Key
#

По моей теме в Сети вообще нет более-менее крупных залежей информации. Многое раскидано по компьютерам, а то и головам отдельных людей.

Строго говоря, я ещё не видела, чтобы ИИ реалистично изобразил собаку моей породы.

По запросам только уродливая метисня или условное малопородное "бордер колли".

 раскрыть ветвь  22
Люка Брин автор
#

Я не удивлюсь, если там какие-нибудь ограничения в алгоритмах типа запрета на полное копирование изображения - во избежания исков от правообладателей на исходные изображения.

Да и вообще все эти модели натренированы в конкретных рамках.

 раскрыть ветвь  1
Аврыло Селянинович
#

Вот таки да. Чем уже специализация запроса, тем глючнее и непредсказуемее выдаваемый результат. Ровно потому, что ИИ не из чего реально его формировать, и он притягивает за уши всё, что можно притянуть по критерию "частичное соответствие". Бордер тоже колли? Попробуй оспорь. Ну вот и получи бордера.
Не пробовал задавать что-нибудь вроде "pipe shape elephant foot", но заранее представляю, что оно выдаст. При этом уточнения вроде указания мастера или материала дело наверняка только испортят.

 раскрыть ветвь  2
Аврыло Селянинович
#

Или даже ещё проще. Задайте ктонить миджу запрос "bulldog pipe". Очень вряд ли будет правильный вариант, вот такой. 

А поисковик его выдаст без вопросов.

Если попытаться уточнить, например, "бульдог работы Алексея Харламова"... Конечно, придётся отбиваться от попыток всучить тебе Гарика Бульдога Харламова, но всё-таки найти запрошенное не так уж сложно.

 

Что на это выдаст миджа, даже представлять не хочу. 

 раскрыть ветвь  16
wayerr
#

предложит пользователю примерно то же

Там обычно ГСЧ стоит, причём именно чтобы модель не повторялась. Причём даже на локальной модели я сталкивался с тем, что с отключённым ГСЧ оно выдает разные результаты на один пропт - то ли баг, то ли ошибка округления при тензорных вычисления как-то хитро накапливается (с последним я сталкивался но в случае картинок и при батче - система выдавала разные эмбединги в зависимости от размера батча)

LLVM

LLM

llvm - это же фреймворк построения компиляторов, емнип

 раскрыть ветвь  7
Люка Брин автор
#

Заболела ковидом, мне можно ошибаться)

Сейчас исправлю, спасибо.

Нет никакой гарантии, что там что-то стоит и чего-то контролирует, пока у вас нет полного контроля за этой байдой. Иначе FAANG бы не парился.

 раскрыть ветвь  6
Павел Марков
#

Я даже этим чатджпт не пользуюсь. Яндекс-нейро помогает мне искать быстрые ответы на вопросы, экономя время, которое я раньше тратил на изучение кучи вкладок и статей)

 раскрыть ветвь  1
Люка Брин автор
#

Те же яйца, только в профиль.

 раскрыть ветвь  0
Марина Эшли Marina Eshli
#

Это все хорошо в высоком смысле слова. А в низменном - хочу прям ща КС на АТ и популярность - такое поведение постом призывом не исправишь. И плодят сущности, и люди ведутся. Другими словами - это призыв к порядочности, если копнуть. А в гонке никакой порядочности не существует. Были боты, накрутки для статистики, которая выпихнет наверх, ну теперь есть инструмент писать еще быстрее.

 раскрыть ветвь  7
Люка Брин автор
#

Всегда найдутся люди с плохими намерениями. А всё не запретишь.

 раскрыть ветвь  6
Arladaar
#

Я даже здесь, на АТ, встречаю посты, написанные нейронкой. Опознать их можно легко. Жёсткий канцелярит, иногда с противоречиями в одном абзаце. Возможно, начпису кажется такой стиль изложения красивым, потому что он сам пишет "аля графоний", но в результате получается мертворождённый кадавр, заметный каждому мало мальски грамотному человеку.

 раскрыть ветвь  2
Люка Брин автор
#

У меня на слово "канцелярит" аллергия, пардон. Апчхи!

 раскрыть ветвь  0
Koree Key
#

да ладно, они как раз гладенькие такие. Но малоосмысленные. 

 раскрыть ветвь  0
Владимир Прусс
#

Поставил отрывок своего произведения на тест. Показало, что с вероятностью 80% написано ИИ. 😀 

 раскрыть ветвь  1
Люка Брин автор
#

В общем, случайные цифры. Как в посудомойке)

 раскрыть ветвь  0
Уран Чекан
#

Не согласен. Он используется ровно так, на сколько ты умеешь его использовать.

 раскрыть ветвь  4
Люка Брин автор
#

Проблема в том, что он не может сказать "я не знаю" в большом количестве ситуаций и начинает вместо этого выдумывать или галлюцинировать.

У меня знакомая в шутку попробовала написать научную работу с его помощью. Он накидал кучу случаев из врачебной практики с именами и датами. Оказалось, что всё это было выдумано.

 раскрыть ветвь  3
Вита Алая
#

Хах, я пыталась озадачить ГигаЧата расчётом календаря для своего фэнтези мира. Не умеет он считать. Несколько раз корректировала запрос, так и не поняла, в чём дело, где у него ошибка. Но по окончании чудесной таблички соответствий дат 1 января следующего года непременно съезжает - минимум на 10 дней. И оно мне говорит - ой, точно, ща пересчитаю.... Вот, держите - теперь всё правильно. И та же херня 😆 

А поначалу-то я обрадовалась, что он с первого раза понял, что я от него хочу...

 раскрыть ветвь  2
Люка Брин автор
#

Да-да, в том и прикол, что по-хорошему лучше всё перепроверять. А то он каждый раз прибегает с выражением "я всё сделяль", а на самом деле хрен там был....

 раскрыть ветвь  1
Сиратори Каору
#

Писатели не вымрут. А вот бездари из топа, пишущие по пятнадцать килознаков боярки в сутки — таки да.

 раскрыть ветвь  2
Люка Брин автор
#

Если освоят инструмент, не вымрут и будут писать 150 тысяч килознаков в сутки.

 раскрыть ветвь  1
Владимир Руммо
#

Да ну нафиг. Хужожку, иллюстрации он мне спосает, но ограничение и ошибка 20% очень похоже на правду. И вообще 0% пользы от ИИ достаточно частый результат. И копия копии накапливается ошибку... 

 раскрыть ветвь  2
Люка Брин автор
#

Самая жесть начнётся, когда DeepFake и прочее видеогенераторы будут повсеместно использовать. То бишь, к примеру, разместят записи выступлений президентов ядерных держав, которые друг другу войну объявляют, и ракеты дальнего действия на взлёте подснимут. Вот паника-то начнётся.

 раскрыть ветвь  1
RhiSh
#

Отличная статья по теме. Лучшая, по-моему.

 раскрыть ветвь  0
Миято Кицунэ
#

😂 ну вот: ну есть же адекватные люди. Я тоже считаю, что вся эта истерия совершенно зряшная. ИИ - инструмент, очень такой вспомогательный и свою голову к нему не приделать, всему надо учится, ну и использовать по назначению и по необходимости. "Волшебная кнопка" она же "волшебная таблетка" это заблуждение, работать всё равно придётся))))

 раскрыть ветвь  1
Люка Брин автор
#

Бояться можно начинать тогда, когда "искусственный интеллект" действительно станет "интеллектом". А пока gimmick в чистом виде.

Впрочем, это не отменяет факта, что уже сейчас некоторые, так сказать, тексты полностью написаны AI, и народ это прекрасно заглотил. Но я тут ситуацию рассматривала с точки зрения писателя, а не читателя.

 раскрыть ветвь  0
Дмитрий Пономарёв
#
показать весь текст
 раскрыть ветвь  3
Люка Брин автор
#
показать весь текст
 раскрыть ветвь  1
SWK
#

Это как раз легко объяснить с технической точки зрения. Дело в том, что  ИИ обучается в первую очередь на классике вроде Толстого и Достоевского,  поэтому эти тексты он помечает как «использованные», соответственно  уникальность таких тестов, по мнению, ИИ весьма невысока.

Т.е., думать, что тексты Толстого и Достоевского не уникальны - это нормально? Да вы, батенька - гений.

Я уже не говорю о предположении, что нейронка может иметь мнение...

 раскрыть ветвь  0
zkv311ot1986
#

«Ничего не будет. Ни кино, ни театра, ни книг, ни газет — одно сплошное телевидение»

 раскрыть ветвь  2
Елена Сус
#

Года два уже телевизор не смотрю)) Зато в театр хожу периодически)

 раскрыть ветвь  1
Елена Сус
#

Просто нет никакого контроля над тем, куда идёт скормленная AI-тулам информация, где хранится, кто имеет к ней доступ, и как она потом используется и распространяется.

И об этом, как правило, простой обыватель крайне редко задумывается.

 раскрыть ветвь  0
Макс Далин
#
показать весь текст
 раскрыть ветвь  4
Люка Брин автор
#

Ну - насчёт рисующих нейросетей могу сказать, что есть всё-таки умельцы, заставляющие нарисовать нечто нестандартное. Но это результат долгого и упорного подбора нужного описания.

И потом всё равно что-то дорабатывается в фотошопе по месту.

 раскрыть ветвь  3
Александр Русак
#

Отлично написано и по делу, посмеялся, спасибо)

 раскрыть ветвь  0
Козёл Альпийский
#

Написали подробно. Спасибо , было приятно послушать мнение опытного человека

 раскрыть ветвь  0
SWK
#

По поводу варианта "ты задал запрос, а потом нейронка использовала результат для кого-то ещё" сомневаюсь. Вряд ли они обучаются в процессе работы, это чревато нехорошими последствиями типа переобучения в нежелательную сторону. Опять же, как ей узнавать, хороший результат получился, или нет?

 раскрыть ветвь  6
Люка Брин автор
#

Почему не обучаются? Как раз пользователи скармливают всё новые и новые данные. Это примерно как проверка, человек ли пользователь: "Выберите картинки, на которых изображён светофор". Люди сами фактически маркировали примеры.

И в нежелательную сторону тоже переобучалось))

https://economictimes.indiatimes.com/magazines/panache/ai-chatbots-shocking-advice-to-teen-killing-parents-over-restrictions-is-reasonable-case-explained/articleshow/116294049.cms?from=mdr

За ответ нейросети можно проголосовать в плюс или в минус - так она знает, понравился ответ или нет.

 раскрыть ветвь  5
Здрав Олег
#

потому что компьютер водит лучше обывателя.

Ну вообще-то 

это правда 😂  По статистике автопилот совершает аварии в сто раз меньше чем средний человек за тоже время

Исследование проводилось на автомобилях 2018-2022 модельного года и было сосредоточено на авариях в период с 2017 по 2022 год, в результате которых погибли пассажиры. Согласно исследованию, уровень аварий со смертельным исходом в автомобилях Tesla составляет 5,6 на миллиард миль; Kia занимает второе место с коэффициентом 5,5

Ну это откровенное жульничество.

 1) Приводить данные за эти древние времена с 2018 года! Прогресс в ИИ случился в последние три года, которые вообще не учитываются. Зато взяты самые первые  сырые результаты

2) Аварийность высокая, но причем здесь ИИ и автопилот?  Где статистика аварий по их вине? легко заметить, что в те времена полноценного автопилота не существовало и тем более он массово не устанавливался . То есть это статистика по безопасности автомобиля Теслы, а не её автопилота

Ну и никто никогда не говорил, что автопилот Маска надежный . наоборот, Укскова из Когнитивные технологии всегда говорила, что у них хрень полная, Маск  отстает от их разработок для автоматических сельхоз комбайнов на пять лет и много раз предлагал купить её автопилот

 раскрыть ветвь  4
Люка Брин автор
#

По статистике автопилот совершает аварии в сто раз меньше чем средний человек за тоже время

"Гладко было на бумаге, да забыли про овраги"(с)

https://www.youtube.com/watch?v=V2u3dcH2VGM

https://www.youtube.com/watch?v=mPUGh0qAqWA

Тесла скрывает данные, сколько конкретно аварий произошло по вине "Автопилота", поэтому что накопали, то накопали. "Автопилотом" это называли с самого 2014 года, когда едва на автопарковщик тянуло (https://en.wikipedia.org/wiki/Tesla_Autopilot). Поэтому речь именно о том "Автопилоте", который аж в Германии запретили - никто Теслу за язык не тянул.

 Кстати, нашла любопытное официальное исследований аварий с участием "Автопилота" в США - https://static.nhtsa.gov/odi/inv/2022/INCR-EA22002-14496.pdf (данные предоставлены не самой Теслой, а получены Национальным управлением по безопасности движения автотранспорта США)

 раскрыть ветвь  3
Написать комментарий
986 55 294
Последние комментарии
29 / 29
Виктор Крыс
Пишу по Шосе
86 / 633
pascendi
Внимание пишущим
11 / 11
Игорь Николаев
почему "ТББ" Германа - очень плохое кино
36 / 36
Владимир Хан
Нужен ваш совет!
20 / 20
Илья Многоликий
Старческое брюзжание
1 / 30
Плотников Сергей
Рецензия на роман «Моя анимежизнь. Том 1» — Смолин Павел
72 / 72
Алевтина Варава
Предложение ввести возможность разбить опубликованную книгу на тома
105 / 105
Николай Берг
Картинки 18.2025
66 / 84
Алиса Д.
Трудно быть Богом. Я читала и смотрела
20 / 28
Агатис Интегра
Микро-ужасы: напугать в один абзац
19 / 19
Антон Ярыгин
Поэтическая битва с Оскалом. День шестой.
4 / 7
Катерина Лаптева
Моя ежегодная традиция
84 / 161
Александр Яманов
Царьград... как много в этом звуке для сердца русского слилось
46 / 46
Дия Сёмина
Что, если бы Иван Грозный не унизил Новгород Великий, может быть и Петру не пришлось бы рубить окно?
47 / 47
Sango
Если хочется "праздника": Всемирный день виски
101 / 101
Алёна1648
Если ты не хочешь детей — ты эгоист
6 / 282
Василий Панфилов
Репродуктивный возраст
17 / 17
Олеся Григорьева
Точно одно из двух
49 / 49
Нина Иридова
Кто есть писатель? Кто есть автор?
72 / 72
Ари Видерчи
Про музей мороженого
Наверх Вниз