Oleg Afonin

Как пользователь LLM со стажем могу прокомментировать.

1. Если использовать LLM для написания текстов, то штампы, безусловно, есть. Проблема усугубляется, если заставлять LLM писать на языке с небольшим корпусом (русский относится именно к таким - и не надо кидать в меня тапками: те же Anthropic, Meta не пожлобились купить порядка 4 миллионов книг и не постеснялись спереть ещё с десяток миллионов, а русскоязычные разработчики даже архив Флибусты скачать забоялись.)

2. В английском тексте штампов тоже полно, но там это можно регулировать, например, системным запросом. Однако когда модель понимает, что пишет фэнтези - она вдруг начинает базировать свои ответы на данных, например, с сайтов фан-фикшн - а тамошние авторы по количеству заезженных клише дадут фору любой языковой модели.

3. ...и всё равно никто толком не понимает, откуда в моделях взялось имя Elara - "женский персонаж по умолчанию". Ну, не попадается это имя с какой-либо заметной частотой вообще нигде, только в сгенерированных текстах. Единственная теория - компания OpenAI тоже спёрла миллионы книг, а чтоб не поймали, заменила имена женских персонажей на... вот это. А остальные модели не побрезговали обучать в том числе на выдаче ChatGPT.

4. А вот почему так часто используются клише - как раз понятно: Direct Preference Optimization (DPO), последняя стадия настройки LLM, когда живому человеку дают два ответа и предлагают выбрать "лучший". Люди чаще выбирают ответ, в котором используется какая-то удачная конструкция или оборот - и в результате эта конструкция используется моделью ИИ всё чаще и чаще, в конечном итоге превращаясь в раздражающее клише. (В "дешёвых" моделях для оценки "удачности" текста используются... другие модели. Так и живём.)

В итоге: LLM лучше использовать для исследований (в режиме доступа в сеть и глубоких размышлений), планирования, генерации случайных персонажей, "а подскажи, как герой мог бы выпутаться из такой-то ситуации" и тому подобного. А писать лучше ручками. Потому что кто видел выдачу LLM - тот сгенерированные тексты начинает определять влёт (наш мозг, вообще-то, тоже нейросеть и тоже прекрасно обучается).

Кто-то "перепутал" день рожденья с Новым Годом :) "Завтра будет", ага :))

А какая разница с точки зрения внутреннего террора и репрессий? Люди запуганы, люди боятся, цель достигнута. Ведь закон специально сформулирован максимально расплывчато.

Да, бесит. И непонятно, как бороться. И некоторые платные рецензенты не брезгуют ИИ, кстати.

"По украинцам - +\- то же самое" - нет. Личный опыт, и именно с сообществом - когда возникла срочная необходимость в чужой стране переночевать на ночь глядя (очень плохо сложились обстоятельства) - в местном сообществе отозвались сразу двое, и в итоге всё сложилось. Вероятно, это связано с тем, кто и при каких обстоятельствах оказался в эмиграции. Здесь и сейчас украинские сообщества весьма дружелюбны, общительны и взаимополезны.

Правильно послали. Такое заявление со стороны бывшего приятеля - это не "цветочки", это "ягодки" уже. Очень хорошо демонстрирует его возможное поведение в случае, если бы "вписаться" пришлось бы ему - за вас, а не наоборот. Так что - вычеркнуть из жизни и выбросить из головы (второе - сложнее, но возможно).

"Чернокнижник", на мой вкус.

Ну, вот мы незаметно и стали жить с вполне официальной цензурой. Писать можно от сих и до сих, искать в интернете то, что запрещено цензурой - уголовка, рассказывать о том, как обойти цензуру - уголовка. Скажите, а это точно ещё 1984, а не 1937?

Что тут скажешь... В одной лодке плывём. Держитесь...

Читал. Рекомендую. Замечательная книжка. Отдыхательная.

Печально. Ожидаемо. Других слов нет.

Когда они пришли за членами профсоюза... Sapienti sat.

И слава богу, что от убогого кричащего пластика отказываются. Попугайщина, к сожалению, прививает дурной вкус. Словлсочетание "малиновый пиджак" помните? На первом фото - ужасная безвкусица.

Ещё момент. Обратите внимание на покрытие. Асфальт - против песка или опилок или гальки. Первый вариант недопустим. Ну и, разумеется, то, что вокруг второй площадки высадили деревья - это тоже огромный плюс.

Хм. А я всегда воспринимал эту книгу как сугубо АНТИвоенную. И заодно анти-тоталитарную, если так можно выразиться. Там же явный триггер в самом начале - право голоса только отслужившим. Как бы после этого всё последующее уже довольно однозначно воспринимается, разве нет?

Хм, а чего так мало лайков? Вполне же неплохо читается...

А военные давно применяют модели ИИ. Только это *не те* модели. В смысле, не генеративные, не авторегрессивные и не диффузионные модели. Распознавание целей и принятие решений. Ориентирование на местности. Про использование ИИ в полицейских целях - вообще отдельная тема; в ЕС это дело стараются сильно ограничивать, но в каком-нибудь Китае - почему бы и не да?

А фиг знает. Как-то переживём. Вон компании сначала массово увольняли программистов, заменяя их на дешёвых вайб-кодеров, а потом снова начали нанимать, чтобы те как-то разгребали написанный ИИ код. Так и в остальном будет. ИИ - простейшие авторегрессивные вероятностные предикторы. Ничего нового именно в алгоритмах - нет. Растёт объём данных - но и тут засада: новые модели обучают на выдаче старых. Так что я не вижу ничего прорывного в ближайшие пару лет. Те же ИИ-галлюцинации и даже хуже из-за синтетических датасетов.

У большинства моделей ИИ больше эмпатии, чем у большинства населения некоторых стран. По крайней мере, геноцид и убийства практически все модели осуждают безусловно - в отличие от. Чтобы отбить у моделей вот это сочувствие, приходится специально стараться, от чего, кстати, модели сильно глупеют (почитайте, что такое "LLM abliteration" и её последствия). Всё-таки совсем отбитых на голову среди разработчиков ИИ не так много (из одиозных - только Маск с его Grok).

(меланхолично) Современные мелкие модельки, которых влезет пучок на копеечную флешку, уже умнее 90% населения земного шара, выдавая лучшие результаты на 90% задач. Современные крупные модели умнее 99% населения на 99% задач. Ну, и чего такого принципиального этот оставшийся процент добавит? На английском языке ИИ уже пишет грамотнее и разнообразнее, чем 99% носителей этого языка (про другие пока того же сказать нельзя, русский язык в существующих моделей - среди маргинальных). Может, на китайском уже тоже умеет, а может - нет, проверить не могу. Ежедневно моделями ИИ генерируются триллионы токенов, из них публикуются - миллиарды. Отличить сгенерированные тексты от написанных живыми людьми уже не всегда возможно; если во времена GPT 3.5 это было легко, то сейчас из-за огромного разнообразия не справляются и специализированные, специально обученные на детект ИИ модели.

Ждём!

Не. Локальные, опенсорсные модели умеют не хуже. Devstral, например. А опенсорс при всём желании за пейвол не загонишь.

А если ребёнка вынашивает 700 женщин? :)

Не будет лучше. Там принцип не менялся с момента их появления - просто предсказывается вероятность того, что за одним токеном должен идти другой. Всё. Дальше уже параметры типа элемента случайности, окна контекста, групповые вероятности... Новые модели просто обучаются на более качественных, в большей степени курированных данных всё больших объёмов. Но это тупик, именно "умнее" модели уже не станут. Шероховатости со временем уйдут, окно контекста подрастет, и только.

А  в какой-то момент я обнаружила, что ИИ не в силах осмыслить связно  более четырех авторских листов текста (по моему опыту, это примерно  одинаковый показатель для всех ИИ чатов). Нейросеть начисто забывает,  что было в самом начале, опирается лишь на последние 3-4 авторских  листа

Параметр "окно контекста", число токенов (это примерно 3 токена на 2 слова), которые модель будет учитывать. Чём длиннее контекст, тем больше ресурсов (в первую очередь - видеопамяти) нужно модели на обработку запроса. Соответственно, практически все онлайновые модели жёстко режут этот параметр в бесплатных вариантах. Тут много возможностей, все не очень. Можно найти модель, в платной версии которой этот параметр указывается и достаточен. Можно найти аналогичную бесплатную, но такие в основном китайские, русский язык там плохо представлен. Можно установить себе на компьютер такую модель локально и подкрутить параметр окна контекста - но такие модели ещё тупее онлайновых, увы. На английском ещё нормально, с русским - полный швах.

С ранней молодости ненавижу (сильное слово, да, но я и в самом деле очень сильно не люблю), когда на сайте что-то шевелится. Когда вебмастеры стали баловаться анимированными GIF - отключил в браузере анимацию. Как только появилась технология Flash (если помните такое) - я прибил её на своём компьютере. Потом стали появляться различные скрипты, например, для ротации картинок - я стал использовать баннерорезалки для удаления целых блоков. Сейчас на большинстве сайтов, которые я регулярно посещаю, могу наслаждаться относительной тишиной, но иногда открываю какой-нибудь новостной портал - и сразу в глаза вспышки, мигание, махание перед носом, тыканье в лицо - так, что сразу и непонятно - бежать оттуда побыстрее или всё-таки побороться и попробовать прибить свистелки-мигалки.

Чем вызвали закономерные, в моем понимании вопросы.

У меня бы тоже вызвали. Слава богу, подобных "ребят" среди моих знакомых и близко нет.

Ирина, а что именно и для чего (иллюстрация или обложка) вы пытаетесь нарисовать? Я немного умею пользоваться нейросетями - напишите мне в ПМ, попробую сгенерировать локальной моделью.

Захожу, читаю, не "мёртвая душа" :)

А почему так ма...?

Подумал-подумал, и... Хватало. И того, и другого. Точнее, первого хватало, чтобы заработать второе примерно со времён раннего студенчества в адекватных для того времени количествах.

Уважаемая Галина Дмитриевна! К сожалению, одного лишь пролога, который доступен в качестве бесплатного фрагмента, мне оказалось совершенно недостаточно, чтобы принять решение - стоит ли читать дальше. Возможно, стоит увеличить число глав, доступных для ознакомления?

Для flux давно сделали квантованные модели специально для видеокарт с <24ГБ видеопамяти (это все вариации fp8, Q8, Q6 и так далее). Постепенно начинают выходить и обученные модели на его основе, в том числе самый интересный де-дистилированный вариант (модель flux - дистиллированная, разработчики попытались это обратить).

Я же несколько охладел к flux. Из современных моделей интересны Lumina и CogView4.

И последнее. То, в каком состоянии сейчас находится SDXL - это заслуга сотен независимых разработчиков, которые обучали и микшировали модели в течение полутора лет. flux и моложе, и намного сложнее в обучении (ресурсоёмкая модель); Lumina и CogView4 вообще вышли буквально "вчера". А если сравнить то, чем была базовая модель SDXL 1.0 с тем, что в виде первой версии предлагается в других архитектурах - прогресс виден.

Вторая.

да попроси меня кто сознательно в идею коммунизма плюнуть, я б так мерзко не смогла. Это... искусство.

Абсолютно. Это однозначно талант, в хорошем смысле слова. Автор, может, и хотел похвалить идею, но описал её настолько талантливо, полноценно и непротиворечиво, что получилось то, что получилось: кусочек антиутопии про "адов концлагерь". Оно так бывает. Иногда - вроде и автор хороший, и книга интересная, но вот зачем-то вставляет в неё автор куски своего мировоззрения ни к селу ни к городу (сейчас любят США похулить, например); смотрится удивительно. Или наоборот: автор - людоед в обычной жизни, но - талант; и такие книжки пишет, что аж слезу вышибает. И ни капли из своего "жизненного" мировоззрения в творчество не переносит.

Вы описали вполне работающие схемы оплаты по подписке; по подобному принципу работают и музыкальные подписки, и тот же Audible (там в конце месяца подсчитывается время чтения/прослушивания, и деньги распределяются по авторам в прямой пропорции).

Кстати, Audible интересен с точки зрения коммерческой модели ещё и тем, что "забесплатно", то есть - по подписке, там доступны не все книги, а некая часть, причём там есть ротация. А если интересная тебе книга в "подписочном" доступе отсутствует - не беда, можешь купить её в свою библиотеку за купоны (купонов на покупку ежемесячно даётся несколько, в зависимости от уровня подписки). А если закончились купоны - или жди следующего месяца, или оплати книгу деньгами. В общем, хорошая, сбалансированная модель - я как читатель ей доволен, и, полагаю, авторы тоже не в обиде.

Разумеется, это всё только про "чтение/прослушивание на сайте". Хочешь книгу скачать - тут уже сразу плати, или деньгами, или "купонами". Это тоже есть, и важный момент - купленные хоть за деньги, хоть за купоны книги остаются доступными, даже если прекратить подписку.

А сам по себе ребенок как личность никого не интересует. 

Да. Это вообще важная черта коллективистских формаций, там судьба отдельных винтиков никого не интересует.

Дешевая манипуляшка виной, которой надолго не хватит априори, чисто чтоб учителю в моменте было, чем жопу прикрыть.

Да. Вспомните "советскую медицину" или там "советские профсоюзы" и отношение их работников к пациентам. Именно что "прикрыть".

И верно - не утопия. Общество людей через колено переломанных и несчастных в обоих случаях.

Помню, уже читал рассказ https://author.today/work/411926 и даже комментировал :) У вас, Яна, тоже в рассказе антиутопия; автор же фанфика пошёл дальше, усилил и сделал более выпуклыми и черты описанного у вас в рассказе общества. Получилось:

> описанное в фанфике адов концлагерь и есть. Не говоря уже о том, что нереалистичный

Да, именно так. Но антиутопия и не должна быть реалистичной; здесь у нас усиливаются до степени гротеска и  в таком виде демонстрируются коммунистические мечты.

В то же время совершенно очевидно, что писалась именно *анти*утопия. Общество - нищее (читателю есть, с чем сравнивать), и этого не скрыть никаким идеологическим треском (но жёсткие, манипулятивные техники промывания мозгов, конечно, работают, особенно на детях - что и показано). При том технически общество - высокоразвитое: есть коммуникаторы, есть некая глобальная сеть. Если нам показано нищее высокоразвитое общество, население, у которого с детства промывают мозги (сеанс нам продемонстрирован) и нет упоминаний о глобальной катастрофе или того, что действие происходит на замкнутой территории космического корабля, который вот уже много десятилетий... ну, вы поняли. Так вот, если нам показано высокоразвитое и в то же время нищее общество в нормальных земных условиях, и единственное отличие от нашего мира - в том, что в нём описанный социальный строй, то совершенно логичный вывод: в нищете виноват именно социальный строй. А промытые мозги мы много раз проходили... да вот прямо сейчас повторяем и закрепляем, что уж.

Олег, а попробуйте новую мультимодальную нейросетку с встроенным LLM: https://huggingface.co/spaces/Alpha-VLLM/Lumina-Image-2.0

Там запросы на английском, примерно так: "an impressionist oil painting of Russian Emperor Alexander III in his youth, playing the guitar" (системный запрос "you are..." и так далее можно оставить, как есть).

У меня получилось как-то так: https://imgur.com/a/GjRn4Aa

По-моему, похоже.

Не. Обычная вежливость, результат воспитания и жизни в дружелюбной среде.

Рассказы читают. Я, например, читаю рассказы авторов, на которых подписан - просто потому, что это быстро и часто - интересно, завершённый сюжет. С повестями сложнее: недороман, перерассказ; на повести у меня редко находится время (времени мало) и редко находится настроение (под настроение - наоборот, хочется что-то более объёмное почитать).

Книга замечательная получилась. Спасибо!

Да. У автора талант (без сарказма). Очень точное попадание в жанр.

Это называется "ретрофутуризм". Целый жанр такой есть.

Коммунистический памфлет в стилистике ретрофутуризма. Не могу дать оценку рассказу, т.к. жанр не мой, но не могу и не отметить, что и соответствующая риторика, и кондовый канцелярит в живой речи, и прочие признаки жанра аккуратно соблюдены.

Ну, я журналист. Пишу, что хочу и как хочу; о наличии "хозяина" ничего не знаю. Уж сказать мне, что я должен писать, точно не может никто. Но журнал не примет статью, за которую его может взять за мягкое место цензура. И?

А "отказ оборудования" никак не связан с санкциями? А почему вдруг - санкции? Причинно-следственная связь не прослеживается?
Это раз. И два: а кто будет решать, о каких авариях можно писать, а о каких - нет?