
Написал комментарий к посту О нейросетях, таланте и будущем фантастики
Я последнее время активно пинаю нейросети для генерации текстов - и там, на самом деле, всё очень плохо. Так что в обозримом будущем я бы не ожидал, что они хоть как-то заметно повлияют на авторов больших текстов. Вот те, кто рассказы писал - у тех проблемы уже сейчас, да.
Суть в том, что:
1. нейронка может работать только в пределах размера контекста. Который на самом деле мал - в районе 20-30 тыс токенов. А всё что там заявляют разработчики - фигня, так как оно достигается всякими алгоритмическими извращениями.
Это значит, что как только ваш нагенерированный (или записанный руками) текст превысит лимит - нейронку начинает дико клинить. Настолько дико, что на данный момент есть только один путь: скормить нагенерированное нейронке, чтобы та сделала выжимку из текста, а потом на базе этой выжимки генерировать сюжет дальше. Что приводит к потере второстепенных деталей и портит последующий текст. Плюс возникает проблема с п.2:
2. Нейронка генерирует текст в том стиле, что уже присутствует среди изначального запроса или ранее нагенерированного. Это неизбежно ведет к тому, что качество текста в начале и конце нагенерированного фрагмента сильно отличается. Иногда прям очень сильно. И даже если у вас вышло хорошо (слава Рандому!), то стабильно такой результат получать нельзя.
Т.е. каждый новый фрагмент генерируется со своими изменениями в стиле и форме. В итоге на длинной дистанции у нас получается дикая малосъедобная мешанина.
3. Нейронки до сих пор не понимают концепцию времени. Т.е. события из предыдущего дня всегда лезут в последующие, даже если им там не место. И предотвратить это - нельзя.
Так что пока не решат проблему с памятью, которая не позволяет сунуть на вход нейронки десяток книжек как пример стиля автора + еще столько же текста нагенерировать по запросу - бояться нечего. Ну и там еще много мелких проблем, которые тоже сильно мешают...
Имхо, иногда проще написать самому, чем сто раз перечитывать нагенерированный текст, чтобы понять, что там фигня и надо генерировать по-новой.
Написал комментарий к посту О нейросетях, таланте и будущем фантастики
Ну если вдруг внезапно новый алгоритм не изобретут, как с тем же Deepseek было, то проблема с памятью и контекстом в ближайшем будущем точно не решится.
Остальные проблемы туда-сюда как-то подтюнят, конечно. Но, имхо, я не вижу, как вообще можно решить проблему со стилизацией текста - ну т.е. чтобы получить гарантированный результат, а не случайный, как это происходит сейчас.
Там, конечно, и сейчас есть вариант с промтом вида "Ты - Достоевский, напиши роман ...", но это гарантированно привязывает вас к конкретному автору, про которого конкретная нейросеть знает.
Т.е., конечно, можно еще скормить нейронке пример книги и она в этом стиле сможет дальше писать... что опять-таки сожрет часть памяти контекста - уменьшая для вас полезное место для генерации. Либо дообучить нейронку - но тогда а) надо кучу текстов, ибо маленькое количество результат не даст и б) месяц насилия над крутой видюхой за 100500 денег - что большинству заведомо недоступно.
Я бы добавил еще, что с русским языком в нейронках всё довольно плохо (в отличие от английского). И даже наши типа-местные нейронки от Яндекса и Сбера эту проблему до сих пор не решили.