Можно ли доверять нейросети оценку вашего рассказа? Мой эксперимент
Автор: Владимир Машошин
При создании тренажёра писательского мастерства «Автор 1.0» мною были проведены сотни экспериментов, проверен десяток нейросетей и большинство из них, мягко говоря, не справлялись с поставленной задачей.
Некоторые плохо разбирались в тонкостях русского языка, другие откровенно «тупили», третьи стоили неадекватно дорого. А первоначально задача стояла довольно простая: отличить мои ранние самые любительские сочинения от признанных классиков (Чехова и Пушкина).
Так вот, большинство языковых моделей просто не могли отличить одно от другого, они давали моим произведениям то 50, то 55 баллов из 100, и тут же Пушкину с Чеховым от 55 до 59, то есть объективно ставили мои слабенькие опусы наравне с классиками. И никакие промты этому делу не помогали.
Если кто-то думает, что за пару минут сочинит промт, зальёт его в ChatGPT и получит грамотный разбор своего рассказа, то он заблуждается, впрочем, это легко проверить.
Чтобы получить стабильный и многократно проверенный результат, о котором я говорил в статье: «Чехов — 72, я — 48. Дал нейросети-редактору сравнить «Палату № 6» и свой рассказ» мне понадобилось несколько месяцев работы – подбор языковой модели, настройка промтов, и не одного, а целой системы инструкций для нейросети.
Однако в результате мне удалось создать сервис, который на уровне среднего редактора способен оценивать художественный текст и давать полезные рекомендации по его улучшению. Причём я настолько уверен в возможностях сервиса, что в самое ближайшее время собираюсь провести конкурс рассказа, первый в своём роде, где оценивать работы будут не люди с их всегда субъективными предпочтениями, а сам «Автор 1.0» беспристрастный и безэмоциональный судья, ну, под небольшим контролем организатора, конечно.
Так что все кто захотят поучаствовать в эксперименте, милости прошу, на странице «Марафона» - https://avtor1.ru/marafon скоро откроется запись для участников. Тема конкурса будет объявлена отдельно в один день, чтобы у всех были равные возможности. Участвовать можно будет бесплатно, а призы будут вполне материальные.
А если кто-то хочет убедиться, что «Автор 1.0» лучше разбирается в литературе, чем обычная нейросеть, можете попробовать оценить свой текст – avtor1.ru.
Для гостей одна попытка в неделю, для зарегистрированных пользователей 3 попытки, плюс сейчас идёт акция: всем новым пользователям приветственная неделя с расширенными возможностями.