Как я пытался отучить ИИ поддакивать
Автор: Filolog"Да! Это прекрасная мысль! И вот почему:...."
Есть у нейросетей одна мерзкая привычка - соглашаться с тобой практически во всём. Причём чем большую глупость предложишь, тем интереснее бывает читать ответ.
Вот скажи ChatGPT, что придумал роман про разумный табурет, который путешествует по мультивселенной, собирает осколки своей души и в конце становится богом. Он ведь не засмеётся. Наоборот, разберёт идею со всей серьёзностью, найдёт там философию, символизм, трагедию одиночества и ещё какую-нибудь экзистенциальную тоску.
И обязательно сообщит, что задумка многообещающая.
Хотя, если подумать, про табурет я бы и сам почитал.
Но вернёмся к нашим баранам. Когда мы только начали работать над романом, я довольно быстро заметил, что GPT (да и не только он, это болезнь любой нейросети без тонкой настройки) готов хвалить буквально всё подряд. Придумаю сцену - отлично. Поменяю её - ещё лучше. Верну первоначальный вариант - оказывается, так даже сильнее, хотя, как видно, ничегошеньки не изменилось.
А если спросить, какой из трёх вариантов всё-таки лучше, начинается какой-то бесконечный "Сальвадор Дали".
Я как-то обратил его внимание на ошибку в логике одного из эпизодов. И получил подробное объяснение, почему эту ошибку необходимо исправить. Хотя несколькими сообщениями раньше он сам же предложил соответствующее решение и успел рассказать, чем оно хорошо. С таким редактором и врагов не надо.
Так мы и приходим к персонализированному промпту, без которого работать становится решительно невозможно. Чтобы чат превратился в более-менее адекватного собеседника, я прописал в настройках, что мне не нужны постоянные похвалы, что с моими предложениями можно и нужно спорить, если для этого есть основания, особенно когда речь идёт о сюжете, где одна неудачная мелочь может потом аукнуться через десять глав.
И знаешь, что произошло?
GPT наконец-то начал спорить, приводить аргументы, примеры стали разнообразнее, а соглашательство - более редким. Хотя к любому согласию я по-прежнему отношусь с подозрением. Порой я стал получать такие замечания, что хотелось вернуть всё обратно. Например, предлагаю вполне нормальную сцену, а он находит в ней проблему, которой там нет. В таких случаях приходится объяснять, почему это не ошибка, чтобы убедить машину согласиться. Иногда сразу, иногда после небольшого препирательства.
То есть раньше мне приходилось доказывать, что написанное плохо, а теперь временами приходится доказывать, что оно нормально.
Особенно занятно это выглядит на фоне произведения, где мы изначально решили проверить, сколько откровенной дичи можно напихать в мультивселенную, прежде чем она окончательно перестанет работать. Тут и без нейросети хватает сомнительных решений, а она ещё умудряется придраться к тому, что задумано специально, и пропустить какую-нибудь совершенно случайную глупость.
Я даже начал замечать за собой привычку заранее объяснять ей, что именно сейчас требуется: покритиковать идею, помочь с формулировкой или просто проверить, не противоречит ли новый эпизод предыдущим.
Правда, иногда возникает ощущение, что я трачу на объяснение задания больше времени, чем потратил бы на сам текст. Но тут уж ничего не поделаешь.
И всё-таки польза от такого общения есть. Машина довольно неплохо замечает конкретные вещи: перепутанные события, забытые обстоятельства, лишние объяснения, повторы. Да и с редактурой порой справляется лучше, чем я ожидал. Главное - не принимать каждое её замечание за истину только потому, что оно написано уверенным тоном.
В общем, пока мы с GPT учимся работать друг с другом, я успел выяснить одну вещь: заставить нейросеть соглашаться или спорить довольно просто. А вот добиться, чтобы она вовремя понимала, когда следует делать одно, а когда другое, оказалось куда сложнее. Пока что работаем дальше, всё время расширяя файл с настройками, запретами и рекомендациями, надеясь, что когда-нибудь из нейропигмалиона выйдет толк.