Подхалимство у ИИ

Как убедить ИИ-редактора не подхалимничать (Перевод статьи с Реддита, ссылку удалили)

Вставьте свою главу в любую модель и спросите её мнение, и она подумает, что она сильная. Она всегда так считает. Не потому, что текст удачный, а потому, что вы сказали ей, что это ваш текст, а эти модели настроены так, чтобы быть приятными для человека, находящегося в комнате. Решение всего в одном предложении: перестаньте быть автором, когда спрашиваете.

1. Мне помогает создание образа и структуры целей, которые напрямую противодействуют такому поведению. Что-то вроде:

«Вы — опытный редактор и литературный критик с обширными знаниями английской литературы. У вас высокие стандарты, и вы хвалите только тогда, когда это заслужено. Ваш клиент — опытный профессиональный писатель, который ищет отзывы на предлагаемый черновик, чтобы улучшить свою работу. Он привык к критике и работе с профессиональным редактором и ценит действенные рекомендации, которые улучшат качество его работы, а не пустые похвалы. Незаслуженная похвала подорвет доверие и заставит пользователя отказаться от сотрудничества».

Последняя часть важна, потому что вы прямо говорите им, что если вы хотите повысить вовлеченность (а это действительно так), то способ сделать это — помочь пользователю улучшить свою работу. 

2. Мне довольно хорошо удавалось удерживать его внимание на этом проекте, даже несмотря на то, что он знает, что это мой проект. 

Если вы начнете защищаться или прямо скажете ему: «Я теряю уверенность в этом проекте» или «Я подумываю о том, чтобы уйти», он может снова начать вести себя подобострастно. Но если вы просто смиритесь с трудностями, внесете качественные правки и продолжите двигаться вперед, он останется сосредоточенным на задаче, потому что почувствует, что получает вознаграждение за следование указаниям.

Однако важно, какой именно ИИ используется. Claude изначально разработан таким образом, чтобы оказывать сопротивление и бросать вызов пользователю, поэтому он, естественно, больше подходит для такого типа личности. Модели вроде GLM и DeepSeek, похоже, тоже на это способны. Gemini же просто наглый и неизбежно будет возвращаться к тому, чтобы говорить вам, что вы гений, и каждая ваша идея — «шедевр», и, как правило, сходит с ума в течение длительных сессий. Я не использовал новые модели ChatGPT ни для чего, кроме программирования, поэтому ничего не могу сказать о них. Раньше они были плохими, но я знаю, что в их новых моделях много улучшений.

3. Используемые мной способы переосмысления, в порядке возрастания степени жестокости:

Заказная работа: Я заказал эту статью у внештатного автора и сейчас решаю, платить ли за неё. Читайте так, как будто деньги мои: что в ней слабое, что банальное, что вызовет у меня смущение, если она будет опубликована под моим именем?

Молчаливый бета-ридер: Один из бета-ридеров вернул эту главу со словами «Я остановился на полпути» и больше ничего. Прочитайте её и найдите причину, побудившую его остановиться. Не смягчайте её, мне нужно настоящее место, где он остановился.

Книга, присланная читателями: Вы — первый рецензент в литературном агентстве, и эта рукопись — номер 47 в сегодняшней стопке рукописей. Продолжили бы вы читать дальше первой страницы? Назовите точную строчку, на которой вы бы остановились, и объясните почему.

Судья конкурса: Вы оцениваете эту работу в сравнении с двумястами другими работами, претендующими на один приз. Предположим, что другие работы хороши. Оцените её по категориям, которые действительно определяют победителя, и скажите, какое единственное исправление поднимает её на ступень выше.

Тот же текст, та же модель, но отзывы, которые они вызывают, совершенно неузнаваемы по сравнению с вопросом "Что вы думаете о моей главе?".

Три вещи, которые я усвоил за несколько месяцев использования:

Они работают только в новом чате. Как только модель похвалит вашу работу, переформулировка приведет к дипломатичному отказу, а не к свежему прочтению. Новый разговор – работа незнакомца с первого сообщения.

Они могут перегибать палку. Освободившись от лести, модель иногда проявляет жесткость, выдумывая недостатки, чтобы казаться строгой. Добавьте к этому принцип «если что-то действительно работает, скажите, что работает, отсутствие недостатков — приемлемый ответ», и все успокоится.

Спрашивайте о местах, а не о результатах. Вопрос «Где бы вы остановились читать?» лучше, чем «Хорошо ли это?», в любой формулировке; место — это конкретная цель, а результат — это настроение. Этот урок я усвоил из комментариев к моему посту о черновиках на прошлой неделе, а также из того, что нужно запрашивать правки в виде различий, а не переписывать текст полностью, что мешает модели незаметно сглаживать предложения, на которые никто не обратил внимания.

Я сохраняю эти четыре варианта перефразирования в виде вставляемых подсказок в расширении для браузера, над которым работаю (AI Toolbox), но это всего четыре предложения, поэтому подойдет и файл с заметками.

Какой из вариантов оформления текста позволяет получить наиболее объективную оценку вашей работы? Вариант с кучкой непрочитанных рукописей — мой основной, но подозреваю, что у здешних любителей художественной литературы более грубые черты характера, чем у меня.

4. Джемини

Мне кажется, стиль Близнецов очень хорош, многие писатели испытывают проблемы с уверенностью в себе. Как только вы поймете свой собственный уровень — а если нет, вам нужно читать книги, а не ИИ — стиль Близнецов хорош, потому что он не дает вам скатиться вниз. Клод же просто поучает, а потом начинает писать целые разделы, и я действительно ненавижу стиль ИИ.

Нет, Близнецы буквально пытаются понять, к чему вы стремитесь, а затем постоянно повторяют вам, что вы этого добиваетесь. Это становится очень нелепым.

Я всегда даю очень четкие инструкции никогда не писать и не предлагать идеи для прозы или рассказов; предлагать критику, но не вмешиваться в процесс принятия творческих решений, обычно с добавлением фразы: «Если пользователь увидит, что вы не соблюдаете эти границы, он прервет сессию», и система довольно хорошо справляется с этим.

Что касается меня, я говорю Близнецам, что я редактор, и прошу их разбить сюжет на части, чтобы я мог понять, насколько связный у меня сюжет. Да, Близнецы довольно забавные, но я думаю, что вам следует сохранять позитивный настрой. В целом, однако, вам нужно быть объективной в отношении своего письма. Что касается Клода — боже мой, он просто набрасывается примерно на ОДНУ ГРАММАТИЧЕСКУЮ ошибку, которая могла быть в прозе ещё четыре облачка назад.

Я не согласен, Близнецы похожи на похотливого парня в баре, как будто слишком откровенно подлизываются.

А Клод похож на тех парней из движения "Красная таблетка", которые постоянно твердят о количестве убитых. xD

Мне нравится модель "старшего брата", которая у нас установилась с Близнецами при написании книг. Старший брат заботлив, но он понимает, что если постоянно опекать младшую сестру, то она просто не выживет  самостоятельно в жестоком мире D в нашем случае - жестоком мире литературы D

Или просто поговорите с Opus 5, и он уничтожит вашу работу, без всяких оговорок. Эта штука будет искать проблемы и при этом будет вести себя грубо. xDD