Иллюстрации и видео

Этот блог вряд ли будет интересен тем, кто занимается нейросетями давно. Тут таких много, потому что написание книг подразумевает ещё и создание для них иллюстраций, обложек или презентационных видео по сюжетам рассказов, романов и т.п. Но вот если кто только сейчас начинает открывать для себя этот мир, тогда возможно, найдёт здесь для себя что-то интересное.

Итак, поговорим об иллюстрациях и буктрейлерах. Возможно, поднятая тема будет интересна и тем, кто не рисует иллюстрации, а просто хочет сделать галерею с одним (двумя, тремя и т.п.) узнаваемым/и персонажем/персонажами, сгенерированным/и нейронкой.

В случае необходимости создания узнаваемых персонажей, используется так называемый референс. Это изображение, которое мы даём нейросети как эталон внешности персонажа, его одежды, освещения, сцены. Иногда (и чаще) просто внешности. Чтобы персонаж в одном случае не оказался двадцатилетней блондинкой, а в другом сорокалетней дамой с рыжими волосами.

Референс можно получить разными путями: сгенерировать самостоятельно, либо использовать уже имеющееся изображение. Тут стоит напомнить об этических правилах использования внешности реально существующих людей при генерации изображений (видео). Поэтому лично для меня более приемлем первый способ. То есть – целенаправленная генерация вымышленного персонажа, которая потом и будет использоваться как эталон.

Почти все нормальные нейронки (жаль, что многими любимый «Шедеврум» так до этого и не додумался пока) имеют режим генерации по исходному изображению. Поэтому поставив в соответствующий слот требуемое изображение (лица, фигуры и пр.) можно создать различный антураж именно для указанного персонажа: лес, город, горы, драка с гоблинами или ещё кем. Или пир с эльфами.

Но тут имеются нюансы. Нейронка зафиксирует внешность и стиль, но в силу собственного «разгильдяйства» (то есть самостоятельной трактовки многих моментов) может не дать 100% совпадения. В этой связи желательно дублировать референс соответствующим описанием внешности персонажа (или тех параметров, которые желаете выдать за эталон) в промпте.

При этом в начале промпта указываем: «use this image as reference for character, same face, same outfit, same lighting»… Либо: «reference image provided, maintain identical character appearance, same face, same clothing, same environment»… Думаю, с переводом легко справятся все, кто начинает работать с нейронками.

Что ещё важно! Если писать промпт на русском языке, то следует учитывать, что нейронка всё равно переведёт его на английский, а потом на русский вновь, и уже по этому промпту будет «генерить». Тут возможны погрешности и сбои. 

Например, как писал уже в одном из прежних блогов, «висок» на английском «temple». При обратном переводе получаем «храм». А религия – это один из триггеров для цензурирующих фильтров. Поэтому стоит триста раз подумать, как писать промпт, если вы хотите, например, получить татуировку на виске у своего персонажа.

Промпт лучше изначально писать на английском языке. При этом отключить в браузере автоматический перевод на русский. Иначе можно, например, во Flow, получить курьёзную ситуацию, когда пишешь в поле ввода нейросети промпт на русском и в итоге получаешь полную тарабарщину, так как браузерный «гений переводов» пытается перевести русский на русский. Это, конечно, прикольно, если, конечно, тебе не нужно прямо сейчас получить изображение.

Подводя итог, скажу так: хороший референс это такой, когда чётко видно лицо, имеется достаточное «освещение» (в кадре) и сам кадр чёткий. Без размытия. Плохой промпт – тёмный силуэт, размытый кадр, вид со спины или когда лицо отвёрнуто (закрыто элементом одежды, аксессуаром).

Всем добра/бобра! Учимся вместе.

Примеры референсов:

1. 

2.

3.

Кстати, вместо P.S. Третье изображение второе и подходят также для создания персонажа в программе "блендер". Кто в курсе - тот поймёт.

Если тема заинтересовала, пишите в комментариях. Периодически буду выкладывать здесь свои наблюдения, победы и поражения в "битве" с нейронками!)))