ИИ арты: ножки к избушке

В общем я случайно нашёл то, чем уже года три все пользуются, а я и не знал. Называется "sd-webui-regional-prompter" - позволяет в stable diffusion совмещать несовместимое, например курячие ножки к избушке без inpaint в один запрос.

Чтобы протестировать я сделал обложку к "пандемии":

Суть проблемы в том, что если мы пишем молния, дерево, город, оборотень. То в какой они там будут комбинации - это как повезёт. Для того есть inpaint, есть control net, на худой конец img2img. Ими можно сделать всёчтоугодно. Но это долго, требует возюкать кисточкой и сами понимаете, запустить нейросеть нагенерируй мне сто вариантов так не получится.

Так вот вышеозначенное расширение позволяет худо бедно сказать, что дерево у нас на горизонте, вон там, город на среднем плане, а вот тут тушка с молнией. И молния не тащится к дереву, город не стоит по бокам, а сидит на среднем плане и всё цивильно.

Без расширения тот же запрос выдаёт такое:

Понятно, что кто-то хочет именного такого, что там как-то можно допинать пропмт, но это долго муторно и проще уже брать в руки контролнет.

Итак центр управления магией выглядит так:

 Это обычный интерфейс webui. Только слева тут влезла панелька обсуждаемого расширения.

Оно работает просто. Мы разбиваем область рисунка на фрагменты (там можно маски, а можно даже словами указывать), и под каждую область пишем свой промпт. Разделяются они классичесским BREAK.

Есть базовый (base) промпт, есть общий (common). Базовый клеится "математически" (см. документацию) через множитель. Общий просто прилепляется как текст. В данном случае я использовал "общий" - он задаёт стиль.

Потом идёт промпт неба и дерева. Затем промпт города. И третий промпт для переднего плана. Они настолько не пересекаются, что если перестараться нейросеть иногда границу как между фреймами комикса.

Фрагменты задаются цифрами: 0.8; 0.8; 1.2 в поле Divide Ratio. Там можно накрутить сложный рисунок со множеством ячеек, но увы, традиционно для webui - шаг влево и всё глючит. Иными словами чуть более сложная конструкция у меня приводит к тому, что на экране всё "перемешивается", словно расширение само собой отключается. Та же история если прикрутить некоторые lora.

Но для простых задач работает нормально. Т.е. даже если надо что-то сложное то можно сэкономить время на базовый монтаж картинки.

К слову, поганые градиенты в небе оказывается проще всего исправить выборочным размытием:

Слева то что выдала нейросеть, справа выборочное размытие с радиусом в 125. А я всегда возился с масками.