Создаём видосы для наркоманов в Stable Diffusion

Сколько уже балуюсь нейросетью, но только сейчас добрался до расширения для Stable Diffusion - Deforum - создаёт прикольные видосики под пивко. Анимация не бесшовная, и эпилептикам лучше не смотреть, но какой-то эффект погружения в видеоряд создается.

Я бы не стал это трогать, ибо пока ещё трудно создать осмысленный сюжет и идти экранизировать свои книги. Да и дядя Хачатур говорил, шо дефорум *овно. Но ко мне стали поступать запросы от заказчиков на подобные видосы. И я решил освоить эту тему.

Вот первый тестовый результат:

По задумке тут как бы - едет авто, потом превращается в скачущего коня, потом в орла и взмывает в небо. Далее идет превращение в грифона, потом в дракона - полёт идет вниз, а там горящий город. Ну, есть над чем работать.

Общий принцип рабочего процесса - берём стоковый видос, ну или снимаем себя - выбираем подходящий кадр для перехода в анимацию - обрезаем видео - далее последний кадр закидываем в Deforum - прописываем сюжет и настройки (можно настраивать полёт камеры и перспективу), количество кадров и прочее - тыкаем на кнопочку генерации - ждем дофига времени (у меня 250 кадров генерировались примерно 40 минут) - смотрим, как все фигово получилось - делаем правки в сюжет и настройки - тыкаем на кнопочку генерации - ждем дофига времени - закидываем результат в видеоредактор - объединяем два фрагмента в последовательное видео - добавляем аудиоряд - и вуаля - бежим покорять тик-ток!

С этим видосом я е*ался целый день. Часть с нейросетью у меня не заняла много времени. В основном занимался е*лей с видеоредактором, который я впервые запустил.

Если оптимизировать рабочий процесс и знать что делать, то такой видос можно за 1-2 часа сварганить. Самая большая сложность это в сюжете, который прописываем, и в хронометраже генерируемого ролика. 

Ну и бесконечные лаги и ошибки. Куда без этого, уж) У меня например апскейлер кадров не срабатывал. Пришлось их отдельно скейлить, а потом собирать в видос.

В принципе, вижу потенциал использования в создании не только контента для детей и наркоманов, но и чего-то более бесшовного. В Deforum есть вкладка с ControlNet, а значит композицией видеоряда можно управлять - например создать статичный объект, с изменяющимся фоном. Так же мне интересно, как всё это работает с LORA - то есть с моделью нейросети обученной под определенные лица, предметы, стили. Могу ли я проанимировать своё лицо?

Надо тестить дальше.