Первая проба работы с нейросетями по созданию видео

Хочу поделиться с вами своими впечатлениями от первой пробы работы с нейросетями для создания видео. Это был настоящий пилотный проект, и я пыталась разобраться, как всё это работает.

Меня очень захватывает идея того, что можно дать своим героям многомерности. Нейросети помогают генерировать персонажей, и я с большим удовольствием провожу часы, создавая арты с героями. Но сделать их живыми — это ещё круче! Поэтому я решила познакомиться с нейросетями для создания видео.

По работе мне приходится осваивать Сору, но пока что я не нашла к ней подход в плане генерации хороших видео. Её варианты чаще всего доводят меня до слёз от смеха. Я обожаю то, как она буквально воспринимает промты — это просто моя любовь!

Стала искать другие нейросети для генерации видео и обнаружила, что их огромное количество. К сожалению, большинство из них не бесплатны. В некоторых есть бесплатные попытки, но их хватает только на небольшое количество генераций.

В итоге я остановилась на Нейро-Холсте. Здесь несколько нейросетей на выбор, в зависимости от задачи. Есть даже та, которая работает с картинками — именно то, что мне нужно!

Сначала я сгенерировала своих персонажей в образах для сцены. По моей задумке, это выступление в рокерском стиле, поэтому персонажей нужно было переодеть соответственно. Затем я загрузила картинки в нейросеть для оживления — это было залипательное занятие!

Однако ролик может быть либо 6 секунд, либо 10. Я сразу поняла, что целиком весь клип я не сделаю, поэтому пришлось оживлять персонажей по очереди. Для каждого я сделала по 5 клипов с разными действиями.

А дальше началась магия монтажа! Я загрузила всё в CapCut и принялась за работу. О липсинке и речи быть не могло — это уже хард лэвэл. Сделала небольшую нарезку, добавила эффекты и подставила музыкальный отрывок.

И вот что вышло! Считаю, что для первой пробы получилось очень даже ничего. Но финальный клип у меня ещё впереди.

А вам как? Поделитесь своими впечатлениями! 

P.S. Если у вас есть советы по нейросетям для видео —  буду рада новым открытиям!