Аватары и видео - инструкция по просьбе друзей и коллег

Эта марсианка в видео не вошла. Но красивая, пусть будет - просто для радости.

Итак. В комментариях к прошлому посту у нас разговор зашёл о том, как можно делать говорящие аватары или коротенькое видео. Часть анимирующих сетей я уже описывал - расскажу о новых, о самых лучших.

И начну с аватаров. На самом деле, как я понимаю, сейчас есть довольно много сетей, которые анимируют аватары. Но большей частью в такие сети нужно загружать референс: записываешь какое-нибудь видео, где ты сам говоришь или поёшь, грузишь картинку, которую нужно анимировать - и нейросеть её анимирует как бы по образцу. 

Оно, наверное, хорошо, но хлопотно. Поэтому я туда пока не полез, жду, когда они будут срисовывать не только мимику, но и движения - есть тенденция. А пока использую Гидру, https://www.hedra.com/app/characters - чудесную, очень простую в обращении сеточку, которая анимирует аватар без всяких дополнительных телодвижений. Ей нужны только картинка и речь. Эта умница сама сообразит, как дорисовать мимику, причём ведь аватар ещё будет вздыхать, моргать и вообще делать кучу этих мелких мимических движений, присущих живому лицу.

Делается очень просто. Зарегистрировались - открывается рабочий стол с тремя окошками. В первое можно загрузить вашу звуковую дорожку - можно с музыкой, песню, можно просто голос, это Гидре всё равно - или просто написать что-нито. Нужно только учитывать: Гидра в один приём анимирует 30 секунд. Поэтому, если у вас, например, песня длиной в минуту, вы её делите на четыре маленьких кусочка и каждый анимируете отдельно, а потом соединяете на монтаже. Увы-увы, по-другому сейчас не выйдет.

Во второй окошко вы грузите собственно аватар - изображение того героя, который, собственно, вашим аватаром и будет. Тут учитываете такие вещи: во-первых, Гидра берёт только квадрат. Если загрузите картинку любой другой формы, сеть её всё равно отрежет, как ей любо. Во-вторых, надо, чтоб лицо было видно чётко и хорошо, особенно рот. Гидра очень не любит всякие там усы или ещё что-нибудь такое, что закрывает губы: начинает кривлять и глючить картинку. В-третьих, постарайтесь, чтобы лицо было анфас. Если нужен поворот - то пусть чуть-чуть, слегка. Потому что, чем сильнее голова будет отвёрнута от зрителя, тем сильнее Гидра её скривит. Иногда это у неё выходит очень страшно.

Если у вас нет подходящей картинки, можно нажать кнопку "создать" под окошком. Гидра хорошие и красивые картинки делает, но случайные. Специальный промт, кого создать, здесь ввести нельзя. Повезёт - значит, повезёт, не повезло - пробуете ещё раз.

Личный опыт: Гидра как-то не очень любит чёрно-белые фотки или слишком затемнённые, не очень контрастные картинки. И наоборот: чем ярче и веселее - тем лучше и чище анимация. Фотки анимирует вообще идеально. Рисунки похуже, но вполне годно, если вы выберете рисунок, который ей нравится. Очень симпатично и забавно анимирует 3Д мультики - то есть, соответствующее изображение. Но всё-таки надо, чтобы лицо было похоже на лицо: зверей и инопланетян Гидра анимирует неуверенно и глючно или не анимирует вообще.  

Ну и всё. Грузите звук, грузите картинку, нажимаете "генерацию" - в третьем окошке получаете результат. Он легко скачивается - и потом хоть его режь, хоть прямо так и бери.

По-моему, очень хорошая, удобная и простая программа. И быстро, главное: ну, минут 5-7 она делает очередной фрагмент. Лума, бывалоча, целую ночь видео грузила - поэтому Гидра, я б сказал, просто летает.

Но она умеет только лицо. А прочее всё мы делали в китайской нейросети по имени KLING.AI. Вот лапушка, лапушка просто! Умница, послушная, очень хорошо понимает промты, а с референсом - вообще огонь. Делает анимацию в любом формате. Умеет и видео, и картинки, картинки тоже отличные. В сутки даётся 66 бесплатных кредитов, это шесть пятисекундных видео. Качество - ну вот, чтоб в старый пост не лазать:

Или здесь: https://vk.com/id490949518?z=video490949518_456239167%2F2239e8182c5efdebc3%2Fpl_wall_490949518 - если у вас тормозит Ютуб.

Вот грустная дева, которая говорит - это Гидра, а все пейзажи - это Клинг. И видно, насколько чётко и красиво. Вдобавок, если в промте прописываешь движение камеры, Клинг это учитывает - и мы с ней такие шикарные панорамы научились делать, что одна радость.

Но надо иметь в виду: если вы прописываете только промт под видео - оно будет намного беднее красочными деталями. И наоборот: чем эффектнее детальки на картинке - тем прикольнее анимация. 

Рабочий стол у Клинг - простой-простой: там сперва выбирается окошко картинки или видео, потом, когда вы выбрали видео - с референсом или без него. И дальше - там очевидно-очевидно: окошечко для промта, окошечко для референса, кнопка "генерировать" - и всё, она генерирует. Потом скачиваете.

Проблема у Клинг одна - зарегистрироваться.

Там такой интуитивно понятный интерфейс, что нужно обладать интуицией шамана, чтоб разобраться. На всякий случай: капча хитрая, появляется картинка, из которой вырезан кусочек в виде пазла - и этот кусочек сдвинут в сторону. Так вот, если вы вдруг такой же наивный товарищ, как я: этот кусочек невозможно зацепить мышкой и на стрелки клавиатуры он тоже не реагирует. Там под картинкой есть такая панелька со стрелочкой, так вот это на стрелочку надо нажать и тянуть. Если вы эту хитрую головоломку освоили - дальше, при регистрации, раз десять выкинет - и всё, дело в шляпе.

В общем, ничего сверхъестественного там нет. Можно по ссылкам проходить и пробовать, создавать свои шедевры :)