Leonardo AI. (4 часть)

Приветствую! В данной небольшой статье предлагаю рассмотреть моушен функционал Leonardo A. I. 

Данный инструмент может пригодиться для создания промо роликов для ваших книг и небольших видео. Каждая обработанная картинка длится 4 секунды. Если составить их последовательно получиться настоящее видео.

Пример использования:

Этот канал принадлежит автору JustMovies.

Все эти изображения длятся 4 секунды. Поэтому я пришел к выводам, что это видео, возможно, сделано с помощью Леонардо. Однако при работе необходимо учитывать особенности работы с данной нейросетью.

• Если мои наблюдения верны, то тогда будет достаточно перегенерировать изображение с весом 0.9 и уже новой подсказкой, чтобы получать другое поведение объектов на изображении. При таком весе перегенерации картинка практически не измениться, а вот подсказку будет возможно поменять целиком.

Вот пример перегенерации:

Интересно, что нейросеть старается повторить слова подсказки: "растворится в изображении". Таким образом возможно сказать о том, что при создании видео учитывается и сам Promt. (Глаголы)

При создании моушена также нужно учитывать то, как сам Леонардо может это воспринять. Похоже у него есть встроенные системы распознавания. Например, при обилии синего цвета, он способен воспринимать это как объект находящийся под водой. Например, на первом изображении он попытался его "размыть", создавая такие же эффекты, словно объект под водой. 

Во втором случае он тоже посчитал, что объект "под водой", поэтому команды "вперед" и "идет на нас" он воспринял как "всплытие" и "подъем вверх".

Также нужно отметить, что нейросеть Леонардо обращает внимание на (существительные). Похоже в нейросети есть встроенные фильтры на конкретные ситуации. Например, Spirts of Forest. Если в подсказке сравнить их со звездами, то они начнут мерцать.

• Необходимо учитывать и то, что происходит в сцене, чтобы она работала корректно. Если подсказка не будет содержать ни похожего описания для сцены, ни встроенных фильтров Леонардо, подходящих под ситуацию, то вся сцена просто "замрет" и будет статичной. Поэтому необходимо писать о том, что есть на сцене при составлении новой подсказки. 

У Леонардо нет поддержки фигуры, с которой он работает. Поэтому он очень быстро теряет объект, или образ при анимации. Однако, возможно, утверждать, что замена подсказки картинки, влияет на поведение объекта. Так, например, She like forest around. Заставил Девушку на изображении взаимодействовать с окружением. Однако Леонардо быстро потерял такой образ в сцене, как "девушка", поскольку не умеет с ними работать.

• Как вывод: Замена подсказки к картинке влияет и на поведение объекта на изображении. В первую очередь глаголы. Во вторую встроенные установки. (Например Spirits of forest)

P.s. Я пока не смог создать "объект" входящий в кадр. Такой, чтобы не было ничего подобного в самой сцене до того. 

Однако вот эта иллюстрация показывает, что введение объекта в сцену возможно с более низким качеством:

Здесь появляется солдат из-за спин других бойцов в замыленном виде. Раньше он в сцене не присутствовал. Однако на данном изображении все объекты являются "солдатами". И, например, добавить "птицу", "лошадь" и т. д. у меня пока не вышло. Также хочется отметить, что у бойца за спинами на оригинальном изображении было видно его часть, а именно фрагмент ноги.

Если я смогу ввести новое изображение в сцене. То я дополню эту статью.