Продолжим по нейронкам

Ну что ж, если кому были интересны мои вчерашние размышления в отношении работы с нейронками, рискну продолжить поднятую тему. Сегодня хочу коснуться различий основных нелокальных нейросетей для изображений и видео.

1. Midjorney. Специализация данной НС: художественные изображения, концепт-арт, атмосферные сцены.

Её сильные стороны — красивый свет и композиции, кинематографичность, отличное восприятие промптов в стиле фэнтези и научной фантастики (как сейчас модно сокращать — sci-fi).

Слабые стороны: плохо воспринимает референсы, в связи с чем плохой контроль персонажа между кадрами. Совершенно дурацкие фильтры и ограничения. Работает через Discord/веб.

Лучше всего использовать для создания обложек, артов, фэнтезийных и sci-fi иллюстраций.

2. Runway. Специализируется в создании AI– видео. К сильным сторонам стоит отнести удобный интерфейс, хорошее движение камеры, возможность создания в связке изображение-видео (image-to-video). Является одним из лучших сервисов, обеспечивающих связку текстовый промпт — видео (text-to-video)

Слабые стороны: ограничения по генерациям в подписке. Иногда «плывёт» анатомия создаваемых персонажей.

Лучше всего использовать лля создания буктрейлеров, коротких сцен, кинематографичных роликов.

3. Kling АI. Социализация — реалистичное AI-видео. К сильным сторонам стоит отнести естественную физику движений персонажа, неплохую лицевую анимацию и высокую кинематографичность.

Слабые стороны: нестабильный доступ, большие очереди на генерацию после её активации, плохо контролирует сцену. При этом в процессе продления видео может самопроизвольно менять внешность персонажа, не придерживаясь предложенного референса.

Лучше всего использовать при создании эмоциональных сцен, анимации персонажей посредством коротких роликов с последующем сведении на монтажном столе, реалистичных видео.

4. Pika Labs. Специализация: простая генерация видео. Эта НС может привлечь быстротой, удобством для новичков и неплохим уровнем оживления простых картинок.

Слабые стороны: слабое качество по сравнению с Runway или Kling, реализм на самом низком уровне. Добавлю, что на основе своего личного опыта, больше никогда не свяжусь с этой нейронкой. Она плевать хотела на промпт и при оживлении картинки «творит, что хочет».

Но если вы готовы рискнуть, то лучше всего использовать для мемов, коротких простых анимаций, тестирования сцен.

5. Luma AI Dream Machine. Специализация: создание кинематографического видео. К сильным сторонам можно отнести плавное движение камеры, корректные переходы между кадрами, кинематографичность.

Слабые стороны: нестабильность персонажей, ограниченный контроль (может и «отсебятину» преподнести).

Лучше всего: атмосферные ролики, sci-fi, трейлерные кадры.

6. Leonardo AI. Специализация: изображения и игровые ассеты. К сильным сторонам отнесу удобство создания консистентного персонажа, множество предлагаемых стилей. В управлении проще, чем Midjorney.

Слабые стороны: художественно уступает Midjorney, а также требует оплаты за предоставления части функций.

Лучше всего: персонажи, иллюстрации, игровые концепты.

7. Adobe Firefly. Сильные стороны — интеграция с Photoshop, хорош для графического дизайна. Слабые стороны: хуже для «творческих» артов, слаб в атмосферности и драме.

Лучше всего: постеры, реклама, оформление.

8. Google Flow/Veo. Специализация: кинематографичное AI-видео. Сильные стороны — хорошее понимание сцены и физика движения персонажей. Неплохо подставляет диалоги по промпту, создаёт видео в стиле кинопостановки.

Слабые стороны: совершенно идиотские, параноидальные цензурирующие фильтры, нестабильный доступ и предынфарктное состояние промпт-инженера при попытке создания «пограничных» сцен. Вчера получил отказ в генерации мыши из-за того, что указал в промпте создать «в стиле Дисней». Так и не смог добиться генерации мокрой майки у персонажа, прилипшей к телу.

Лучше всего: кинематографические ролики и sci-fi сцены.

Как итог:

1. Изображения:

— Midjourney — самый красивый арт;

— Leonardo — лучший баланс контроля и качества;

— Firefly — коммерческий дизайн.

2. Видео:

— Kling — реализм;

— Runway — универсальность;

— Flow/Veo — кинематографичность;

— Luma — атмосферные видео.

Для авторов книг наилучший вариант:

1. Midjourney/Leonardo — иллюстрации.

2. Runway/Kling/Flow — буктрейлеры и сцены.

Если нашли для себя хоть что-то полезное — ставьте палец вверх. Этим вы поощрите автора продолжить изыскания и поделиться их результатами с Вами, дорогие друзья, подписчики и читатели, заглянувшие «на огонёк»…