Новая нейросетка которая реально могЁт!
Автор: Григорий СемухДошли наконец у меня руки до новой нейросетки, или точнее, модели - Flux. Ну как новой, она релизнулась уже давно просто все никак времени не хватало за нее сесть. Все советуют, называют прям убийцей миджорни. Протестил. Что могу сказать - мое почтение.
Парочка картинок для затравки:
Качаем - весит модель 30 гигов почти. Устанавливаем, запускаем. Штуковина могЁт! Одна универсальная модель которая умеет рисовать все, в отличии от стандартного стейбла, теперь не надо хранить десятки моделей под разные стили.
Безусловно в обычном Stable Diffusion есть универсальные модели которые могут рисовать все, вот только как правило они, это все, рисуют одинаково плохо. Под каждый стиль и задачу лучше иметь свою модель да еще и вагон лор. А тут - все в одном.
Модель умеет в разнообразие - и фотореализм, и диджитал арт, и аниме.
Хотите мрачный арт с мужиком на мотоцикле, с собакой, уезжающими от толпы зомби? Легко.
Может вы хотите котика и собачку на ринге в боксерских перчатках? Тоже запросто.
Ну что там? Давайте по предметной съемке так сказать. Бутылка с морем и кораблем внутри. Тоже без проблем.
Давайте что-нибудь поинтереснее. Например антропоморфная свинья в шляпе и с гитарой, сидит оперевшись на стену амбара, рядом с ней поросенок.
(UPD: мне сказали что свинья с гитарой похожа на корову, делаю более свинястой)
Шиба в свитере, в кинотеатре с ведром попкорна.
Ну или совсем уж что-то непривычное, например как вам "таракан в кресле с гитарой, рядом с ним муха с барабаном"
Красота. Что еще? Два паука в шляпках пьют чай.
А если попросим сетку сделать их чуть-чуть милее?
Счастливый бульдог в кожаной куртке, в баре, с бургером
Немножко психоделики какой-нибудь тоже можно. Обратите внимание - в белом и зеленом чайниках, видно отражение желтой вазы, модель хорошо работает с освещением и отражением:
Какой-то заточки под задачу у базовой модели Flux нет, и она может рисовать в общем-то все. Но самое главное, это понимание сложного промпта. В нее встроен какой-то интерпретатор типа GPT, и она понимает человеческий язык.
Flux хорошо понимает описания, умеет работать с несколькими объектами, и теперь сложные картинки реально можно рисовать только по текстовому промпту без плясок с бубном.
Давайте для примера. Вот нужна мне картинка для книги, стоит конкретная задача - мужик в кожаном плаще, без рукавов, на плече ворон, рядом пантера. В целом несложно, миджорни например такой промпт вполне съест, но вот если мы попробуем загнать его в народный Stable Diffusion, в любую в общем-то модель, то скорее всего получится что-то такое:
Или такое:
В общем базовые модельки SD с несколькими объектами, особенно если это не люди, справляются с трудом.Тем более когда их надо выстроить в нужных местах и позах. Сложный промпт сваливается в кучу и превращается в месиво и чтобы нарисовать простую, в общем-то, картинку - мужик, рядом с ним пантера а на плече ворон - придется как следует подзаебаться.
Есть ухищрения для сложных промптов - объекты рисуются по отдельности и контролнетом совмещаются.
Отдельного персонажа стейбл нарисует без проблем:
Потом все это дело мы переводим в лайнарт:
А затем совмещаем уже руками, благо с лайнартом это не сложно, да и дорисовать недостающее или убрать лишнее - не проблема.
Просто грубо соединяем все особо не заморачиваясь, нейросеть сама все дорисует. Дальше готовим маску для промпта - просто вот такая мазня из цветных пятен которая примерно показывает кто где находится:
И теперь мы можем для каждого цветового пятна прописать отдельный промпт.
Запускаем, генерируем, ну и получаем что-то типа такого:
Вороны задублировались, нога потерялась, но это не беда. В целом база есть. Есть с чем работать. Картинку апскейлим, перебрасываем в инпаинт и там уже по кусочку, выделяя отдельно каждый объект, дорабатываем и конкретику прорисовываем. Не то чтобы сложно но надо немного приложить усилий и потратить немного времени. Сейчас доделывать ее не стану, не о том речь.
Но все меняется когда мы используем Flux.
Просто пишем текст который нужен и вуаля!
И ничего делать не надо! Никакой ебли с контролнетом, масками, инпаинтом. Вообще ничего. Просто человеческим языком пишешь что хочешь получить и оно рисует.
Все делается только текстом, моделька прекрасно понимает что от нее надо, ну конечно же рисует оно во всех стилях, отдельные модели для реализма и рисованного арта, или лоры для стилей не нужны - просто текст:
Сетка умеет врисовывать в картину еще и текст если надо, но работает только на латиннице, с кириллицей не сработало.
Что еще? Ну да, иногда при очень сложном промпте, например когда я попытался добавить к мужику с пантерой и вороном еще и телку (при этом еще подробно описывая каждого, одежду позу цвет волос и тд.) сетка срывается и выдает что-то такое:
Но это нечасто. В остальном же - выше всяких похвал. Ах да, еще она вполне адекватно рисует пальцы!
Ну что, еще несколько сложных картинок напоследок?
Собака алкашка в тельняшке, с бутылкой коньяка и закуской на газетке:
Или вот, мужик медуза-горгона, со змеями вместо усов и бороды:
Девочек тоже рисовать умеет
Хотя какая-то цензура там есть и нейросеть всеми силами пытается от совсем уж голой натуры уходить, но думаю умельцы это скоро поправят - Flux все таки опенсорсная и для нее уже пилят лоры.
В общем Flux одобряю. Мастхэв. Теперь каждый может делать себе какие угодно картинки, если у него конечно, есть мощный комп - видюху штука жрет аки конь, рекомендуется хотя бы 12 гигов. Но можно взять в аренду - пары долларов хватает чтобы засесть за рисование картинок на вечер.
PS: ссылочки забыл добавить.
Если у вас комп с видюхой ну хотя бы от восьми гигов - ставьте локально. Рисовать будет неторопливо но бесплатно. Вот тут чувак в видео подробно рассказывает как скачать и установить: https://youtu.be/r6bu2LNjMQ8 объясняет лучше чем я, так что просто ссылку оставлю и не буду пересказывать.
Если комп не шибко мощный - то тут только арендовать мощности. Лучше именно арендовать видеокарту а не покупать подписку на разных сайтах которые именно картинки рисуют, дешевле получится. Вот здесь ролик, там довольно подробно рассказано про один из сервисов для аренды видеокарты: https://youtu.be/D2uQufx3W94 платить правда надо забугорной картой или криптой, но мне кажется уже все обзавелись казахской банковской картой и криптокошельком(если нет то блин, почему до сих пор нет?).