Генерация картинок с помощью Amuse на старых видеокартах AMD изначально для того не предназначенных

Я попросил чат жпт сгенерировать мне промт который должен был привести к созданию  похожего изображения на моих шторах. Карта будет использоваться AMD Radeon VII от компании HIS

Промт:

A serene lake in a forest at the foot of majestic mountains, during summer at sunset — golden light, soft diffuse lighting, reflections on the water, mist hovering above the lake, lush trees, wild plants, peaceful atmosphere, realistic, high resolution, detailed nature, cinematic style, magical light, volumetric lighting, masterpiece, ultra-detailed

Использовать будем модель DreamShaper lightinig с требованиями от 6 до 12 (минимально было 7,5 Gb видео памяти).

По факту использовано будет ещё больше, даже при выставленных минимальных границах - при указанных исходных 9,3 Gb(которые получаются при установке более высокого разрешения или подгрузке дополнительных модулей) возникает ошибка

Данная ошибка не является критической, просто придётся перезагрузить модель.

Настройки генерации, предложенные чатом:  

CFG Scale: 7-10 (для лучшего контроля деталей)
Sampling Steps: 50-75 (можно настроить в зависимости от требуемого качества)
Negative Prompts: blurry, overexposed, cartoonish, low resolution"

Планировщик: Для Amuse 3.1.0 с DreamShaper ты можешь использовать несколько разных планировщиков (Schedulers) для получения разных эффектов и уровней детализации. Вот несколько популярных вариантов, которые стоит рассмотреть:

1. Euler a
Подходит для: Стандартных изображений, хорош для детализированных пейзажей.
Преимущества: Хорошо сохраняет детали при среднем числе шагов. Быстрый и с хорошими результатами для природы.
Рекомендации: Если хочешь быстрый рендер и качественное изображение.

2. LMS (Laplacian Pyramid Sampling)
Подходит для: Тонких текстур и детализации, особенно для тонких градиентов света, как в закате/рассвете.
Преимущества: Отлично работает с мягкими переходами цвета и светом, что идеально для пейзажей с освещением.
Рекомендации: Когда хочешь получать более плавные градиенты и мягкие текстуры.

3. DPM++ 2M Karras
Подходит для: Очень детализированных, высококачественных изображений с сложным освещением.
Преимущества: Высокая детализация, особенно в темных и светлых участках изображения. Используется для сложных сцен с природными текстурами.
Рекомендации: Если тебе важна каждая деталь, особенно в сложных освещенных сценах, таких как закат или рассвет.

4. DDIM (Denoising Diffusion Implicit Models)
Подходит для: Быстрого рендеринга с хорошим качеством.
Преимущества: Быстрое генерирование с хорошими деталями, позволяет получить хорошее качество за меньшее время.
Рекомендации: Если важна скорость и хорошее качество для простых пейзажей.
Рекомендации по количеству шагов:
Шаги: Начни с 50-75, если хочешь получить хорошо прорисованные детали без излишней переработки.
CFG Scale: Для контроля композиции (7-10), чтобы обеспечить баланс между свободой генерации и точностью.

Итог: Для простого, быстрого рендера: Euler a или DDIM.
Для сложных, детализированных изображений: DPM++ 2M Karras или LMS.

На первом этапе я оставил Sampling Steps по дефолту на 8, а Scale установил как 8. Планировщик был выбран Euler ancestral + Karras

Стартовое разрешение 768*512

Не самое удачное изображение.

Потом я постепенно менял Scale с шагом 1 в сторону уменьшения

Scale 7 дал почти такое же изображение, мало похожее на натуральное

6 Всё ещё слишком не естественные цвета, но уже лучше

5 Уже можно счесть удачным результатом

4

3

2

1 

При Scale 1 исчезает меню негативного промта.

Далее я повышал количество Steps с 8 до 20 с шагом в 2

Steps 10

Впоследствии я стал опять повышать Scale и пробовать количество шагов 50/70 и разные планировщики из числа упомянутых и некоторые другие(LMS, LCM, DDPM, DDIM)

А вот такую картинку можно получить если попытаться использовать промт на языке который модель не особо понимает:

"озеро в лесу у подножья гор, летним вечером на закате (или рассвете) — золотой свет, мягкое рассеянное освещение, отражения в воде, туманная дымка над водой, густые деревья, дикие растения, спокойная атмосфера, реалистично, высокое разрешение, детализированная природа, глубина, кинематографический стиль, волшебный свет, volumetric lighting, masterpiece, ultra detailed"

На мой взгляд Euler ancestral + Karras показал лучшие результаты при условии, что Scale равно 1 или меньше или равно пяти, а Steps меньше или равно 40.

Уже почти нажав опубликовать я вспомнил про наличие функции расширения видеопамяти у видеокарт с памятью HBM2 и решил попробовать этот режим и замахнутся на модели, которые заведомо требуют больше 16Gb

Увы, но обмануть нейросеть у меня удалось лишь частично: интерфейс Amuse отобразил имеющиеся 24Gb и всё работало прекрасно на моделях до 16 Gb, но когда я перешёл к более тяжёлым приложениям, то выяснилось, что добавить 8Gb к видеокарте означало отобрать 8Gb у оперативной памяти и как хорошо известно оперативную память нейросети кушают очень хорошо и соответственно  система встала клином, несмотря на допуск по видеопамяти. Использование модели которая требует чуть меньше, чем не оптимизированный под AMD Stable Cascade, качественного результата увы не дала. В общем эксперимент придётся отложить до лучших времён, когда я добавлю на старую систему ещё пару планок оперативной памяти.