Нейросети и прочие ИИ

какая скорость у тебя в Forge-StableDif_1.8 с такими настройками: ?

--- добавлено 6 июн 2024, предыдущее сообщение размещено: 6 июн 2024 ---

у меня только 1 ядро цп загружается:

 

@Ogr 2, у тебя модель почти в 3 раза меньше занимает памяти, у меня так

Код:

[Memory Management] Current Free GPU Memory (MB) =  4321.6533203125
[Memory Management] Model Memory (MB) =  4897.086494445801
[Memory Management] Minimal Inference Memory (MB) =  1024.0
[Memory Management] Estimated Remaining GPU Memory (MB) =  -1599.4331741333008
[Memory Management] Requested SYNC Preserved Memory (MB) =  2536.6563997268677
[Memory Management] Parameters Loaded to SYNC Stream (MB) =  2360.397346496582
[Memory Management] Parameters Loaded to GPU (MB) =  2536.6510009765625

Почему свободной 4321, а не 6144? Без понятия)

 

@Forgettable, Ну так сколько у тебя времени занимает генерация сд1,5 в 512 ха 512 на 24 шага?

 

@Ogr 2, точно не помню, т.к. давно снес, но очень быстро это было

Выше я скинул потребление у AutismMix_confetti

 

Судя по размеру, эта модель SDxl, Что там у тебя с ними ты и так рассказал. Смысл в том, чтобы посмотреть что у тебя со скоростью генерации на SD1,5.

 

Так мне нафик не нужен SD 1.5, зачем мне это смотреть. Могу и так сказать, что генерились они в разы быстрее.

 

@Forgettable,

--- добавлено 6 июн 2024, предыдущее сообщение размещено: 6 июн 2024 ---

6гб модель - Pony Diffusion V6 XL:

Код:

[Memory Management] Current Free GPU Memory (MB) =  4699.62939453125
[Memory Management] Model Memory (MB) =  4897.086494445801
[Memory Management] Minimal Inference Memory (MB) =  1024.0
[Memory Management] Estimated Remaining GPU Memory (MB) =  -1221.4570999145508
[Memory Management] Requested SYNC Preserved Memory (MB) =  2827.4072265625
[Memory Management] Parameters Loaded to SYNC Stream (MB) =  2069.6771240234375
[Memory Management] Parameters Loaded to GPU (MB) =  2827.371223449707
Moving model(s) has taken 0.66 seconds
100%|██████████████████████████████████████████████████████████████████████████████████| 24/24 [00:25<00:00,  1.04s/it]

 

Попробовал выставить все галки в "Never OOM" (предположу, что это переводится как out of memory):



Видеокарта перестала использоваться практически полностью, что в плане ГП, что в плане VRAM. Все пошло в проц+озу.

Время генерации не поменялось)

 

Диспетчер задач общую загрузку видеокарты показывает через ж,— то загружена при генерации, то нет. Нужно смотреть на график загрузки куда ядер.

и у тебя почему то при генерации сжирает 90% процессора, хотя должен только один поток использовать.

--- добавлено 6 июн 2024, предыдущее сообщение размещено: 6 июн 2024 ---

посмеялся:

Vasya Lozhkin style (Pony/1.5) - Lozhkin_Pony_v1.0 | Stable Diffusion LoRA | Civitai

 

@Ogr 2, видел его тут))

 

Ну зачем же сразу так фейспалмить? Ну неправильно понял вас. Я просто подумал, что это какая-то версия "облегченная" для не самого мощного железа, подумал, что там взяли Stable Diffusion версии 1.x (думал, может менее требовательная). А вы оказывается имели в виду, что владельцам не самого мощного железа просто не стоит расчитывать на модели новее 1.x.

Я так понял, что оно и актуальные версии поддерживает? Для использования на арендованном компьютере этот Forge тоже можно использовать? Точнее понятно, что работать будет, я имею в виду, не хуже "оригинального" Stable Diffusion? Я имею в виду не скорость работы, а совместимость, качество результата.

 

Часть плагинов Для автоматика 1111 не работают.

Нет.

 

Ну конечно же не будет.

Потому что в принципе ни одно изображение в мире любого вообще происхождения даже теоретически не может выйти за рамки такого запроса.

 

Сарказм засчитан.

 

Прописал кузнице в webui-user.bat использование 8-битных чисел с плавающей точкой (для VAE доступны только 16-битные)

Результат наглядно: --all-in-fp16 для сравнения: --all-in-fp32 для сравнения:

Либо, сравнение в цифрах с тем, что было раньше:
- нагрузка на цп снизилась со 100% с короткими паузами до стабильной 20%
- нагрузка на гп снизилась с 70-80% с короткими паузами до стабильной 0%
- нагрузку на ядра cuda у видюхи ранее не замерял, но теперь она стабильно 100%
- потребление оперативной памяти упало раза в 4 (учитывая то, что ранее сбрасывалось в файл подкачки)
- потребление видеопамяти упало до 4 гб для SDXL/Pony (не знаю со скольки, т.к. ранее она добиралась из оперативной)
- скорость генерации выросла на 20%

Код:

Begin to load 1 model
[Memory Management] Current Free GPU Memory (MB) =  4708.2138671875
[Memory Management] Model Memory (MB) =  2448.5623207092285
[Memory Management] Minimal Inference Memory (MB) =  1024.0
[Memory Management] Estimated Remaining GPU Memory (MB) =  1235.6515464782715
Moving model(s) has taken 3.47 seconds
100%|██████████████████████████████████████████████████████████████████████████████████| 20/20 [01:27<00:00,  4.38s/it]
To load target model AutoencoderKL█████████████████████████████████████████████████████| 20/20 [01:23<00:00,  4.40s/it]
Begin to load 1 model
[Memory Management] Current Free GPU Memory (MB) =  4707.7314453125
[Memory Management] Model Memory (MB) =  159.55708122253418
[Memory Management] Minimal Inference Memory (MB) =  1024.0
[Memory Management] Estimated Remaining GPU Memory (MB) =  3524.174364089966
Moving model(s) has taken 0.15 seconds
Total progress: 100%|██████████████████████████████████████████████████████████████████| 20/20 [01:35<00:00,  4.76s/it]
Total progress: 100%|██████████████████████████████████████████████████████████████████| 20/20 [01:35<00:00,  4.40s/it]

Для 6 ГБ видеопамяти это, похоже, единственный возможный вариант оптимизации, поскольку
--unet-in-fp8-e4m3fn, --clip-in-fp8-e4m3fn и --all-in-fp16 просто не работают, на выходе получаются черные квадраты
--cuda-stream, --pin-shared-memory и --cuda-malloc либо выдают ошибку при генерации, либо сильно замедляют ее

Причем! Это так же повлияло на качество генерации, по сравнению с --all-in-fp32 стало намного лучше. Черная магия.

 

у меня там только такое: set "COMMANDLINE_ARGS= --opt-sdp-attention --upcast-sampling --no-hashing --always-batch-cond-uncond --medvram --api"

 

@Ogr 2, он игнорирует все или почти все эти команды, в инструкции написано

 

Похоже это я из автоматика строку туда скопировал, только "--api" не работал.

Сдхл и лора на персонажа, полчаса ковырял промт с 2 изображений на чивитаи, лучшее что удалось получить:

сд1,5, без лор и ковыряние чужих промтов:

это я к тому, что сдхл модели не панацея.

 

@Ogr 2, а что за модели ты использовал? Сама по себе Pony Diffusion довольно бестолковая

 

она.