Нейросети и прочие ИИ

Попробовал stable-diffusion.cpp (SD на C++)

1. Модель прогружалась несколько минут
2. Генерация в 50 раз медленнее webui-forge
3. По итогу она выжрала всю vram и вылетела

Не знаю, чем, но она мне напомнила ReactOS)

И еще, у меня в форже начали работать параметры запуска --unet-in-fp8-e4m3fn и --clip-in-fp8-e4m3fn, раньше они выдавали черные квадраты, в отличии от --unet-in-fp8-e5m2 и --clip-in-fp8-e5m2. Я бы не сказал, что они выдают результаты лучше, пока еще нормально не тестировал. Но похоже, что видеопамяти они требуют больше, моих 6 ГБ не хватает на 6 одновременных картинок с fp8_e4m3fn, в отличии от fp8_e5m2.

А я, тем временем, все жду, когда в sd зайдут fp4, тогда его вообще можно будет на любом валенке запускать. И еще я до сих пор не понял, почему все эти минифлоаты не являются примером мема "зумеры изобрели". Ну, типа, в чем сакральный смысл чисел с плавающей запятой, почему нельзя использовать целочисленные. Согласно википедии, fp8_e4m3fn, занимающий байт, вмещает в себя 241 значение (исключая 14 NaN и ноль с другим знаком), тогда как обычный байт вмещает в себя 255 значений. Так чем же fp8 лучше?

 

FP8: Efficient model inference with 8-bit floating point numbers

 

Offtop

На самом деле, "обычный" байт вмещает в себя 256 значений. А вот самое большое число, "помещающееся" в один "обычный" байт - действительно, 255. Беззнаковое, разумеется. Конечно, это только тем, кто знакОм с программированием режет глаз, а всем остальным до лампочки такие тонкости .

 

Понял.

Да, конечно, это просто описка была.

 

Что-то у меня никак не хочет работать ControlNet. Я уже писал про это, но наверно на это никто не обратил внимание. Пишет "TypeError: 'NoneType' object is not iterable". Кто-нибудь может подсказать, в чем может быть проблема?

 

Эта ошибка означает, что нужно заглянуть в консоль и найти реальную ошибку там.

P.S. Я так и не понял, что делает ControlNet, кто разбирается, объясните, плиз)

 

Там слишком много всего. Forge куда-то какой-нибудь лог ведет?

Там как минимум можно получить более предсказуемый результат. Знаю, что можно при помощи него добиться определенной позы, можно создать изображение по наброску. По идее, наверно его можно заставить переделать и готовое изображение. Как мне кажется, для моих целей он крайне важен.

 

В консоль он его ведет... У меня ни разу не было проблемы найти там ошибку, когда она вылезала в веб-интерфейсе

 

So, suno!
Голодомор by @fathomlessbassline993 | Suno
(на самую злободневную главную тему человечества - ютуб и иже с ними :-)

 

Вот, что в консоли.

Traceback (most recent call last):
File "C:\Users\user\Desktop\webui_forge_cu121_torch21\webui\modules_forge\main_thread.py", line 37, in loop
task.work()
File "C:\Users\user\Desktop\webui_forge_cu121_torch21\webui\modules_forge\main_thread.py", line 26, in work
self.result = self.func(*self.args, **self.kwargs)
File "C:\Users\user\Desktop\webui_forge_cu121_torch21\webui\modules\txt2img.py", line 111, in txt2img_function
processed = processing.process_images(p)
File "C:\Users\user\Desktop\webui_forge_cu121_torch21\webui\modules\processing.py", line 752, in process_images
res = process_images_inner(p)
File "C:\Users\user\Desktop\webui_forge_cu121_torch21\webui\modules\processing.py", line 922, in process_images_inner
samples_ddim = p.sample(conditioning=p.c, unconditional_conditioning=p.uc, seeds=p.seeds, subseeds=p.subseeds, subseed_strength=p.subseed_strength, prompts=p.prompts)
File "C:\Users\user\Desktop\webui_forge_cu121_torch21\webui\modules\processing.py", line 1275, in sample
samples = self.sampler.sample(self, x, conditioning, unconditional_conditioning, image_conditioning=self.txt2img_image_conditioning(x))
File "C:\Users\user\Desktop\webui_forge_cu121_torch21\webui\modules\sd_samplers_kdiffusion.py", line 251, in sample
samples = self.launch_sampling(steps, lambda: self.func(self.model_wrap_cfg, x, extra_args=self.sampler_extra_args, disable=False, callback=self.callback_state, **extra_params_kwargs))
File "C:\Users\user\Desktop\webui_forge_cu121_torch21\webui\modules\sd_samplers_common.py", line 263, in launch_sampling
return func()
File "C:\Users\user\Desktop\webui_forge_cu121_torch21\webui\modules\sd_samplers_kdiffusion.py", line 251, in <lambda>
samples = self.launch_sampling(steps, lambda: self.func(self.model_wrap_cfg, x, extra_args=self.sampler_extra_args, disable=False, callback=self.callback_state, **extra_params_kwargs))
File "C:\Users\user\Desktop\webui_forge_cu121_torch21\system\python\lib\site-packages\torch\utils\_contextlib.py", line 115, in decorate_context
return func(*args, **kwargs)
File "C:\Users\user\Desktop\webui_forge_cu121_torch21\webui\repositories\k-diffusion\k_diffusion\sampling.py", line 145, in sample_euler_ancestral
denoised = model(x, sigmas * s_in, **extra_args)
File "C:\Users\user\Desktop\webui_forge_cu121_torch21\system\python\lib\site-packages\torch\nn\modules\module.py", line 1518, in _wrapped_call_impl
return self._call_impl(*args, **kwargs)
File "C:\Users\user\Desktop\webui_forge_cu121_torch21\system\python\lib\site-packages\torch\nn\modules\module.py", line 1527, in _call_impl
return forward_call(*args, **kwargs)
File "C:\Users\user\Desktop\webui_forge_cu121_torch21\webui\modules\sd_samplers_cfg_denoiser.py", line 182, in forward
denoised = forge_sampler.forge_sample(self, denoiser_params=denoiser_params,
File "C:\Users\user\Desktop\webui_forge_cu121_torch21\webui\modules_forge\forge_sampler.py", line 88, in forge_sample
denoised = sampling_function(model, x, timestep, uncond, cond, cond_scale, model_options, seed)
File "C:\Users\user\Desktop\webui_forge_cu121_torch21\webui\ldm_patched\modules\samplers.py", line 289, in sampling_function
cond_pred, uncond_pred = calc_cond_uncond_batch(model, cond, uncond_, x, timestep, model_options)
File "C:\Users\user\Desktop\webui_forge_cu121_torch21\webui\ldm_patched\modules\samplers.py", line 252, in calc_cond_uncond_batch
c['control'] = control.get_control(input_x, timestep_, control_cond, len(cond_or_uncond))
File "C:\Users\user\Desktop\webui_forge_cu121_torch21\webui\ldm_patched\modules\controlnet.py", line 235, in get_control
control_prev = self.previous_controlnet.get_control(x_noisy, t, cond, batched_number)
File "C:\Users\user\Desktop\webui_forge_cu121_torch21\webui\ldm_patched\modules\controlnet.py", line 273, in get_control
control = self.control_model(x=x_noisy.to(dtype), hint=self.cond_hint.to(self.device), timesteps=timestep.float(), context=context.to(dtype), y=y)
File "C:\Users\user\Desktop\webui_forge_cu121_torch21\system\python\lib\site-packages\torch\nn\modules\module.py", line 1518, in _wrapped_call_impl
return self._call_impl(*args, **kwargs)
File "C:\Users\user\Desktop\webui_forge_cu121_torch21\system\python\lib\site-packages\torch\nn\modules\module.py", line 1527, in _call_impl
return forward_call(*args, **kwargs)
File "C:\Users\user\Desktop\webui_forge_cu121_torch21\webui\ldm_patched\controlnet\cldm.py", line 305, in forward
h = module(h, emb, context)
File "C:\Users\user\Desktop\webui_forge_cu121_torch21\system\python\lib\site-packages\torch\nn\modules\module.py", line 1518, in _wrapped_call_impl
return self._call_impl(*args, **kwargs)
File "C:\Users\user\Desktop\webui_forge_cu121_torch21\system\python\lib\site-packages\torch\nn\modules\module.py", line 1527, in _call_impl
return forward_call(*args, **kwargs)
File "C:\Users\user\Desktop\webui_forge_cu121_torch21\webui\ldm_patched\ldm\modules\diffusionmodules\openaimodel.py", line 74, in forward
return forward_timestep_embed(self, *args, **kwargs)
File "C:\Users\user\Desktop\webui_forge_cu121_torch21\webui\ldm_patched\ldm\modules\diffusionmodules\openaimodel.py", line 55, in forward_timestep_embed
x = layer(x, context, transformer_options)
File "C:\Users\user\Desktop\webui_forge_cu121_torch21\system\python\lib\site-packages\torch\nn\modules\module.py", line 1518, in _wrapped_call_impl
return self._call_impl(*args, **kwargs)
File "C:\Users\user\Desktop\webui_forge_cu121_torch21\system\python\lib\site-packages\torch\nn\modules\module.py", line 1527, in _call_impl
return forward_call(*args, **kwargs)
File "C:\Users\user\Desktop\webui_forge_cu121_torch21\webui\ldm_patched\ldm\modules\attention.py", line 620, in forward
x = block(x, context=context, transformer_options=transformer_options)
File "C:\Users\user\Desktop\webui_forge_cu121_torch21\system\python\lib\site-packages\torch\nn\modules\module.py", line 1518, in _wrapped_call_impl
return self._call_impl(*args, **kwargs)
File "C:\Users\user\Desktop\webui_forge_cu121_torch21\system\python\lib\site-packages\torch\nn\modules\module.py", line 1527, in _call_impl
return forward_call(*args, **kwargs)
File "C:\Users\user\Desktop\webui_forge_cu121_torch21\webui\ldm_patched\ldm\modules\attention.py", line 447, in forward
return checkpoint(self._forward, (x, context, transformer_options), self.parameters(), self.checkpoint)
File "C:\Users\user\Desktop\webui_forge_cu121_torch21\webui\ldm_patched\ldm\modules\diffusionmodules\util.py", line 194, in checkpoint
return func(*inputs)
File "C:\Users\user\Desktop\webui_forge_cu121_torch21\webui\ldm_patched\ldm\modules\attention.py", line 547, in _forward
n = self.attn2(n, context=context_attn2, value=value_attn2, transformer_options=extra_options)
File "C:\Users\user\Desktop\webui_forge_cu121_torch21\system\python\lib\site-packages\torch\nn\modules\module.py", line 1518, in _wrapped_call_impl
return self._call_impl(*args, **kwargs)
File "C:\Users\user\Desktop\webui_forge_cu121_torch21\system\python\lib\site-packages\torch\nn\modules\module.py", line 1527, in _call_impl
return forward_call(*args, **kwargs)
File "C:\Users\user\Desktop\webui_forge_cu121_torch21\webui\ldm_patched\ldm\modules\attention.py", line 391, in forward
k = self.to_k(context)
File "C:\Users\user\Desktop\webui_forge_cu121_torch21\system\python\lib\site-packages\torch\nn\modules\module.py", line 1518, in _wrapped_call_impl
return self._call_impl(*args, **kwargs)
File "C:\Users\user\Desktop\webui_forge_cu121_torch21\system\python\lib\site-packages\torch\nn\modules\module.py", line 1527, in _call_impl
return forward_call(*args, **kwargs)
File "C:\Users\user\Desktop\webui_forge_cu121_torch21\webui\ldm_patched\modules\ops.py", line 98, in forward
return super().forward(*args, **kwargs)
File "C:\Users\user\Desktop\webui_forge_cu121_torch21\system\python\lib\site-packages\torch\nn\modules\linear.py", line 114, in forward
return F.linear(input, self.weight, self.bias)
RuntimeError: mat1 and mat2 shapes cannot be multiplied (77x2048 and 768x320)
*** Error completing request
*** Arguments: ('task(2e09n531r6v4a7b)', <gradio.routes.Request object at 0x0000023002A30520>, '1girl, solo,\nmanaka laala, pripara, hair bow,\nidol dress, twintails,\nv, smile,\n<loraonyxl_character-laala:1>', 'monochrome', [], 25, 'Euler a', 1, 1, 7, 1280, 1024, False, 0.7, 2, 'Latent', 0, 0, 0, 'Use same checkpoint', 'Use same sampler', '', '', ['Token merging ratio: 0.5', 'Eta: 0.0', 'VAE: sdxl_vae.safetensors'], 0, False, '', 0.8, 2555042787, False, -1, 0, 0, 0, False, False, {'ad_model': 'face_yolov8n.pt', 'ad_model_classes': '', 'ad_tab_enable': True, 'ad_prompt': '', 'ad_negative_prompt': '', 'ad_confidence': 0.3, 'ad_mask_k_largest': 0, 'ad_mask_min_ratio': 0, 'ad_mask_max_ratio': 1, 'ad_x_offset': 0, 'ad_y_offset': 0, 'ad_dilate_erode': 4, 'ad_mask_merge_invert': 'None', 'ad_mask_blur': 4, 'ad_denoising_strength': 0.4, 'ad_inpaint_only_masked': True, 'ad_inpaint_only_masked_padding': 32, 'ad_use_inpaint_width_height': False, 'ad_inpaint_width': 512, 'ad_inpaint_height': 512, 'ad_use_steps': False, 'ad_steps': 28, 'ad_use_cfg_scale': False, 'ad_cfg_scale': 7, 'ad_use_checkpoint': False, 'ad_checkpoint': 'Use same checkpoint', 'ad_use_vae': False, 'ad_vae': 'Use same VAE', 'ad_use_sampler': False, 'ad_sampler': 'DPM++ 2M Karras', 'ad_scheduler': 'Use same scheduler', 'ad_use_noise_multiplier': False, 'ad_noise_multiplier': 1, 'ad_use_clip_skip': False, 'ad_clip_skip': 1, 'ad_restore_face': False, 'ad_controlnet_model': 'None', 'ad_controlnet_module': 'None', 'ad_controlnet_weight': 1, 'ad_controlnet_guidance_start': 0, 'ad_controlnet_guidance_end': 1, 'is_api': ()}, {'ad_model': 'None', 'ad_model_classes': '', 'ad_tab_enable': True, 'ad_prompt': '', 'ad_negative_prompt': '', 'ad_confidence': 0.3, 'ad_mask_k_largest': 0, 'ad_mask_min_ratio': 0, 'ad_mask_max_ratio': 1, 'ad_x_offset': 0, 'ad_y_offset': 0, 'ad_dilate_erode': 4, 'ad_mask_merge_invert': 'None', 'ad_mask_blur': 4, 'ad_denoising_strength': 0.4, 'ad_inpaint_only_masked': True, 'ad_inpaint_only_masked_padding': 32, 'ad_use_inpaint_width_height': False, 'ad_inpaint_width': 512, 'ad_inpaint_height': 512, 'ad_use_steps': False, 'ad_steps': 28, 'ad_use_cfg_scale': False, 'ad_cfg_scale': 7, 'ad_use_checkpoint': False, 'ad_checkpoint': 'Use same checkpoint', 'ad_use_vae': False, 'ad_vae': 'Use same VAE', 'ad_use_sampler': False, 'ad_sampler': 'DPM++ 2M Karras', 'ad_scheduler': 'Use same scheduler', 'ad_use_noise_multiplier': False, 'ad_noise_multiplier': 1, 'ad_use_clip_skip': False, 'ad_clip_skip': 1, 'ad_restore_face': False, 'ad_controlnet_model': 'None', 'ad_controlnet_module': 'None', 'ad_controlnet_weight': 1, 'ad_controlnet_guidance_start': 0, 'ad_controlnet_guidance_end': 1, 'is_api': ()}, {'ad_model': 'None', 'ad_model_classes': '', 'ad_tab_enable': True, 'ad_prompt': '', 'ad_negative_prompt': '', 'ad_confidence': 0.3, 'ad_mask_k_largest': 0, 'ad_mask_min_ratio': 0, 'ad_mask_max_ratio': 1, 'ad_x_offset': 0, 'ad_y_offset': 0, 'ad_dilate_erode': 4, 'ad_mask_merge_invert': 'None', 'ad_mask_blur': 4, 'ad_denoising_strength': 0.4, 'ad_inpaint_only_masked': True, 'ad_inpaint_only_masked_padding': 32, 'ad_use_inpaint_width_height': False, 'ad_inpaint_width': 512, 'ad_inpaint_height': 512, 'ad_use_steps': False, 'ad_steps': 28, 'ad_use_cfg_scale': False, 'ad_cfg_scale': 7, 'ad_use_checkpoint': False, 'ad_checkpoint': 'Use same checkpoint', 'ad_use_vae': False, 'ad_vae': 'Use same VAE', 'ad_use_sampler': False, 'ad_sampler': 'DPM++ 2M Karras', 'ad_scheduler': 'Use same scheduler', 'ad_use_noise_multiplier': False, 'ad_noise_multiplier': 1, 'ad_use_clip_skip': False, 'ad_clip_skip': 1, 'ad_restore_face': False, 'ad_controlnet_model': 'None', 'ad_controlnet_module': 'None', 'ad_controlnet_weight': 1, 'ad_controlnet_guidance_start': 0, 'ad_controlnet_guidance_end': 1, 'is_api': ()}, {'ad_model': 'None', 'ad_model_classes': '', 'ad_tab_enable': True, 'ad_prompt': '', 'ad_negative_prompt': '', 'ad_confidence': 0.3, 'ad_mask_k_largest': 0, 'ad_mask_min_ratio': 0, 'ad_mask_max_ratio': 1, 'ad_x_offset': 0, 'ad_y_offset': 0, 'ad_dilate_erode': 4, 'ad_mask_merge_invert': 'None', 'ad_mask_blur': 4, 'ad_denoising_strength': 0.4, 'ad_inpaint_only_masked': True, 'ad_inpaint_only_masked_padding': 32, 'ad_use_inpaint_width_height': False, 'ad_inpaint_width': 512, 'ad_inpaint_height': 512, 'ad_use_steps': False, 'ad_steps': 28, 'ad_use_cfg_scale': False, 'ad_cfg_scale': 7, 'ad_use_checkpoint': False, 'ad_checkpoint': 'Use same checkpoint', 'ad_use_vae': False, 'ad_vae': 'Use same VAE', 'ad_use_sampler': False, 'ad_sampler': 'DPM++ 2M Karras', 'ad_scheduler': 'Use same scheduler', 'ad_use_noise_multiplier': False, 'ad_noise_multiplier': 1, 'ad_use_clip_skip': False, 'ad_clip_skip': 1, 'ad_restore_face': False, 'ad_controlnet_model': 'None', 'ad_controlnet_module': 'None', 'ad_controlnet_weight': 1, 'ad_controlnet_guidance_start': 0, 'ad_controlnet_guidance_end': 1, 'is_api': ()}, ControlNetUnit(input_mode=<InputMode.SIMPLE: 'simple'>, use_preview_as_input=False, batch_image_dir='', batch_mask_dir='', batch_input_gallery=[], batch_mask_gallery=[], generated_image=None, mask_image=None, hr_option='Both', enabled=True, module='lineart_anime', model='control_v11p_sd15_lineart [43d4be0d]', weight=1, image={'image': array([[[166, 122, 125],
*** [165, 122, 124],
*** [165, 121, 124],
*** ...,
*** [ 94, 81, 85],
*** [ 94, 81, 86],
*** [ 95, 81, 86]],
***
*** [[166, 122, 125],
*** [165, 121, 124],
*** [164, 121, 123],
*** ...,
*** [ 94, 81, 85],
*** [ 94, 81, 86],
*** [ 95, 81, 86]],
***
*** [[165, 122, 124],
*** [165, 121, 124],
*** [164, 120, 123],
*** ...,
*** [ 94, 80, 85],
*** [ 94, 81, 85],
*** [ 95, 81, 86]],
***
*** ...,
***
*** [[136, 117, 142],
*** [135, 116, 142],
*** [135, 116, 142],
*** ...,
*** [ 57, 44, 68],
*** [ 57, 44, 68],
*** [ 57, 44, 68]],
***
*** [[169, 152, 170],
*** [186, 170, 183],
*** [135, 116, 142],
*** ...,
*** [ 57, 44, 68],
*** [ 57, 44, 68],
*** [ 57, 44, 68]],
***
*** [[150, 134, 155],
*** [194, 181, 190],
*** [159, 141, 161],
*** ...,
*** [ 57, 44, 67],
*** [ 57, 44, 67],
*** [ 57, 44, 67]]], dtype=uint8), 'mask': array([[[0, 0, 0],
*** [0, 0, 0],
*** [0, 0, 0],
*** ...,
*** [0, 0, 0],
*** [0, 0, 0],
*** [0, 0, 0]],
***
*** [[0, 0, 0],
*** [0, 0, 0],
*** [0, 0, 0],
*** ...,
*** [0, 0, 0],
*** [0, 0, 0],
*** [0, 0, 0]],
***
*** [[0, 0, 0],
*** [0, 0, 0],
*** [0, 0, 0],
*** ...,
*** [0, 0, 0],
*** [0, 0, 0],
*** [0, 0, 0]],
***
*** ...,
***
*** [[0, 0, 0],
*** [0, 0, 0],
*** [0, 0, 0],
*** ...,
*** [0, 0, 0],
*** [0, 0, 0],
*** [0, 0, 0]],
***
*** [[0, 0, 0],
*** [0, 0, 0],
*** [0, 0, 0],
*** ...,
*** [0, 0, 0],
*** [0, 0, 0],
*** [0, 0, 0]],
***
*** [[0, 0, 0],
*** [0, 0, 0],
*** [0, 0, 0],
*** ...,
*** [0, 0, 0],
*** [0, 0, 0],
*** [0, 0, 0]]], dtype=uint8)}, resize_mode='Crop and Resize', processor_res=1024, threshold_a=0.5, threshold_b=0.5, guidance_start=0, guidance_end=1, pixel_perfect=True, control_mode='Balanced', save_detected_map=True), ControlNetUnit(input_mode=<InputMode.SIMPLE: 'simple'>, use_preview_as_input=False, batch_image_dir='', batch_mask_dir='', batch_input_gallery=[], batch_mask_gallery=[], generated_image=None, mask_image=None, hr_option='Both', enabled=True, module='openpose_full', model='control_openpose-fp16 [9ca67cc5]', weight=1, image={'image': array([[[166, 122, 125],
*** [165, 122, 124],
*** [165, 121, 124],
*** ...,
*** [ 94, 81, 85],
*** [ 94, 81, 86],
*** [ 95, 81, 86]],
***
*** [[166, 122, 125],
*** [165, 121, 124],
*** [164, 121, 123],
*** ...,
*** [ 94, 81, 85],
*** [ 94, 81, 86],
*** [ 95, 81, 86]],
***
*** [[165, 122, 124],
*** [165, 121, 124],
*** [164, 120, 123],
*** ...,
*** [ 94, 80, 85],
*** [ 94, 81, 85],
*** [ 95, 81, 86]],
***
*** ...,
***
*** [[136, 117, 142],
*** [135, 116, 142],
*** [135, 116, 142],
*** ...,
*** [ 57, 44, 68],
*** [ 57, 44, 68],
*** [ 57, 44, 68]],
***
*** [[169, 152, 170],
*** [186, 170, 183],
*** [135, 116, 142],
*** ...,
*** [ 57, 44, 68],
*** [ 57, 44, 68],
*** [ 57, 44, 68]],
***
*** [[150, 134, 155],
*** [194, 181, 190],
*** [159, 141, 161],
*** ...,
*** [ 57, 44, 67],
*** [ 57, 44, 67],
*** [ 57, 44, 67]]], dtype=uint8), 'mask': array([[[0, 0, 0],
*** [0, 0, 0],
*** [0, 0, 0],
*** ...,
*** [0, 0, 0],
*** [0, 0, 0],
*** [0, 0, 0]],
***
*** [[0, 0, 0],
*** [0, 0, 0],
*** [0, 0, 0],
*** ...,
*** [0, 0, 0],
*** [0, 0, 0],
*** [0, 0, 0]],
***
*** [[0, 0, 0],
*** [0, 0, 0],
*** [0, 0, 0],
*** ...,
*** [0, 0, 0],
*** [0, 0, 0],
*** [0, 0, 0]],
***
*** ...,
***
*** [[0, 0, 0],
*** [0, 0, 0],
*** [0, 0, 0],
*** ...,
*** [0, 0, 0],
*** [0, 0, 0],
*** [0, 0, 0]],
***
*** [[0, 0, 0],
*** [0, 0, 0],
*** [0, 0, 0],
*** ...,
*** [0, 0, 0],
*** [0, 0, 0],
*** [0, 0, 0]],
***
*** [[0, 0, 0],
*** [0, 0, 0],
*** [0, 0, 0],
*** ...,
*** [0, 0, 0],
*** [0, 0, 0],
*** [0, 0, 0]]], dtype=uint8)}, resize_mode='Crop and Resize', processor_res=1024, threshold_a=0.5, threshold_b=0.5, guidance_start=0, guidance_end=1, pixel_perfect=True, control_mode='Balanced', save_detected_map=True), ControlNetUnit(input_mode=<InputMode.SIMPLE: 'simple'>, use_preview_as_input=False, batch_image_dir='', batch_mask_dir='', batch_input_gallery=[], batch_mask_gallery=[], generated_image=None, mask_image=None, hr_option='Both', enabled=False, module='None', model='None', weight=1, image=None, resize_mode='Crop and Resize', processor_res=-1, threshold_a=-1, threshold_b=-1, guidance_start=0, guidance_end=1, pixel_perfect=False, control_mode='Balanced', save_detected_map=True), False, 7, 1, 'Constant', 0, 'Constant', 0, 1, 'enable', 'MEAN', 'AD', 1, False, 1.01, 1.02, 0.99, 0.95, False, 0.5, 2, False, 256, 2, 0, False, False, 3, 2, 0, 0.35, True, 'bicubic', 'bicubic', False, 0, 'anisotropic', 0, 'reinhard', 100, 0, 'subtract', 0, 0, 'gaussian', 'add', 0, 100, 127, 0, 'hard_clamp', 5, 0, 'None', 'None', False, 'MultiDiffusion', 768, 768, 64, 4, False, False, False, False, False, 'positive', 'comma', 0, False, False, 'start', '', 1, '', [], 0, '', [], 0, '', [], True, False, False, False, False, False, False, 0, False) {}
Traceback (most recent call last):
File "C:\Users\user\Desktop\webui_forge_cu121_torch21\webui\modules\call_queue.py", line 57, in f
res = list(func(*args, **kwargs))
TypeError: 'NoneType' object is not iterable

Вы что-нибудь из этого можете разобрать?

 

похоже это баг hires fix, попробуй его отключить

 

Откуда 77 нарисовалось?
Только степени двойки и кратные 2.

 

Он по идее у меня не должен был быть включен. Я обычно его включаю, только если вижу, что изображение прямо годное получается, так как с ним все гораздо дольше идет.

Вообще не знаю.

Пока думаю, может я на вход ControlNet какое-то "неправильное" разрешение изображения подал? Картинкка была 850x721 пикселей.

Еще подозреваю, может у меня модели ControlNet какие-то несовместимые с SDXL\Pony? Вот у меня для lineart используется control_v11p_sd15_lineart, но sd15 скорее всего означает "Stable Diffusion 1.5", но я что-то пока не могу найти модели для SDXL\Pony.

 

...

Привести к ^2

 

Небольшое сравнение fp8_e4m3fn и fp8_e5m2 (dps = включенная фича "Always discard next-to-last sigma" в параметрах сэмплера)

Чем больше слов в запросе, тем меньше различий между вариантами и тем хуже dps влияет на них (вплоть до ухудшения результата)

 

О, а меня рандом как раз дёрнул проверить FP8 выкл/вкл:

 

Не помогло. 1152x896 ведь годное разрешение?

А вот эта гипотеза подтвердилась. Попробовал взять Checkpoint с версией Stable Diffusion 1.5 - прошло без ошибок и даже видно, что исходная картинка была "учтена". Что-то вообще протупил, что сразу это не проверил. Это все равно, что заправить автомобиль с бензиновым двигателем соляркой, а потом удивляться тому, почему же он не заводится.

Но вот когда я искал модели для lineart в интернете, то находилось в основном control_v11p_sd15_lineart. Меня сразу это "sd15" в названии смутило, я сразу понял, что это означает "Stable Diffusion 1.5", но вынужденно взял эту модель, так как ничего другого толком найти не смог.

Кто-нибудь знает, где бы достать модели для ControlNet, которые бы работали с SDXL\Pony?

 

После кучи обнов на форж он сначала не заработал (пришлось ставить с нуля), а потом генерации в нем стали занимать до 30 секунд дольше, перестал работать показ результатов в веб-интерфейсе, перестали работать звуковые уведомления. В общем, ради нафиг мне не нужного Flux было сломано все, что работало. Буду пробовать откатываться до нормальной версии

 

О пользе нейросетей