您的位置:首页 >互联网 >

SDXLMixSampler 1.1

大家好,我是小志Jason。一个探索Latent Space的程序员。

之前的时候出了一个SDXLMixSampler,现在更新一下功能。


(相关资料图)

前文:【玩转SD】自制节点介绍SDXLMixSampler LatentByRatio

/read/cv25107377

首先解释一下什么是loop,loop就是base+refiner共同跑完一次的结果,为止一次loop,

多重混合节点的目的是让base+refiner跑完一次后,先不输出结果,把第一次的结果作为下一个loop的latent image再跑一次base+refiner,来实现多次base+refiner的图片。

这次主要更新的是把之前的total_steps改成了loop,不用自己算了,背后直接mix_steps*loop=total_steps。

兼容一次输出多个loop的结果,但是由于每个loop的leftover_noise和结算步数都不一样,所以不能简单的输出每次循环的latent image,背后需要每个循环都自己跑一次,所以出图会比较慢。

所以默认的是final_only:yes,只输出最后那个loop的结果,如果final_only:no,那就输出每次循环的结果:

C站地址:

/models/108594/sdxlmixsampler-comfyui-jnode-workflow-included

PS碎碎念:

经过询问和交流,感觉现在SDXL的lora还有微调都是不完善的。

SDXL的架构是base+refiner等于完整输出,而目前无论是lora还是微调,都集中在base模型那里,问题在于无论是lora还是微调,使用原来的refiner去添加细节,都会影响到lora和微调的训练出来的特征,让训练的效果减弱。

所以现在的微调和lora不得不减少refiner的作用来保留训练的特征,这种做法我觉得是有违SDXL的架构的,如果想使用SDXL的架构来达到最好的效果,就需要有对应的refiner训练。

比如base+base lora->refiner+refiner lora,fine tune base->fine tune refiner,这样的流程来确保base和refiner都能向训练的特征偏移,才能实现最好的结果。

欢迎点赞投币转发加群

群号:866612947

验证:小志Jason

关键词: