Trajectory Consistency Distillation：加速生成图片并且不损失质量
TCD 模型解决了 LCM 模型由于多步采样中累积的错误导致的图像细节丢失和性能下降的问题。
可以快速生成图片，并且保证生成图片的质量和细节。还支持 SDXL 生态的所有内容，比如 Lora 和 Controlnet 。
详细介绍：
潜在一致性模型（Latent Consistency Model, LCM）通过将一致性模型扩展到潜在空间，并利用引导一致性蒸馏技术，在加速文本到图像合成方面取得了令人印象深刻的性能。然而，研究人员观察到LCM在生成清晰且细节精致的图像方面存在困难。
为了解决这一限制，研究人员首先深入研究并阐明了潜在的原因，发现主要问题源自三个不同的领域的错误。因此，他们引入了轨迹一致性蒸馏（Trajectory Consistency Distillation, TCD），包括轨迹一致性函数（Trajectory Consistency Function, TCF）和战略性随机采样（Strategic Stochastic Sampling, SSS）。
轨迹一致性函数通过扩大自我一致性边界条件的范围，减少了蒸馏错误，并使TCD能够准确追踪整个概率流常微分方程（Probability Flow ODE）的轨迹。此外，战略性随机采样专门设计用于规避多步一致性采样中固有的累积错误，这种采样方式被精心设计以补充TCD模型。
实验表明，TCD不仅在低噪声函数评估次数（Number of Function Evaluations, NFEs）时显著提高了图像质量，而且与教师模型相比，在高NFEs时产生了更详细的结果。TCD在低NFEs和高NFEs时都保持了优越的生成质量，甚至超过了带有原始SDXL的DPM-Solver++(2S)的性能。值得注意的是，在训练期间没有额外的鉴别器或LPIPS监督。研究人员展示了在20 NFEs下的一些示例。
与Turbo系列相比，TCD采样的NFEs可以随意变化，而不会对结果质量产生不利影响；与LCMs相比，TCD解决了由于多步采样中累积的错误导致的图像细节丢失和性能下降的问题。
在推理过程中，可以通过调整一个超参数gamma来简单地修改图像的细节水平，这不需要引入任何额外的参数。TCD可以适应社区中基于SDXL的各种扩展和插件，例如LoRA、ControlNet、IP Adapter以及其他基础模型，例如Animagine XL。
原创文章，作者：校长，如若转载，请注明出处：https://www.yundongfang.com/Yun286372.html
微信扫一扫不于多少！ 
支付宝扫一扫礼轻情意重 