Nunchaku高性能量化推理引擎量化模型与ComfyUI 插件

ComfyUI_00100_

官网:

https://nunchaku.tech/

huggingface:

https://huggingface.co/nunchaku-ai

wheels:

https://modelscope.cn/organization/nunchaku-tech

https://github.com/nunchaku-ai/nunchaku/releases

https://huggingface.co/JusteLeo/Nunchaku-Zimage-Win-Wheels

comfyui节点:

https://github.com/nunchaku-ai/ComfyUI-nunchaku

.\.ext\python -m pip install opencv-python-headless -i https://pypi.tuna.tsinghua.edu.cn/simple

.\.ext\python -m pip install torch==2.8.0+cu128 torchvision torchaudio xformers -i https://mirror.sjtu.edu.cn/pytorch-wheels

使用Z Image Turbo 特别注意,关闭动态显存优化,带下面的启动参数:

–disable-dynamic-vram

为什么加 –disable-dynamic-vram 就正常了?

因为:ZImageTurbo / Nunchaku 不支持 “动态显存”!动态显存会把模型权重偷偷卸载 = 变成 None = 直接报错!

1. ComfyUI 默认开启:动态显存(DynamicVRAM)

它的工作方式是:
  • 模型不用的时候 → 把权重从显卡删掉
  • 用的时候再偷偷加载回来→ 目的是省显存

2. ZImageTurbo 加载速度极快,瞬间就要用权重

但动态显存反应太慢:
  • ZImage 要读取权重
  • 动态显存还没加载回来
  • 权重 = None
  • 于是报错:’NoneType’ object has no attribute ‘dtype’

还有就是Cross-Attention优化使用默认“尝试使用XFormers(推荐)”,就可以,选其它可能直接崩。

© 版权声明
THE END
喜欢就支持一下吧
点赞0 分享