插件效果

今天介绍一款可以集成到ComfyUI工作流的视频擦除、补全插件。该插件可以通过关键字擦除视频中的对象，已经对视频元素进行画面补全。

擦除指定物体 视频中，骑单车的男孩被完美擦除了。

补全视频 视频中，白色的污点被自动填充补全了。

对于视频制作者来说，这个技术将让擦除和补全变得更加轻松。

背后技术

该插件的背后技术是来自南洋理工大学S-Lab的ProPainter。项目地址：https://shangchenzhou.com/projects/ProPainter/。以下是该论文的一些概要：

这篇论文介绍了一个名为ProPainter的视频修复框架，旨在改善视频修复中的传播（Propagation）和变换器（Transformer）机制。以下是对论文的主要内容的总结：

标题

ProPainter: Improving Propagation and Transformer for Video Inpainting

作者

Shangchen Zhou, Chongyi Li, Kelvin C.K. Chan, Chen Change Loy，来自南洋理工大学S-Lab。

主要贡献

双域传播（Dual-domain Propagation）：结合了图像和特征域的优势，利用全局一致性来提高信息传播的可靠性。
蒙版引导的稀疏视频变换器（Mask-guided Sparse Video Transformer）：通过丢弃不必要的冗余窗口来提高效率。
性能提升：ProPainter在保持高效率的同时，在PSNR（峰值信噪比）上比现有方法提高了1.46 dB。

视频修复（Video Inpainting）的挑战

需要在视频的缺失或损坏区域填充视觉上一致的内容。
确保空间和时间上的连贯性。
需要在远距离帧之间建立准确的对应关系以聚合信息。

方法论

循环光流完成（Recurrent Flow Completion, RFC）：独立完成光流场，为后续传播模块提供精确的光流场。
双域传播（Dual-Domain Propagation, DDP）：在图像和特征域中分别执行全局和局部传播。
蒙版引导的稀疏视频变换器（Mask-guided Sparse Video Transformer, MSVT）：针对视频修复任务设计的高效变换器，通过稀疏策略减少计算复杂度和内存消耗。

实验

使用YouTube-VOS和DAVIS数据集进行训练和评估。
采用PSNR、SSIM和VFID等指标评估重建性能和视频输出的感知相似性。

结果

ProPainter在定量和定性评估中均优于现有方法，特别是在DAVIS数据集上表现突出。
通过消融研究验证了图像传播、特征传播和稀疏变换器的有效性。

结论

ProPainter通过增强的双域传播和高效的蒙版引导稀疏视频变换器，提供了一个可靠、精确且高效率的视频修复解决方案。

ComfyUI插件安装与使用

通过ComfyUI这个插件，可以把这套技术嵌入到工作流中，实现如批量处理，擦除、补全、合成等流程化视频处理。接下来我们看看如何安装。

ComfyUI 管理器:

你可以使用 ComfyUI 管理器来安装节点：

搜索 ComfyUI ProPainter Nodes 以及作者 daniabib。

手动安装:

将此仓库克隆到 ComfyUI/custom_nodes:

git clone https://github.com/daniabib/ComfyUI_ProPainter_Nodes

还有一步

需要注意的是，ProPainter插件没有抠图功能，所以遮罩要用另外的方法生成，这里用到了另外一个插件，是ZHO大佬的ComfyUI-BiRefNet，github地址：

https://github.com/ZHO-ZHO-ZHO/ComfyUI-BiRefNet-ZHO

把ComfyUI-BiRefNet和ProPainter一起连连看就可以打造完整的工作流啦。另外，BiRefNet 模型是目前最好的开源可商用背景抠除模型，大家可以放心使用。

效果实测

工作流

截图如下：

视频载入

抠出主体

填充

输出

实测效果

移除对象。

可以看到移除的效果还是很不错的。

不足

不足在于不能像原生的ProPainter一样，可以指定擦除对象，期待大佬的优化。

好了，关于的分享介绍就到这里，有什么疑问或者问题，可以留言交流哦~

关注我公众号（设计小站）：sjxz00，获取更多AI辅助设计和设计灵感趋势。

介绍一款视频擦除和补全的ComfyUI插件