PMRF：一种新的图像恢复算法 高质量修复图像 降低图像失真还原跟自然逼真度

PMRF（Posterior-Mean Rectified Flow，后验均值修正流）是一种新提出的图像恢复算法，旨在解决图像恢复任务中的失真-感知质量权衡问题。

在去噪、超分辨率、修复等不同图像恢复任务中，PMRF能够在多个图像质量评估指标（如PSNR、SSIM、FID等）上表现出色，且没有明显的弱点，展示了其在多任务环境下的稳健性。

PMRF解决的问题：

图像恢复任务（如去噪、超分辨率、盲恢复等）中，常常需要在失真（如均方误差MSE）和感知质量（如图像的真实感和自然度，使用FID、SSIM等衡量）之间做权衡。现有的方法通常是通过后验采样来生成高感知质量的图像，但这些方法在降低失真方面表现不佳，往往会有较大的MSE。

具体而言：

• 后验采样方法：这些方法可以生成感知质量非常高的图像（即这些图像看起来更自然），但它们的MSE往往较高，图像存在较大失真。
• MMSE（最小均方误差）方法：这些方法可以最小化失真，但生成的图像通常过于平滑，感知质量较差。

PMRF解决方案：

PMRF通过结合后验均值和修正流的方式，提出了一种新颖的图像恢复框架。具体做法如下：

1. 后验均值预测：PMRF首先通过一个模型预测输入退化图像的后验均值，这一步是为了尽量减少失真。
2. 修正流模型：在得到后验均值预测后，PMRF使用修正流模型对图像进行“运输”，将后验均值映射到高质量的真实图像分布。这个过程通过求解一个ODE来完成，使得生成的图像不仅失真低，同时感知质量也非常高。

解决的核心问题：

PMRF通过结合后验均值和修正流，成功地在降低图像失真的同时，保证图像的感知质量。它不需要牺牲感知质量就能获得比传统方法更低的MSE，因此可以同时生成失真更小且视觉质量更高的图像。

主要功能

1. 图像恢复：处理去噪、超分辨率、盲图像恢复和图像修复等任务，生成自然逼真的图像。例如：
   • 去噪：去除图像中的噪声，使其更加清晰。
   • 超分辨率：提高低分辨率图像的细节，使其更接近高分辨率图像。
   • 修复：填补图像中的缺失部分，例如修复受损的区域或在图像中添加缺失的细节。
   • 颜色恢复：恢复或增强图像的颜色，使其更加自然或符合真实场景。
2. 降低图像失真（MSE）：PMRF通过后验均值预测实现图像恢复，最小化图像的均方误差（MSE），确保生成的图像与真实图像在数值上尽可能接近，失真尽可能小。也就是它不仅关注图片的清晰度，还会确保图片看起来像真实世界中的图像
3. 提高感知质量：PMRF不仅仅追求数值精度，还能够通过校正流模型（Rectified Flow）确保复原图像的感知质量与真实图像保持一致。这意味着，PMRF能够生成视觉上更加逼真的图像，使其在人眼看来与原始图像几乎无异。
4. 处理复杂的图像退化问题：PMRF能够应对各种复杂的图像退化情况，包括噪声、模糊、分辨率降低、颜色丢失等问题，生成视觉质量高且符合真实图像分布的恢复图像。不论图片内容有多复杂，比如细节丰富的面部图像，还是受到多重损坏的图片，PMRF都能很好地处理，并提供优质的修复结果。
5. 优化的图像生成流程：PMRF结合后验均值预测和修正流模型，通过求解常微分方程（ODE）对图像进行“运输”，使得生成的图像既低失真又高质量。它通过在图像分布之间实现最佳映射，达到感知和失真之间的平衡。

技术方法：

PMRF的技术方法可以简单理解为通过两步走，既能减少图像失真（让图像更接近原始样子），又能提升图像的视觉质量（让图像看起来更加自然和真实）。

1. 后验均值预测：
   • 目标：从退化的图像中恢复出尽可能接近原始图像的版本，减少误差。
   • 方法：通过模型生成一个初步恢复的图像，尽量减少数值上的误差（MSE），确保图像尽可能接近真实图像。不过，这一步生成的图像可能会显得过于平滑，细节不足。
2. 修正流模型：
   • 目标：在降低失真的同时，提升图像的视觉质量，使图像看起来更加真实自然。
   • 方法：通过使用校正流模型，PMRF对初步的后验均值预测进行“修正”。该模型基于最优传输理论（Optimal Transport Theory），通过一个数学过程，把初步预测的图像转化为与真实图像分布一致的高质量图像。
     • 最优传输：这个概念来自于数学领域，目标是找到最优的方式，将一个分布（初步预测的图像）转换为另一个分布（真实图像）。通过这种方法，PMRF确保最终复原的图像不仅仅在技术上符合要求，还在视觉上非常逼真。
3. 流匹配算法
   • 目标：生成高质量的图像，且能够与真实图像进行对比时保持一致性。
   • 方法：PMRF采用一种叫做“流匹配”的生成算法，它通过对图像进行多次迭代（即不断调整流模型），找到从退化图像到高质量图像的最佳路径。在这个过程中，系统会利用微分方程（ODE）进行优化计算，确保最终的图像复原结果既符合感知质量要求，又能保持低误差。
4. 两个训练阶段：
   • 阶段一：模型首先学习如何生成尽可能准确的初步恢复图像，目标是最小化图像的数值误差（MSE）。
   • 阶段二：然后，模型进一步学习如何使用修正流技术来“修正”初步生成的图像，使其在视觉上看起来更加真实自然。
5. 推理过程：
   • 在实际使用时，PMRF首先生成一个初步的图像，然后通过修正流模型进行迭代优化，最终得到低失真且视觉效果良好的恢复图像。
6. 方法的优势：
   • 失真和视觉质量平衡：PMRF能够同时降低图像的数值误差和提升视觉质量，找到两者之间的最佳平衡。
   • 理论保证：在理论上，PMRF可以在感知质量高的前提下，生成比其他方法失真更小的图像。

实验结果

PMRF在多个基准和真实世界数据集上的实验结果显示，它不仅能够降低图像的失真，还能大幅提升感知质量。通过这种平衡，它在各种图像恢复任务中达到了新的性能标准，表现优于大多数现有的最先进方法。

1. CelebA-Test基准测试结果：
   • PMRF在多个评估指标上表现出色，在失真和感知质量之间达到了很好的平衡。
   • 感知质量指标：
     • FID（Fréchet Inception Distance）：PMRF取得了37.46，表现优于其他对比方法。
     • KID（Kernel Inception Distance）：PMRF的得分为0.0257，也优于其他方法。
     • NIQE（Natural Image Quality Evaluator）：PMRF取得了4.118的分数，接近最优。
     • Precision：PMRF的精度为0.7073，在视觉精度方面表现也很好。
   • 失真指标：
     • PSNR（峰值信噪比）：PMRF达到了26.37，是所有对比方法中的最佳。
     • SSIM（结构相似度指数）：PMRF的SSIM为0.7073，优于大多数其他方法。
     • LPIPS（感知损失）：PMRF的分数为0.3470，也表现良好。

   这些结果表明，PMRF不仅在失真度上有显著优势，还能在感知质量上达到或超越最先进的恢复算法。

2. 真实世界数据集的表现：
   • PMRF在多个真实世界数据集（如LFW-Test、WebPhoto-Test、CelebAdult-Test、WIDER-Test）中也进行了测试。这些数据集的图像退化复杂且没有对应的真实图像（ground truth），因此主要考察感知质量。
   • PMRF在这些数据集上的表现显示出卓越的视觉效果，且恢复出的图像与其他方法相比有更低的失真。
   • IndRMSE：这是一个近似真实失真的指标，PMRF在所有数据集上的IndRMSE得分都最低，表明其失真最小。
3. 多任务实验结果：
   • PMRF在多种任务（如去噪、超分辨率、修复等）中均表现优越。在这些任务中，它在RMSE（失真）和FID（感知质量）之间的平衡方面比其他方法有明显优势。
   • 去噪任务：PMRF的失真（RMSE）和感知质量（FID）几乎是所有方法中最佳的。
   • 图像修复和上采样任务：PMRF在这些任务中也表现优越，生成的图像更自然且失真更小。
4. 控制实验：
   • 在对比多个框架（如后验采样和其他流方法）的实验中，PMRF始终表现出更低的失真和更高的感知质量，证明了其在各种图像恢复任务中的优越性。
     

     

     

     Support authors and subscribe to content

     This is premium stuff. Subscribe to read the entire article.

     Login if you have purchased

     加入会员

     加入会员查看更多会员内容和教程。
     超过1000+的会员内容，每天更新。

     开通会员