图像去模糊学习调研笔记

2024-02-21 20:26:24
/
0 点赞
/
204 阅读
2024-02-21

前言

图像模糊是实际生活、生产活动中的成像系统普遍存在着的一种退化现象,往往由成像设备自身的散焦、抖动或是在成像过程中与目标对象之间的相对运动造成的

数据集

  1. 卷积清晰图像合成
  2. 平均连续帧作为模糊图像,中间帧作为清晰图像
  3. 使用分光镜+两台相机,不同帧率拍摄清晰和模糊图像

GoPro数据集(2017)

评价动态场景去模糊方法的标准数据集,通过对高频相机采集的多个连续帧取平均的方法生成动态模糊图像

数量:3214
分辨率:720×1280
train: 2103
eval: 1111
1
2
3
4

缺陷:图像存在较为严重的噪声、较大范围的平滑区域

Gao(2019)

数量:5290
分辨率:720×1280
1
2

采用了3种策略来避免GoPro数据集上述缺陷问题。

  • 首先,该数据集为白天拍摄,有效地减少了图像噪声;
  • 然后,对有足够细节的场景进行采样,避免图像中存在大面积的平滑区域;
  • 避免记录高速运行的车辆或物体,而出现没有对应的清晰帧的情况

HIDE数据集(2020)

为了充分捕捉被动的设备干扰造成的动态模糊,包含大范围和近距离场景的模糊图像

数量:8244
分辨率:720×1280
1
2

RealBlur-J

RealBlur-R

REDS

MSU BASED

RSBlur

DVD

ReLoBlur

使用分光境采集的真实世界局部模糊数据集,出自AAAI2023论文 Real-World Deep Local Motion Deblurring

数量:2405
大小:2152x1436
1
2

SIDD


1

DND

算法

算法贡献

1. LEDNet 2022

贡献:

  1. LOL-Blur数据集,低照度联合模糊大规模、多样性真实退化PIPLE
  2. LEDNet SOTA模型,在低照度联合去模糊上达到SOTA性能

指标: LOL-Blur

PSNR: 25.74
SSIM: 0.850
NIQE: 4.764

详情见下表

image.png

image.png

评价:低照度加去模糊,更符合真实数据分布,可以测试再评估

2. IPT 2021

32 Nvidia NVIDIA Tesla V100 300epochs 256 batch size

贡献:底层视觉预训练模型

提出基于transformer的预训练模型

性能:114M parameters and 33G FLOPs

评价:对去模糊任务参考意义不大

3. GShift-Net 2022

贡献:

  1. 提出分组时空位移来聚合时间特征
  2. 在视频去模糊和视频去噪超高SOTA方法,并且需要更少的算力

性能:GoPro

PSNR: 35.88
SSIM: 0.979

image.png

image.png

image.png

评价:SOTA性能,视频不闪缩,更低的计算复杂度,可以作为参考,进一步测试

4. DLENet 2023

基于事件相机,华为

卷积网络 事件相机 LSTM

指标GoPro

PSNR: 35.61
SSIM: 0.973
Params: 12M

image.png

image.png

评价:原理上来说,事件相机确实是个好方向,但会增添成本

5. Uformer 2021

贡献:

  1. 提出了一个局部增强的自注意力窗口LeWin,显著降低高分辨率计算复杂度
  2. 提出了一种可学习的多尺度恢复调制器,以多尺度空间偏差的形式来调整Ufoster解码器的多层特征

指标:GoPro

PSNR: 32.97
SSIM: 0.967

image.png

LBAG

contributions:

  1. 提出局部真实模糊数据集
  2. 提出LBAG SOTA网络

指标:ReLoBlur

PSNR: 34.85
SSIM: 0.9257

image.png

LaKDNet

image.png

参考

  • [1]李晓光,杨飞璠,卓力.动态场景图像去模糊技术研究进展[J].北京工业大学学报,2021,47(08):982-990.
  • [2]刘龙飞,李胜,赖舜男.神经网络在退化图像复原领域的进展综述[J].图学学报,2019,40(02):213-224.
  • [3]李海波,邵文泽.图像盲去模糊综述:从变分方法到深度模型以及延伸讨论[J].南京邮电大学学报(自然科学版),2020,40(05):84-94.DOI:10.14132/j.cnki.1673-5439.2020.05.009.
  • [4]龚颖,许文韬,赵策等.生成对抗网络于图像修复领域应用综述[J/OL].计算机科学与探索:1-27[2024-02-21].http://kns.cnki.net/kcms/detail/11.5602.TP.20230907.1513.004.html.
  • [5]Li H, Zhang Z, Jiang T, et al. Real-world deep local motion deblurring[C]//Proceedings of the AAAI Conference on Artificial Intelligence. 2023, 37(1): 1314-1322.
  • [6]Li, Dasong, Xiaoyu Shi, Y. Zhang, Ka Chun Cheung, S. See, Xiaogang Wang, Hongwei Qin and Hongsheng Li. “A Simple Baseline for Video Restoration with Grouped Spatial-Temporal Shift.” 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2022): 9822-9832.
  • [7]deblurring-paperswithcode
版权属于:

那棵树看起来生气了

本文链接:

https://dengyb.com/archives/55.html(转载时请注明本文出处及文章链接)