前言
图像模糊是实际生活、生产活动中的成像系统普遍存在着的一种退化现象,往往由成像设备自身的散焦、抖动或是在成像过程中与目标对象之间的相对运动造成的
数据集
- 卷积清晰图像合成
- 平均连续帧作为模糊图像,中间帧作为清晰图像
- 使用分光镜+两台相机,不同帧率拍摄清晰和模糊图像
GoPro数据集(2017)
评价动态场景去模糊方法的标准数据集,通过对高频相机采集的多个连续帧取平均的方法生成动态模糊图像
数量:3214
分辨率:720×1280
train: 2103
eval: 1111
1
2
3
4
2
3
4
缺陷:图像存在较为严重的噪声、较大范围的平滑区域
Gao(2019)
数量:5290
分辨率:720×1280
1
2
2
采用了3种策略来避免GoPro数据集上述缺陷问题。
- 首先,该数据集为白天拍摄,有效地减少了图像噪声;
- 然后,对有足够细节的场景进行采样,避免图像中存在大面积的平滑区域;
- 避免记录高速运行的车辆或物体,而出现没有对应的清晰帧的情况
HIDE数据集(2020)
为了充分捕捉被动的设备干扰造成的动态模糊,包含大范围和近距离场景的模糊图像
数量:8244
分辨率:720×1280
1
2
2
RealBlur-J
RealBlur-R
REDS
MSU BASED
RSBlur
DVD
ReLoBlur
使用分光境采集的真实世界局部模糊数据集,出自AAAI2023论文 Real-World Deep Local Motion Deblurring
数量:2405
大小:2152x1436
1
2
2
SIDD
1
DND
算法
- DeblurGAN
- DeblurGAN-v2
- FMD-CGAN
- lakdnet
- Uformer
- maxim
- shift-net
- EFNet
- NIRE
- VRT
- SFNet
- FMA-Net超分和去模糊
- Awesome-Deblurring
算法贡献
1. LEDNet 2022
贡献:
- LOL-Blur数据集,低照度联合模糊大规模、多样性真实退化PIPLE
- LEDNet SOTA模型,在低照度联合去模糊上达到SOTA性能
指标: LOL-Blur
PSNR: 25.74
SSIM: 0.850
NIQE: 4.764
详情见下表
评价:低照度加去模糊,更符合真实数据分布,可以测试再评估
2. IPT 2021
32 Nvidia NVIDIA Tesla V100 300epochs 256 batch size
贡献:底层视觉预训练模型
提出基于transformer的预训练模型
性能:114M parameters and 33G FLOPs
评价:对去模糊任务参考意义不大
3. GShift-Net 2022
贡献:
- 提出分组时空位移来聚合时间特征
- 在视频去模糊和视频去噪超高SOTA方法,并且需要更少的算力
性能:GoPro
PSNR: 35.88
SSIM: 0.979
评价:SOTA性能,视频不闪缩,更低的计算复杂度,可以作为参考,进一步测试
4. DLENet 2023
基于事件相机,华为
卷积网络 事件相机 LSTM
指标GoPro
PSNR: 35.61
SSIM: 0.973
Params: 12M
评价:原理上来说,事件相机确实是个好方向,但会增添成本
5. Uformer 2021
贡献:
- 提出了一个局部增强的自注意力窗口LeWin,显著降低高分辨率计算复杂度
- 提出了一种可学习的多尺度恢复调制器,以多尺度空间偏差的形式来调整Ufoster解码器的多层特征
指标:GoPro
PSNR: 32.97
SSIM: 0.967
LBAG
contributions:
- 提出局部真实模糊数据集
- 提出LBAG SOTA网络
指标:ReLoBlur
PSNR: 34.85
SSIM: 0.9257
LaKDNet
参考
- [1]李晓光,杨飞璠,卓力.动态场景图像去模糊技术研究进展[J].北京工业大学学报,2021,47(08):982-990.
- [2]刘龙飞,李胜,赖舜男.神经网络在退化图像复原领域的进展综述[J].图学学报,2019,40(02):213-224.
- [3]李海波,邵文泽.图像盲去模糊综述:从变分方法到深度模型以及延伸讨论[J].南京邮电大学学报(自然科学版),2020,40(05):84-94.DOI:10.14132/j.cnki.1673-5439.2020.05.009.
- [4]龚颖,许文韬,赵策等.生成对抗网络于图像修复领域应用综述[J/OL].计算机科学与探索:1-27[2024-02-21].http://kns.cnki.net/kcms/detail/11.5602.TP.20230907.1513.004.html.
- [5]Li H, Zhang Z, Jiang T, et al. Real-world deep local motion deblurring[C]//Proceedings of the AAAI Conference on Artificial Intelligence. 2023, 37(1): 1314-1322.
- [6]Li, Dasong, Xiaoyu Shi, Y. Zhang, Ka Chun Cheung, S. See, Xiaogang Wang, Hongwei Qin and Hongsheng Li. “A Simple Baseline for Video Restoration with Grouped Spatial-Temporal Shift.” 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2022): 9822-9832.
- [7]deblurring-paperswithcode