图像超分辨率学习调研笔记
2024-02-24
前言
数据集
DIV2K
DIV2K 数据集源自 NTIRE2017 和 NTIRE2018 超分辨率挑战赛，是图像超分辨率中最流行使用的数据集之一。该数据集由 800 幅训练集图片，100 幅验证集图片和 100 幅测试集图片组成，每张图片具有 2K 分辨率。
Set14
Set14数据集是由14张图像组成的数据集，常用于测试图像超分辨率模型的性能。
BSD100
BSD是经常用于图像去噪和超分辨率的数据集。在子数据集中，BSD100 是 Martin 等人提出的一个经典图像数据集，包含 100 个测试图像。该数据集由多种图像组成，从自然图像到特定对象（如植物、人、食物等）。BSD100 是伯克利分割数据集 BSD300 的测试集。
Urban100
Urban100 数据集包含 100 张城市场景图像。它通常用作评估超分辨率模型性能的测试集。
Set5
Set5数据集是由5张图像（“baby”、“bird”、“butterfly”、“head”、“woman”）组成的数据集，通常用于测试图像超分辨率模型的性能。
Manga109
Manga109由东京大学信息科学研究生院信息通信工学系相泽山崎松井实验室编译。该汇编旨在用于日本漫画媒体处理的学术研究。Manga109由日本专业漫画家绘制的109卷漫画组成。这些漫画在 1970 年代至 2010 年代期间向公众商业化提供，涵盖了广泛的目标读者群和类型（有关更多详细信息，请参阅“探索”中的表格。）汇编中的大部分漫画都可以在漫画库中找到“ Manga Library Z”（原绝版漫画图书馆“Zeppan Manga Toshokan”）。
MSU Video Super Resolution Benchmark: Detail Restoration
https://videoprocessing.ai/benchmarks/video-super-resolution.html
这是视频超分辨率任务的数据集。该数据集包含恢复任务中最复杂的内容：面部、文本、二维码、车牌号、无图案纹理、小细节。视频包括不同类型的运动和不同类型的退化：双三次插值 (BI) 和高斯模糊和下采样 (BD)。所有输入视频序列的分辨率均为 480x320。
MSU Video Upscalers: Quality Enhancement
https://videoprocessing.ai/benchmarks/video-upscalers.html
该数据集旨在找到能够生成视觉上最令人愉悦的图像并能很好地推广到广泛内容的算法。它由 30 个剪辑组成，包含从各种视频游戏无损记录的 15 个 2D 动画片段和来自高比特率 YUV444 源的 15 个相机拍摄片段。剪辑的复杂性在空间和时间索引方面差异很大。多重双三次缩小与锐化混合用于模拟复杂的现实世界相机退化。作者使用轻微压缩和 YUV420 转换来模拟实际用例。1920×1080 源被缩小为 480×270 输入。
MSU Super-Resolution for Video Compression
https://videoprocessing.ai/benchmarks/super-resolution-for-video-compression.html
这是超分辨率任务的数据集。该数据集包含 480x270 视频，使用 5 种不同的编解码器（H.264、H.265、H.266、AV1 和 AVS3 标准）以 6 种不同的比特率（100 - 4000 kbps）进行解码。该数据集包含室内和室外视频以及动画。所有视频都具有较低的 SI/TI 值和简单的纹理。其目的是最大限度地减少可能发生的压缩伪影，从而使细节恢复成为可能。
Vimeo90K
gt分辨率[448, 256, 3], 每个clip包含7帧，训练集64612帧，测试集7824帧。
目标任务方向：
temporal frame interpolation(时域插帧）
video denoising（视频去噪）
video deblocking（视频去块）
video super-resolution（视频超分）
Inter4K
VideoLQ
TbD-3D
TbD
Falling Objects
RealMCVSR
REDS
REDS是高质量的视频超分(12807203)
REDS(Realistic and Dynamic Scenes) 数据集是在 NTIRE19 挑战赛中提出的数据集，常用于视频去模糊和视频超分辨率任务。该数据集由 240 个训练视频序列， 30 个验证视频序列和 30 个测试视频序列组成，每个视频序列由 100 个分辨率为 720x1280 的连续视频帧构成。
在高质量图片上做了4种不同的衰退处理，行成4个子数据集。1. Bicubic downsampling 2. Bicubic downsampling with motion blur 3. Motion blur 4. Motion blur with compression artifacts.
Vid4
Vid4 数据集是最流行的视频超分辨率测试集之一。该数据集由 4 个视频序列组成： ‘calendar’ (41 帧，分辨率为 576x720)，‘city’ (34 帧，分辨率为 576x704)，‘foliage’ (49 帧，分辨率为 480x720) 和 ‘walk’(47 帧，分辨率为 480x720)。
UDM10
Ultra Video Group HD
Xiph HD
算法
图像超分
视频超分
- ATD
- Real-ESRGAN
- BasicSR
- BasicVSR++ CVPR’2022
- RealBasicVSR CVPR’2022
- basicvsr CVPR2021
- COMISR
- VRT
- BSRGAN ICCV, 2021
- iart CVPR 2024
- PSRT-recurrent NIPS 2022
- rvrt
- ftvsr
- TTVSR CVPR’22