视频降噪是一种可以消除或减缓视频中存在的噪声或干扰信号的技术。图像、视频从采集到播放的整个生命周期中会经历各种各样的处理过程,比如采集、剪辑、编码、转码、传输、显示等,每个处理过程都会引入失真。这些失真会影响视频的质量,导致观看体验下降,甚至影响视频内容的理解和识别。
传统的视频降噪方法:可分为单帧降噪和多帧降噪。
1、单帧降噪
单帧降噪方法亦可分为空域降噪和频域降噪。
1.1 空域降噪方法有均值滤波、中值滤波、高斯滤波、双边滤波、导向滤波等。
- 均值滤波,计算每一个像素点周围像素点(包括该点)的平均值,作为该像素点滤波之后的值,通常取以该像素点为中心的矩形窗口内的所有像素点来计算平均值。
- 中值滤波与均值滤波的区别在于,中值对矩形窗口内的所有像素值进行排序,取中值作为滤波后的值。
- 高斯滤波是一种加权滤波器,它根据高斯函数来选择权值进行线性平滑滤波,对随机分布和服从正态分布的噪声有很好地滤除效果。双边滤波也是采用加权平均的方法,用周边像素亮度值的加权平均代表某个像素的强度,所用的加权平均基于高斯分布。
- 双边滤波的权重不仅考虑了像素的欧氏距离(如普通的高斯低通滤波,只考虑了位置对中心像素的影响),还考虑了像素范围域中的辐射差异(例如卷积核中像素与中心像素之间相似程度、颜色强度,深度距离等)。
- 导向图滤波是一种图像滤波技术,通过一张引导图G,对目标图像P(输入图像)进行滤波处理,使得最后的输出图像大体上与目标图像P相似,但是纹理部分与引导图G相似。
1.2 频域降噪,其基本思想是将图像转换至频域后,根据图像自然特征的不同统计特性设计不同性质的滤波器进行噪声滤波,然后将频域滤波结果反变换至原空间域。主流的频域变换有快速傅里叶变换域、离散余弦变换域和小波变换域。
2、多帧降噪
多帧降噪的主要步骤有两个,对齐和融合。
对齐就是找到多帧图像中像素(块)的对应关系。融合是将这些对应的像素(块)在空域或者频域做加权平均。为了确定加权平均的权重值,我们需要知道像素(块)之间的差异是由于对齐不准造成的还是因为噪声造成的,因此需要估计噪声强度。一个准确的噪声强度估计算法,对多帧降噪的效果会起到至关重要的作用。