首页 正文

什么是深度学习降噪方法?

#技术实践

近年来,随着深度学习的发展和崛起,涌现越来越多的基于深度学习的视频降噪方法,在降噪效果方面,较传统方法,展现出明显的优势。基于深度学习的方法,通常采用卷积神经网络模型,从大量的噪声图像和高清图像配对,学习噪声图像与高清图像之间的映射关系。基于深度学习的降噪方法,通常需要使用真实噪声的图像和高清图像pair的数据才能取得较好的降噪效果。

基于深度学习的降噪方法,根据卷积神经网络模型输入图像帧数,可将方法分类为单帧结构和多帧结构。单帧结构,输入是一帧有噪声图像,经模型处理后,输出一帧去噪的图像。多帧结构,输入是当前帧图像及与当前帧时序上相关的多帧图像,经模型处理后,输出一帧去噪的图像。单帧结构,由于没有考虑视频时序上的相关性,经过降噪后的视频,有可能出现画质闪烁的现象,而多帧结构降噪后的视频,画面的流畅性及平滑性更好。

 

 

1、单帧结构

单帧结构的降噪方法,最早的方法是采用卷积网络,将带有噪声的图像经过一系列的卷积处理,最后生成一张只包含噪声的残差图。随后,研究人员相继提出“编码器-解码器”结合跳跃连接结构、生成对抗网络、循环迭代等方法。

 

 

2、多帧结构

多帧结构的降噪方法很多,比较经典的是FastDvDnet。该方法的特点是不需要额外的模块来计算视频的帧间运动,它去噪的速度明显快于其他视频降噪方法。该方法取得很好的降噪效果的同时,能够兼容更大范围的噪声。在模型结构上,FastDvDnet分为2个阶段。第1阶段,每连续3帧送入Denoising Block 1,输出1个Feature Map。通过连续5帧,执行3次这种操作,可得到3个Feature Map。这3个Feature Map再送入第2阶段 Denoising Block2,输出降噪后的图像。Denoising Block是一个Unet结构,两个阶段的Denoising Block采用相同的Unet结构。

 

传统的视频降噪方法在效果上,弱于基于深度学习的视频降噪方法,但对算力的要求相对低一些。而基于深度学习的视频降噪方法,处理视频的速度慢,计算资源消耗高。随着终端设备的计算能力不断增强,专用AI芯片的应用,在终端设备上采用深度学习的视频降噪方法,将是一大趋势。