- 无标题文档
查看论文信息

中文题名:

 

基于深度学习的红外探测器非均匀性校正算法研究

    

姓名:

 朱太龙    

学号:

 1049721911694    

保密级别:

 公开    

论文语种:

 chi    

学科代码:

 080400    

学科名称:

 工学 - 仪器科学与技术    

学生类型:

 硕士    

学校:

 武汉理工大学    

院系:

 机电工程学院    

专业:

 仪器科学与技术    

研究方向:

 光电检测 计算机视觉技术    

第一导师姓名:

 牟新刚    

第一导师院系:

 机电工程学院    

完成日期:

 2023-03-23    

答辩日期:

 2023-05-12    

中文关键词:

 

红外探测器 ; 非均匀校正 ; 深度学习 ; 生成对抗网路 ; 模型轻量化

    

中文摘要:

红外探测器利用物体和背景自身辐射进行成像,在军事、工业、农业等多个领域都有广泛的应用。红外焦平面阵列作为红外成像系统的核心器件,受到电路设计、制作材料、加工工艺等因素限制,探测阵列上的探测单元对均匀辐射的响应差异导致成像结果中出现非均匀噪声,使红外图像质量下降严重。为消除非均匀噪声,需采用非均匀校正算法对红外图像进行处理。目前主要有基于标定、基于场景和基于深度学习的三类校正算法。其中基于标定和基于场景的校正算法存在重新标定、“鬼影”、鲁棒性差等问题,难以满足实际应用需求。本文针对基于深度学习的红外探测器非均匀性校正算法开展研究,主要内容包括:

(1)针对红外图像分辨率低下、纹理信息缺乏、对比度不足等特点,本文提出一种基于可见光图像协同的红外探测器非均匀性校正方法。该方法将可见光信息引入到红外非均匀校正任务中,能够帮助模型更好的保留红外图像纹理信息。算法设计端到端训练的生成模型,将待校正红外图像和可见光图像作为模型输入,分别对红外与可见光图像进行下采样特征提取后,通过特征融合和反卷积操作实现红外图像重建。在特征融合过程中,引入双注意力机制对特征权重进行调整,帮助模型更好的进行特征筛选。最后,利用公开数据集和自研数据集对模型进行训练和验证。通过定量分析和定性分析可知,引入可见光辅助后,校正后图像噪声去除效果良好,图像质量有显著提升。

(2)为进一步提升非均匀校正算法的鲁棒性,本文基于生成对抗网络思想,设计基于双判别器模型的改进生成对抗网络算法进行红外探测器非均匀性校正。该算法包括两个判别器:第一个判别器使用Vision Transformer技术对生成图像进行局部和全局的纹理判断;第二个判别器使用离散小波变换技术从频域角度对生成图像进行全局噪声水平判断。随后,通过设计损失函数,使生成器分别和两个判别器之间达到纳什均衡。实验中,制作不同噪声水平的红外图像,以验证本文算法与其他对比算法在鲁棒性方面的差异。实验表明,在弱噪声或强噪声条件下,提出的算法都具有良好的校正结果,具有较好的鲁棒性。

(3)针对深度学习算法计算开销大、内存占用高等问题,本文对提出的非均匀校正算法进行轻量化改进,主要包括两个方面:第一,设计一种轻量化多尺度下采样模块实现生成模型轻量化。该模块利用Space_to_depth算法对特征图进行下采样和通道扩展,并结合深度可分离卷积进行多尺度特征提取。通过不同轻量化下采样模块对比以及不同校正算法轻量化改进对比可知,该模块能够有效提升模型运行速度和降低模型复杂度,且保持良好的特征提取能力;第二,对通道注意力机制进行轻量化改进,实现模型参数数量的进一步减少。与其他校正算法进行对比分析可知,提出的轻量化非均匀校正算法在保证校正结果图像质量的同时,具有较快的运行速度和较少的内存占用。

本文提出的红外探测器非均匀校正算法校正结果良好且算法稳定,对提高红外探测器成像效果有应用价值,轻量化模型也为实时校正提供良好基础。

参考文献:

[1] 李相迪, 黄英, 张培晴. 红外成像系统及其应用[J]. 激光与红外, 2014, 44(3): 229-234.

[2] Kimata M. Uncooled infrared focal plane arrays[J]. IEEJ Transactions on Electrical and Electronic Engineering, 2018, 13(1): 4-12.

[3] 周建勋, 王利平, 刘滨. 红外图像非均匀性产生原因分析[J]. 红外与激光工程, 1997(03):11-13.

[4] 陆俊杰. 基于深度学习的红外探测器非均匀性校正算法研究[D]. 武汉: 武汉理工大学, 2020.

[5] 姜平. 基于FPGA非制冷红外热成像系统设计[D]. 沈阳: 沈阳理工大学, 2020.

[6] 唐艳秋. 非制冷型红外成像系统关键技术研究[D]. 长春: 中国科学院大学(中国科学院长春光学精密机械与物理研究所), 2016.

[7] Sui X, Chen Q, Gu G. Adaptive grayscale adjustment-based stripe noise removal method of single image[J]. Infrared Physics & Technology,2013, 60: 121-128.

[8] Sungho K. Two-point correction and minimum filter-based nonuniformity correction for scan-based aerial infrared cameras[J]. Optical Engineering,2012, 51 (10): 1-13.

[9] Boutemedjet A, Deng C W, Zhao B J. Robust Approach for Nonuniformity Correction in Infrared Focal Plane Array[J]. Sensors, 2016, 16 (11):1890-1912.

[10] 屈惠明, 陈钱. 红外焦平面阵列二元非线性的非均匀性理论模型[J].电子学报, 2008(11):72-75.

[11] 白俊奇, 陈钱, 钱惟贤, 等. 基于环境温度的红外焦平面阵列非均匀性校正[J]. 红外与毫米波学报, 2010,29(1):49-52.

[12] 朱瑞飞, 王超, 魏群, 等. 红外探测器非均匀性校正系统研制[J]. 红外与激光工程, 2013, 42(7):1669-1673.

[13] 关同辉, 张同贺. 一种新型实时两点非均匀性校正方法[J]. 航空兵器, 2021, 28(4):112-117.

[14] 黄宇, 张宝辉, 吴杰, 等. 自适应多点定标非均匀性校正算法[J]. 红外技术, 2020, 42(7):637-643.

[15] John G Harris, Chiang Y M. Nonuniformity Correction of Infrared Image Sequences Using the Constant-Statistics Constraint[J]. IEEE Transactions on Image Processing,1999, 8(8): 1148-1151.

[16] Scribner D A, Sakady K A, Caulfield J T, et al. Nonuniformity Correction for staring IR fo-cal plane arrays using scene-based techniques[C]. //Infrared Detectors and Focal Plane Ar-rays, SPIE,1990,1308: 224-234.

[17] 刘永进, 朱红, 赵亦工. 基于稳态卡尔曼滤波的红外焦平面阵列非均匀校正算法[J]. 光学学报, 2008, 29(009):1697-1702.

[18] Zuo C, Chen Q, Gu G, et al. New temporal high-pass filter nonuniformity correction based on bilateral filter[J]. Optical review, 2011, 18(2):197-202.

[19] Harris J G, Chiang Y M. Nonuniformity correction using the constant-statistics constraint: analog and digital implementations[J]. Proceedings of SPIE - The International Society for Optical Engineering, 1997, 3061:895-905.

[20] Hardie R C, Hayat M M, Armstrong E, et la. Scene-based nonuniformity correction with video sequences and registration[J]. Applied optics, 2000,39(8):1241-1250.

[21] Chao Z, Qian C, Gu G, et al. Improved interframe registration based nonuniformity correc-tion for focal plane arrays[J]. Infrared Physics & Technology, 2012, 55(4):263-269.

[22] 牟新刚, 赵建新, 欧科君. 基于图像块先验的单帧红外自适应校正算法[J]. 激光与红外, 2017, 47(12):1548-1552.

[23] 颜刘挺. 红外图像非均匀性校正技术研究[D]. 武汉: 华中科技大学, 2019.

[24] 王杰, 洪闻青, 葛朋, 等. 基于像素级辐射自校准的红外图像非均匀性校正改进方法[J]. 红外技术, 2021, 43(3):246-250.

[25] 文高进, 王洪民, 钟灿, 等. 基于图像熵的红外非均匀性参数化校正优选方法[J]. 航天返回与遥感, 2021, 042(004):91-98.

[26] 赵振男, 宋鸿飞, 任宏凯. 一种改进的基于场景的非均匀性校正方法[J]. 长春理工大学学报:自然科学版, 2020, 43(2):53-57.

[27] 彭杰. 基于复杂运动的多尺度红外图像非均匀校正技术研究[D], 南京: 南京邮电大学, 2020.

[28] 吕宝林, 佟首峰, 徐伟, 等. 基于配准的机载红外非均匀性校正技术应用[J]. 中国光学, 2020, 13(5):1124-1137.

[29] 肖文健, 许振领, 周旋风. DMD红外场景产生器非均匀性校正方法研究[J]. 红外技术, 2021, 43(1):21-25.

[30] 龙虎, 张泓筠. 大数据量红外图像非均匀性校正仿真研究[J]. 计算机仿真, 2019, 36(1):4.

[31] Scribner D A, Sarkady K A, Kruer M R, et al. Adaptive nonuniformity correction for IR fo-cal-plane arrays using neural networks[J]. Proceedings of SPIE - The International Society for Optical Engineering, 1991, 1541:100-109.

[32] 程起森, 张元涛, 孙德新. 基于非线性模型的神经网络非均匀性校正方法[J]. 红外技术, 2018, 40(9):868-874.

[33] 张明杰, 李岩, 马文坡, 等. 基于区域校正的大面阵红外探测器非均匀性校正方法[J]. 红外技术, 2021, 43(4):234-333.

[34] Lecun Y, Bottou L, Bengio Y, et al. Gradient-based learning applied to document recogni-tion[J]. IEEE,1998, 86 (11): 2278-2324.

[35] 赵建新. 红外探测器自适应校正算法研究[D]. 武汉: 武汉理工大学, 2018.

[36] 杨毓鑫, 基于深度学习的红外图像质量提升关键技术研究[D], 西安: 西安电子科技大学, 2020.

[37] 袁海强, 基于深度学习的红外图像条纹非均匀性校正[D], 西安: 西安电子科技大学, 2020.

[38] 牟新刚, 崔健, 周晓. 基于全卷积网络的红外图像非均匀性校正算法[J]. 红外技术, 2022, 44(1):21-27.

[39] 桑柳, 基于深度学习的红外图像去噪算法研究[D], 西安: 西安电子科技大学, 2020.

[40] 崔健. 基于深度学习的红外探测器非均匀性校正算法研究[D]. 武汉: 武汉理工大学, 2021.

[41] 谢小红, 李文韬, 孙晓燕. 深度残差网络综述[J]. 信息与电脑,2021(16):85-87.

[42] Mou X, Lu J, Zhou X. Single frame infrared image adaptive correction algorithm based on residual network[C]. The 11th International Symposium on Photonics and Optoelectronics (SOPO), 2018.

[43] 赖睿, 官俊涛, 徐昆然, 等. 级联残差学习的红外图像非均匀性校正方法[J]. 西安电子科技大学学报, 2019(1):14-19.

[44] 崔正大, 基于深度学习的红外图像分析研究与应用[D], 扬州: 扬州大学, 2020.

[45] 张涛, CMOS非均匀性校正方法研究[D], 成都: 电子科技大学, 2021.

[46] 陈佛计, 朱枫, 吴清潇, 等. 基于生成对抗网络的红外图像数据增强[J]. 计算机应用, 2020(7):2084-2088.

[47] 刘汝佳, 基于随机丢弃的多鉴别器生成对抗网络研究[D], 成都: 电子科技大学, 2020.

[48] 冯晓硕, 沈樾, 王冬琦. 基于图像的数据增强方法发展现状综述[J]. 计算机科学与应用, 2021(2):370-382.

[49] 杨洋. 红外图像非均匀性校正算法研究[D]. 南京: 南京理工大学,2017.

[50] 关英. 典型目标的红外图像处理与识别方法研究[D]. 沈阳: 沈阳理工大学, 2020.

[51] Mooney J M, Shepherd F D, Ewing W S, et al. Responsivity nonuniformity limited perfor-mance of infrared staring cameras[J]. Optical Engineering,1989, 28 (11): 1151-1161.

[52] 樊凡. 基于场景的红外非均匀性校正算法研究[D]. 武汉: 华中科技大学, 2015.

[53] 中国国家标准化管理委员会. 红外焦平面阵列参数测试方法[S]. 北京: 中国标准出版社, 2013.

[54] 王晓峰, 郭瑞芳. 基于平均梯度和标准差的图像融合质量评价方法[J]. 计算机工程与应用, 2010(35): 192-194.

[55] Ronneberger O, Fischer P, Brox T. U-Net: Convolutional Networks for Biomedical Image Segmentation[C]. //Medical Image Computing and Computer-Assisted Intervention – MICCAI 2015,2015: 234-241.

[56] 徐东东. 基于无监督深度学习的红外与可见光图像融合方法研究[D]. 长春: 中国科学院大学(中国科学院长春光学精密机械与物理研究所), 2020.

[57] Bahdanau D, Cho K, Bengio Y. Neural Machine Translation by Jointly Learning to Align and Translate[J]. arXiv:1409.0473, 2014.

[58] Jie, Shen, Samuel, et al. Squeeze-and-Excitation Networks[J]. IEEE transactions on pattern analysis and machine intelligence, 2019, 42(8):2011-2023.

[59] Jaderberg M, Simonyan K, Zisserman A, et al. Spatial Transformer Networks[J]. MIT Press, 2015, 28(2):2017-2025.

[60] Vaswani A, Shazeer N, Parmar N, et al. Attention Is All You Need[J]. arXiv:17056.03762, 2017.

[61] Ioffe S, Szegedy C. Batch normalization: Accelerating deep network training by reducing internal covariate shift[C]. //International Conference on Machine Learning,2015.

[62] Tang L, Yuan J, Ma J. Image fusion in the loop of high-level vision tasks: A semantic-aware real-time infrared and visible image fusion network[J]. Information Fusion, 2022, 82:28-42.

[63] Xu H, Ma J, Le Z, et al. FusionDN: A Unified Densely Connected Network for Image Fu-sion[C]// AAAI. 2020:12484-12491.

[64] Liu J Y, Li X D, Guo Z Q. Target-aware Dual Adversarial Learning and a Multi-scenario Multi-Modality Benchmark to Fuse Infrared and Visible for Object Detection[J]. Computer Vision and Pattern Recognition (CVPR), 2022: 1-10.

[65] Wang Z, Simoncelli E P, Bovik A C. Multi-scale structural similarity for image quality as-sessment[C]. //The Thrity-Seventh Asilomar Conference on Signals, Systems & Computers, 2003. IEEE, Pacific Grove, CA, USA, 2003: 1398-1402.

[66] Tendero Y, Gilles J, Landeau S, et al. Efficient single image non-uniformity correction algo-rithm[C]. //Electro-Optical and Infrared Systems: Technology and Applications VII,2010.

[67] Zewei, He, Yanpeng, et al. Single-image-based nonuniformity correction of uncooled long-wave infrared detectors: a deep-learning approach[J]. Applied Optics, 2018 57(18):155-164.

[68] Chang Y, Yan L, Liu L, et al. Infrared Aerothermal Nonuniform Correction via Deep Mul-tiscale Residual Network[J]. IEEE Geoscience and Remote Sensing Letters, 2019, 16 (7): 1120-1124.

[69] Goodfellow I J, Pouget-Abadie J, Mirza M, et al. Generative Adversarial Nets[C]. //International Conference on Neural Information Processing Systems,2014: 276-285.

[70] Mirza M, Osindero S. Conditional Generative Adversarial Nets[J]. Computer Science, 2014: 2672-2680.

[71] Isola P, Zhu J Y, Zhou T, et al. Image-to-image translation with conditional adversarial net-works[C]. IEEE conference on computer vision and pattern recognition,2017: 1125-1134.

[72] Dosovitskiy A, Beyer L, Kolesnikov A, et al. An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale[J]. arXiv:2010.11929, 2020.

[73] Jensen A, Cour-Harbo A L. Ripples in Mathematics: The Discrete Wavelet Transform[M]. Springer Berlin Heidelberg, 2001.

[74] Xie S, Girshick R, P Dollár, et al. Aggregated Residual Transformations for Deep Neural Networks[J]. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017:5987-5995.

[75] Shi G, Yan Z, Kai Z, et al. Toward Convolutional Blind Denoising of Real Photographs[J]. arXiv:2202.04256, 2018.

[76] Dan D, Li Y, Zhao P, et al. Single infrared image stripe removal via residual attention net-work[J]. Sensors, 2022, 22, 8734.

[77] Jiang Y, Tan Z, Wang J, et al. GiraffeDet: A Heavy-Neck Paradigm for Object Detection[J]. arXiv:2202.04256, 2022.

[78] Szegedy C, Liu W, Jia Y, et al. Going Deeper with Convolutions[J]. 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2015:1-9

[79] Liu F, Xu H, Qi M, et al. Depth-Wise Separable Convolution Attention Module for Garbage Image Classification[J]. Sustainability (Switzerland), 2022,14(5): 1-18.

[80] Yu F, Koltun V. Multi-Scale Context Aggregation by Dilated Convolutions[J]. arXiv:1511.07122, 2016.

[81] Howard A G, Zhu M, Chen B, et al. MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications[J]. arXiv:1704.04861, 2017.

[82] Howard A, Sandler M, Chen B, et al. Searching for MobileNetV3[C]. 2019 IEEE/CVF In-ternational Conference on Computer Vision (ICCV), Seoul, Korea (South), IEEE, 2020:1314-1324.

[83] Liu Z, Mao H, Wu C Y, et al. A ConvNet for the 2020s[C]. 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). New Orleans, LA, USA, IEEE, 2022:11966-11976.

[84] K. Han, Y. Wang, Q. Tian et al. GhostNet: More Features from Cheap Operations[C]. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Seattle, WA, USA, IEEE, 2020:1577-1586.

[85] Kai Z, Zuo W, Chen Y, et al. Beyond a Gaussian Denoiser: Residual Learning of Deep CNN for Image Denoising[J]. IEEE Transactions on Image Processing, 2017, 26(7): 3142-3155.

[86] Wang Y Z, Huang H B, Xu Q, et al. Practical Deep Raw Image Denoising on Mobile Devic-es[J]. European Conference on Computer Vision (ECCV), 2020: 1-17.

中图分类号:

  TN215    

条码号:

 002000072586    

馆藏号:

 TD10058980    

馆藏位置:

 403    

备注:

 403-西院分馆博硕论文库;203-余家头分馆博硕论文库    

无标题文档

   建议浏览器: 谷歌 火狐 360请用极速模式,双核浏览器请用极速模式