- 无标题文档
查看论文信息

中文题名:

 

基于脑机接口的无人机动态目标选择及跟随方法研究

    

姓名:

 喻新程    

学号:

 1049722004098    

保密级别:

 公开    

论文语种:

 chi    

学科代码:

 080700    

学科名称:

 工学 - 动力工程及工程热物理    

学生类型:

 硕士    

学校:

 武汉理工大学    

院系:

 汽车工程学院    

专业:

 动力工程与工程热物理    

研究方向:

 脑机接口    

第一导师姓名:

 颜莉蓉    

第一导师院系:

 汽车工程学院    

完成日期:

 2023-03-28    

答辩日期:

 2023-05-21    

中文关键词:

 

脑机接口 ; 无人机 ; 稳态视觉诱发电位 ; 跟随控制 ; 半实物仿真

    

中文摘要:

无人机可以代替人类完成许多人力所不能及的任务,提升工作效率,在生产生活中的应用愈加广泛。高效的人机交互有利于有效发挥和提升无人机性能,是无人机的重要研究方向。脑机接口(Brain-Computer Interface,BCI)是一种新的人机交互方式,将其应用于无人机中,可以实现手脑协同控制,提升系统响应速度。在经典的BCI范式——稳态视觉诱发电位(Steady-State Visual Evoked Potential,SSVEP)范式中,刺激界面多为静态背景,与实际应用场景的结合度不够,且刺激块多在固定位置,有必要研究动态目标运动特征的捕捉方法和连贯自然的选择方式。因此,本文基于BCI技术、围绕无人机对动态目标的选择与跟随方法进行了一系列研究,主要完成了以下工作。

(1)基于SSVEP-BCI的动态目标选择方法研究。结合YOLOv5算法与SSVEP设计了动态SSVEP实验范式,以视频影像为刺激界面,在目标识别的基础上,将不同频率的SSVEP刺激块叠加在各动态目标位置处并跟随目标移动,使得用户在对动态目标进行选择时能实时感知环境变化,做出更合理的决策。招募了9名被试开展离线实验,对脑电数据的分析表明,平均准确率为82.01%,平均信息传输率(Information Transfer Rate,ITR)为26.02bits/min,验证了系统的可行性。

(2)固定翼无人机跟随控制方法研究。在坐标系转换的基础上推导出了某型固定翼无人机的运动方程,包括纵向运动和横侧向运动方程。基于参考点跟踪制导方法构建了无人机的目标跟随控制系统,结合PID控制算法设计了纵向运动与横侧向运动的控制策略,并在MATLAB/Simulink中搭建了五个控制回路(俯仰角、偏航角、滚转角、速度、高度)的仿真模型。采用自适应遗传算法对PID参数进行快速整定,并在仿真模型中进行了效果验证。5个控制回路在给定期望输入的情况下均能在短时间内到达稳定状态,系统有较小的上升时间和调节时间,且超调量均小于5%,性能良好。

(3)脑控无人机半实物模拟训练平台搭建与测试。构建了包括飞行控制系统、任务控制系统、脑机接口系统和半实物仿真系统的脑控无人机平台,并对其动态目标选择及跟随飞行的性能进行了验证。首先将MATLAB/Simulink中的仿真模型导出为C++代码,并嵌入到飞行仿真服务器中,实现无人机飞行状态实时仿真和参数分发。基于Qt框架编写了飞行控制、导航、任务控制和龙门架控制等多个客户端,实现了客户端对飞行仿真服务器中的无人机信息的实时读写。基于可编程逻辑控制器(Programmable Logic Controller,PLC)、数字量和模拟量输入设备完成了飞行控制操纵台和任务控制操纵台的开发,实现了硬件与软件平台的联合控制。基于龙门架三轴运动导轨、大疆M210 V2 RTK型无人机和高精度实物地图搭建了半实物仿真系统,对固定翼无人机的六自由度运动以及飞行视景进行模拟。编写了云台控制节点和视频传输节点,响应快速且流畅。招募了3名被试开展在线实验,平均准确率为85.71%,平均ITR为27.69bits/min,实际路径跟踪曲线与理想路径曲线良好拟合。结果表明本平台能够有效模拟飞控手脑控无人机选择动态目标并执行跟随飞行任务的过程,为脑控无人机的研究提供了新的思路和方法。

参考文献:

[1] 孟令博. 基于相关滤波的无人机目标跟踪算法与控制方法研究 [D]. 哈尔滨: 哈尔滨工业大学, 2021.

[2] 刘亚茹. 基于脑机接口的多移动目标选择技术研究 [D]. 长沙: 国防科技大学, 2016.

[3] Biasiucci A, Franceschiello B, Murray M M. Electroencephalography [J]. Current Biology, 2019, 29(3): R80-R85.

[4] Burns A, Adeli H, Buford J A. Brain-computer interface after nervous system injury [J]. Neuroscientist, 2014, 20(6): 639-651.

[5] 赵树楠. 基于脑机接口的科研实验平台及关键技术研究 [D]. 大连: 大连理工大学, 2022.

[6] 张楠楠. 脑机接口中的视觉刺激设计与优化方法研究 [D]. 长沙: 国防科技大学, 2019.

[7] 支丹阳, 杜秀兰, 赵靖, et al. 基于便携式脑电信号采集器的脑-机器人交互系统 [J]. 电子测量与仪器学报, 2016, 30(5): 694-701.

[8] Abiri R, Borhani S, Sellers E W, et al. A comprehensive review of EEG-based brain-computer interface paradigms [J]. J Neural Eng, 2019, 16(1): 011001.

[9] 吴海静, 何庆华, 田逢春. 基于瞬态视觉诱发电位的识别算法研究 [J]. 传感器与微系统, 2012, 31(4): 47-49.

[10] 张杨松, 夏敏, 陈科, et al. 稳态视觉诱发电位频率识别算法研究进展 [J]. 生物医学工程学杂志, 2022, 39(1): 192-197.

[11] Polich J. Updating P300: an integrative theory of P3a and P3b [J]. Clinical neurophysiology, 2007, 118(10): 2128-2148.

[12] Morrow T J, Casey K L. A microprocessor device for the real-time detection of synchronized alpha and spindle activity in the EEG [J]. Brain research bulletin, 1986, 16(3): 439-442.

[13] 乔敏. 基于增强现实的脑机接口系统的研究与实现 [D]. 太原: 太原理工大学, 2020.

[14] Ghasemi M, Varshosaz M, Pirasteh S, et al. Optimizing Sector Ring Histogram of Oriented Gradients for human injured detection from drone images [J]. Geomatics, Natural Hazards and Risk, 2021, 12(1): 581-604.

[15] Al-Khafaji S L, Jun Z, Zia A, et al. Spectral-Spatial Scale Invariant Feature Transform for Hyperspectral Images [J]. IEEE Trans Image Process, 2018, 27(2): 837-850.

[16] Lee C, Kim D. Visual Homing Navigation With Haar-Like Features in the Snapshot [J]. IEEE Access, 2018, 6: 33666-33681.

[17] 陈炜. 多尺度水下目标检测算法研究 [D]. 南京: 南京邮电大学, 2021.

[18] Murphy T M, Broussard R, Schultz R, et al. Face detection with a Viola–Jones based hybrid network [J]. IET Biometrics, 2016, 6(3): 200-210.

[19] Xu Y, Yu G, Wang Y, et al. A Hybrid Vehicle Detection Method Based on Viola-Jones and HOG + SVM from UAV Images [J]. Sensors (Basel), 2016, 16(8).

[20] Cheng D, Gong Y, Wang J, et al. Balanced Mixture of Deformable Part Models With Automatic Part Configurations [J]. IEEE Transactions on Circuits and Systems for Video Technology, 2017, 27(9): 1962-1973.

[21] 张朔. 基于改进YOLOv4算法的航拍图像目标检测及实时传输 [D]. 保定: 河北大学, 2021.

[22] Shuang K, Lyu Z, Loo J, et al. Scale-balanced loss for object detection [J]. Pattern Recognition, 2021, 117.

[23] Jin G, Taniguchi R-I, Qu F. Auxiliary Detection Head for One-Stage Object Detection [J]. IEEE Access, 2020, 8: 85740-85749.

[24] Zhang L, Yan Y, Cheng L, et al. Learning Object Scale With Click Supervision for Object Detection [J]. IEEE Signal Processing Letters, 2019, 26(11): 1618-1622.

[25] Li Y, Zhang J, Huang K, et al. Mixed Supervised Object Detection with Robust Objectness Transfer [J]. IEEE Trans Pattern Anal Mach Intell, 2019, 41(3): 639-653.

[26] Xu X, Zhao M, Shi P, et al. Crack Detection and Comparison Study Based on Faster R-CNN and Mask R-CNN [J]. Sensors (Basel), 2022, 22(3).

[27] 曹连雨. 基于深度卷积神经网络的遥感影像目标检测技术研究及应用 [D]. 北京: 北京科技大学, 2022.

[28] Zhao H, Li Z, Fang L, et al. A Balanced Feature Fusion SSD for Object Detection [J]. Neural Processing Letters, 2020, 51(3): 2789-2806.

[29] Hsu W Y, Lin W Y. Ratio-and-Scale-Aware YOLO for Pedestrian Detection [J]. IEEE Trans Image Process, 2021, 30: 934-947.

[30] Ju, Luo, Wang, et al. The Application of Improved YOLO V3 in Multi-Scale Target Detection [J]. Applied Sciences, 2019, 9(18).

[31] 夷德. 基于YOLO的目标检测优化算法研究 [D]. 南京: 南京邮电大学, 2021.

[32] Ding Y, Wang X, Cong Y, et al. Scalability Analysis of Algebraic Graph-Based Multi-UAVs Formation Control [J]. IEEE Access, 2019, 7: 129719-129733.

[33] He L, Zhang J, Hou Y, et al. Time-Varying Formation Control For Second-Order Discrete-Time Multi- Agent Systems With Switching Topologies and Nonuniform Communication Delays [J]. IEEE Access, 2019, 7: 65379-65389.

[34] Ding X, Guo P, Xu K, et al. A review of aerial manipulation of small-scale rotorcraft unmanned robotic systems [J]. Chinese Journal of Aeronautics, 2019, 32(1): 200-214.

[35] 郑健. 基于无模型自适应控制方法的四旋翼飞行器姿态调整 [D]. 北京: 北京交通大学, 2015.

[36] 高青, 袁亮, 吴金强. 基于新型LQR的四旋翼无人机姿态控制 [J]. 制造业自动化, 2014, 36(10): 13-16.

[37] 李珺, 王娜, 花玉, et al. 基于干扰观测器的四旋翼飞行器反步控制研究 [J]. 计算机仿真, 2020, 37(4): 28-33.

[38] 张志赟, 谢习华. 四旋翼无人机模型参考自适应滑模控制 [J]. 制造业自动化, 2020, 42(2): 9-15.

[39] 李威, 田春宝. 基于自适应反步滑模控制的无人机滚转控制 [J]. 沈阳航空航天大学学报, 2022, 39(3): 33-39.

[40] 费爱玲, 李柠, 李少远. 固定翼无人机的自抗扰反步控制 [J]. 控制理论与应用, 2016, 33(10): 1296-1302.

[41] Phu N D, Hung N N, Ahmadian A, et al. A New Fuzzy PID Control System Based on Fuzzy PID Controller and Fuzzy Control Process [J]. International Journal of Fuzzy Systems, 2020, 22(7): 2163-2187.

[42] Hernandez-Barragan J, Rios J D, Alanis A Y, et al. Adaptive Single Neuron Anti-Windup PID Controller Based on the Extended Kalman Filter Algorithm [J]. Electronics, 2020, 9(4): 636-663.

[43] Mousakazemi S M H, Ayoobian N, Ansarifar G R. Control of the reactor core power in PWR using optimized PID controller with the real-coded GA [J]. Annals of Nuclear Energy, 2018, 118: 107-121.

[44] Wang S, Liang H, Wang J. GA PID control research in inverter motor speed governing system [J]. Journal of Computational Methods in Sciences and Engineering, 2019, 19(2): 299-306.

[45] Ky L H, Wang Z, Ran X, et al. GA Tuning PID Controller Based on Second-order Time-delay Industrial System [J]. MATEC Web of Conferences, 2019, 288.

[46] Feng H, Yin C, Weng W, et al. Robotic excavator trajectory control using an improved GA based PID controller [J]. Mechanical Systems and Signal Processing, 2018, 105: 153-168.

[47] 刘奇胜. 基于视觉的四旋翼无人机目标跟踪系统的设计与实现 [D]. 成都: 电子科技大学, 2019.

[48] 陈均瑞. 无人机对空中运动目标的视觉跟踪与跟随控制技术研究 [D]. 南京: 南京航空航天大学, 2019.

[49] 王祥科, 陈浩, 赵述龙. 大规模固定翼无人机集群编队控制方法 [J]. 控制与决策, 2021, 36(9): 2063-2073.

[50] 陈浩. 复杂条件下固定翼无人机集群编队控制研究 [D]. 长沙: 国防科技大学, 2020.

[51] 刘晨阳. 基于AR-BCI的脑机交互方法研究 [D]. 郑州: 郑州大学, 2020.

[52] 郭毅. 基于ROS和脑电的无人机远程控制与实现 [D]. 西安: 西安电子科技大学, 2018.

[53] Nawaz S A, Li J, Bhatti U A, et al. AI-based object detection latest trends in remote sensing, multimedia and agriculture applications [J]. Frontiers in Plant Science, 2022, 13.

[54] Redmon J, Divvala S, Girshick R, et al. You only look once: Unified, real-time object detection [C]. Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 779-788.

[55] Redmon J, Farhadi A. YOLO9000: better, faster, stronger [C]. Proceedings of the IEEE conference on computer vision and pattern recognition. 2017: 7263-7271.

[56] Redmon J, Farhadi A. Yolov3: An incremental improvement [J]. arXiv preprint arXiv:180402767, 2018.

[57] Bochkovskiy A, Wang C-Y, Liao H-Y M. Yolov4: Optimal speed and accuracy of object detection [J]. arXiv preprint arXiv:200410934, 2020.

[58] Jocher G. YOLOv5 release v7.0 [OL]. GitHub, 2022. https://github.com/ultralytics/yolov5/releases/tag/v7.0.

[59] Li C, Li L, Jiang H, et al. YOLOv6: A single-stage object detection framework for industrial applications [J]. arXiv preprint arXiv:220902976, 2022.

[60] Wang C-Y, Bochkovskiy A, Liao H-Y M. YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors [J]. arXiv preprint arXiv:220702696, 2022.

[61] Jocher G. YOLOv8 [OL]. GitHub, 2023. https://github.com/ultralytics/ultralytics.

[62] 吴森堂, 费玉华. 飞行控制系统 [M]. 北京: 北京航空航天大学出版社, 2005.

[63] 苏奔. 小型固定翼无人机飞控建模与控制律设计 [D]. 哈尔滨: 哈尔滨工业大学, 2020.

[64] 王松涛. 固定翼无人机飞行控制系统设计 [D]. 北京: 北京理工大学, 2015.

[65] Liu W, Ma B, Ma L, et al. Application of Kalman filter combined with genetic PID control algorithm in improving seeding accuracy [J]. Journal of Anhui Agricultural University, 2021, 48(4): 674-679.

[66] 吴晓莉, 张雷. 遗传算法优化前馈PID控制电液系统研究 [J]. 中国工程机械学报, 2020, 18(2): 125-130.

[67] 刘伟, 马彪, 马利强, et al. 卡尔曼滤波融合遗传PID控制算法在提高播种精度中的应用 [J]. 安徽农业大学学报, 2021, 48(4): 674-679.

[68] Yu X, Yan L, Guan Z, et al. Control of Fixed-wing UAV Using Optimized PID Controller with the Adaptive Genetic Algorithm [C]. 2022 IEEE International Conference on Real-time Computing and Robotics (RCAR). IEEE, 2022: 298-303.

中图分类号:

 V279    

条码号:

 002000071293    

馆藏号:

 TD10058457    

馆藏位置:

 403    

备注:

 403-西院分馆博硕论文库;203-余家头分馆博硕论文库    

无标题文档

   建议浏览器: 谷歌 火狐 360请用极速模式,双核浏览器请用极速模式