人体目标检测及跟踪技术一直以来都是计算机视觉领域中的重点研究技术。该技术在智能交通系统、智能机器人、智能安全监控系统、视频图像分析、智能教育教学系统及电子娱乐产品开发等方面有着广泛的应用前景,深受国内外研究人员的广泛关注。由于外界环境较为复杂,导致在处理过程中干扰项过多,使人体的检测和跟踪难度增加。因此在复杂环境中和不同的条件下对目标进行准确的跟踪是目前实际应用中一个亟待解决的难题。
基于减少外界干扰对视频帧影响的需求,本文针对Kinect双目摄像头获取的视频流数据,着重对人体目标的检测及跟踪技术进行研究。主要工作内容如下:
(1) 研究了Kinect数据流的图像显示、人体目标检测分割技术。针对双目视觉效果获取的深度数据流信息进行人体像素点标定,实现对人体目标与背景图像的分割。相较于其他分割技术而言,有较高的实时性和鲁棒性。
(2) 研究了Kinect视频流图像的预处理算法。针对分割后的人体目标前景图像进行一系列的预处理,包含有图像边缘噪声的滤波和图像形态学的腐蚀、填充等。并对基于Kinect数据流的几种滤波效果进行对比分析,最终采用中值滤波并结合空洞填补进行算法的优化改进。
(3) 研究了Kinect视频流的人体目标跟踪算法。分析了常用的两种视频跟踪的方法,并针对骨骼跟踪算法结合特征识别进行算法优化。该算法是以Kinect的骨骼追踪技术为基础,对人体骨骼数据进行分析,最终进行骨骼特征的识别及匹配。实验结果表明,该算法可以克服Kinect无法区分是否为同一人再次进入监控范围的不足之处。
(4) 设计一款基于Kinect人体骨架跟踪的演示应用系统。该系统通过获取视频码流、人体目标检测、滤波去噪、空洞填补、骨骼跟踪,手势识别等一系列的操作处理,完成对多媒体设备隔空操作的功能。该系统使用自然交互方式改善了传统交互方式的操作不便的缺点。