立即注册
查看: 1102|回复: 3

[无人机资料] 基于机载计算机的无人机智能巡检方案

已绑定手机
发表于 2022-7-23 14:31:24 | 显示全部楼层 |阅读模式 来自 广东省深圳市
摘要:随着无人机飞行制造技术的不断发展,传统人力巡检在一些领域已逐渐被无人机巡检所取代,相关领域已涉及到森林虫害、电力巡检、工地安全、渔政执法等;针对目前无人机巡检中对巡检目标的实时检测、结果的实时传输以及巡检飞行的智能操控需求,设计了一种基于机载计算机的无人机智能巡检方案;通过机载计算机取代传统方案的移动图形工作站,并结合轻量化网络对检测模型进行轻量化改进,实现无人机检测端直接进行边缘计算;然后通过优化机载端与APP的传输方案以及设计云端远程巡检控制方案,实现无人机的机载端实时自动回传检测结果,并上传至云平台;实验表明,该方案无需移动端复杂操控,可实现远程下发巡检任务指令并实时接收检测结果,达到远端人员可快速精准响应的目的。

无人机巡检是近几年才发展起来的新型技术,它融合了航空、遥感、电子、通信等多项高端技术。其中四旋翼无人机具有强灵活性、低功耗和低成本等优点,这使得其相关的应用领域已涉及到森林虫害检测、电力巡检、工地安全管理、渔政执法、露天矿场检测等。这些场景的存在着区域大、环境复杂和人力巡检作业成本高的特点。无人机巡检作业不仅弥补人工巡检安全不足、成本高等问题,而且由于其可携带多种传感器和相机镜头,使得无人机巡检方式在场景适配性和功能应用性上表现突出。
文献【4-5】基于地面移动图形工作站设计了无人机森林虫害检测系统,通过无人机遥控器控制无人机拍摄森林航拍图像,图像经过图传通道回传至遥控器端,再转发给地面服务器,最后运行图像目标检测算法得到检测结果。方案中检测系统由于需要人工控制拍摄森林图像,所以智能性较差,不具备实时性巡检的条件,且地面的移动图像工作站携带较为不方便。李宁等将无人机巡检应用到输电线路缺陷检测中,通过图传通信模块、地面工作终端完成无人机视频的传输和检测。该方案的特点在于通过射频信号回传无人机相机视频流到地面服务器,但是在无人机巡检飞行中,考虑到无人机的远距离高空飞行状况以及云台相机视频分辨率较大的问题,所以很难维持长时间稳定的、实时的视频流目标检测。
上述方案可知,以地面站服务器作为巡检方案的检测单元时存在着下面3个问题∶
1)检测输入为航拍图像时∶航拍图像需要人工筛选拍摄,而当检测目标不明显时可能造成遗漏,且此种方案无法达到智能化、自动化的巡检任务要求。
2)检测输入为相机视频流时∶在目前无人机视频流导出至地面服务器的传输方案中,接收输入容易出现中断、失真和延迟,故无法保证实时、稳定的视频目标检测。
3)地面站服务器在巡检过程中携带、安装不方便。故研究人员开始研究将检测单元转移至无人机端的巡检方案,即基于无人机板载平台来设计巡检方案。焦振田"采用了无人机端搭载机载计算机来设计用于森林防火的无人机安全检测系统,方案中机载计算机可以直接获取无人机相机视频流的进行检测识别,相比于地面工作站方案使得无人机端直接具备了边缘计算的能力,但是一方面机载端检测算法采用的是YOLOv3-Tiny,检测精度差,无法满足巡检边缘计算的要求。另一方面检测结果的回传困难,未实现完整一体化、实时的边缘计算结果的接收,同时整个系统在巡检的智能操控上仍需改进。
针对上述方案存在的问题,本文设计了一种基于机载计算机的无人机智能巡检方案。该方案结合大疆SDKDI (Software Development Kit)设计了机载计算机和无人机APP的操作控制程序,可实现完整一体化的边缘计算结果地面端和云平台端双重实时接收,且巡检操作设计简单灵活。机载端为保证实时的检测计算,借助轻量化模型来提升检测算法的计算速度。另外设计了远程云平台端的巡检操控和可视化方案,实现多端控制的同时,提升了远程监控人员的巡检决策和精准响应的能力。

1、无人机智能巡检方案
1.1  总体方案设计
如图1是以建筑工地工人安全帽佩戴检测场景为例,演示无人机智能巡检方案工作模式的示意图。用户在云平台或者移动终端设置好巡检任务指令,然后搭载机载计算机、云台相机和其他传感器的无人机接收并解析巡检任务指令,开始按照设置的巡航路线和飞行参数进行巡检作业。机载计算机在巡检飞行中读取云台相机的视频流,并运行相应的安全帽检测算法进行检测,分析得到的检测结果实时压缩回传至移动终端,APP接收后自动将检测结果和相应的状态信息打包上传至云平台。远程监控人员登录云平台后可实时查看检测结果和地图组件上标注的检测位置,做到及时精准的安全响应。
1.jpg
当遇到飞行环境不好或者检测的巡航路线设置错误等特殊情况,移动终端可以控制暂停或结束巡检作业,此时无人端也相应停止检测任务,用户可在检查情况安全后重新设置巡航检测命令或者切换至手动操纵模式。

1.2  硬件平台搭建
1.2.1  无人机平台
方案中无人机模块采用的是大疆公司的DJIMatrice210 RTKV2(简称M210RTKV2)。该无人机属于经纬M200 V2系列飞行平台,其设计紧凑,扩展灵活且飞行性能显著优化,可携带下置双云台或上置单云台。强大的负载携带能力和传感器扩展能力使得它能被DIY适用于多种无人机巡检飞行任务。实物图如图2。
2.jpg
1.2.2  机载计算机
方案中机载计算机采用的是大疆公司的妙算Manifold 2-G。该计算平台是一款专为智能机器打造的高性能机载计算机,具备卓越的处理能力和响应速度,扩展灵活,适配多款大疆飞行平台和飞控系统。Manifold 2-G的处理器是NVIDIA Jetson TX2,其配备NVIDIA Pascal GPU和8G内存,性能强大,外形小巧,节能高效。作为板载处理器,拥有专门与无人机固定的安装支架,保证高空飞行时的安全稳定。

1.3  检测信息的传输方案设计
检测信息的传输指将机载计算机的检测结果和无人机的状态信息实时回传至移动终端和云平台。方案的核心首先是实现整个巡检系统检测信息的实时传输,如图4是方案的检测信息传输流程图。
机载计算机运行安全帽检测算法得到检测结果后,分类筛选出未佩戴安全帽的结果。然后筛选的结果图片采用Jpeg压缩机制压缩为图像码流,机载计算机按照自定义的协议再分段缓存发送给APP,同时APP还会接收无人机状态信息。地面端的APP接收后从图像码流中解压缩恢复出检测结果,一方面将检测信息进行本地备份,用于现场查看;另一方面将信息重新打包后通过Http协议发送给云平台, 用于远端监控人员查看。
3.jpg

1.3.1  回传协议与检错机制设计
方案检测结果图片回传链路采用的是无人机的机载计算机和APP的通信链路。考虑到无人机远距离高空巡检环境,局域网的方式无法保证检测图片回传通信的稳定传输,而机载计算机与APP的通信链路嵌在遥控器与无人机的通信链路中,故远距离图传较为稳定,但方案中采用的硬件提供的图传带宽较窄。为了能够准确、实时的传输检测结果,分别设计了传输协议和APP的检错接收机制。
如表1是检测结果从机载计算机端到APP的回传协议,考虑到检测结果压缩后的码流数据量仍远大于通道带宽,无法一次发完,所以缓存多次发送。单次发送的数据段包括开始标志位、有效数据、检错标志位和结束标志位。有效数据的数据量依据实际带宽而调整,检错标志位用于APP端检测当次接收的数据段。

更多详细内容请下载附件查看
游客,如果您要查看本帖隐藏内容请回复

已绑定手机
发表于 2022-10-13 14:29:59 | 显示全部楼层 来自 浙江省嘉兴市
感谢,正好要用上NVIDIA Jetson
已绑定手机
发表于 2023-9-18 09:52:02 | 显示全部楼层 来自 江苏省苏州市
为了看东西只能注册也不知有没有用
已绑定手机
发表于 2023-10-20 15:49:39 | 显示全部楼层 来自 江苏省南京市
感谢分享66666666666666666
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

合作/建议

TEL: 19168984579

工作时间:
周一到周五 9:00-11:30 13:30-19:30
  • 扫一扫关注公众号
  • 扫一扫打开小程序
Copyright © 2013-2024 一牛网 版权所有 All Rights Reserved. 帮助中心|隐私声明|联系我们|手机版|粤ICP备13053961号|营业执照|EDI证
在本版发帖搜索
扫一扫添加微信客服
QQ客服返回顶部
快速回复 返回顶部 返回列表