基于深度学习的现场安全管控
一、成果简介
（一）成果概述
现场安全管控方案针对现场中简单的目标检测任务无法满足实际生产需要的问题，结合目标检测、关键点检测、实例分割等计算机视觉任务，对于不同的违规行为制定了多种检测方案。
系统微服务架构图图下图所示，所有任务（包括业务引擎）都可以视为一个微服务，在任务服务容器中处理各种违规行为检测，在业务引擎容器中负责对外交互以及任务调度等功能。
图1 系统微服务架构图
任务运行流程图如图2所示，对于接收到的每一个任务最终都要在单帧图像上进行分析。如果任务类型为视频任务，则创建一个视频流解析线程，试试获取最新的监控图像。同时启动任务相关的模型，在多个进程中单独运行，将获取到的图像通过管道输入模型获得所需的边框坐标、关键点坐标和目标掩码等信息，利用这些进行进一步的逻辑判断对当前图像进行分析。
图2 任务运行流程图
以安全帽佩戴规范检测为例，如下图所示，安全帽佩戴检测涉及到的模型共有三个：人体关键点检测模型（获得人体边框坐标与人体关键点坐标），安全帽检测模型（获得安全帽边框坐标和安全帽掩码）和安全帽系带检测模型（获得安全帽系带边框坐标）。对于输入的图像首先利用人体关键点检测模型获取人体边框坐标和人体关键点坐标；根据人体边框坐标获取人体区域，并将图像人体区域输入安全帽检测模型和安全帽系带检测模型并获取相应信息；根据安全帽检测信息与人体关键点坐标判断是否佩戴安全帽；如果已经佩戴安全帽则根据安全帽系带检测信息进一步判断是否正确佩戴安全帽系带，完成安全帽佩戴规范检测。
图3 安全帽佩戴规范检测
（二）技术特点及技术指标
与国内外同行业技术相比，基于深度学习的现场安全管控采用最先进的深度学习分析模型，并将多种任务的不同模型进行组装，与单任务模型相比，具有较高的适应性和灵活性，单帧处理能力都在100ms以下，平均准确率在90%以上。
二、技术成熟程度
形成样机、样品或软件
三、推广合作方式
整体转让
四、团队简介
大数据智能处理创新团队致力于人工智能、大数据处理、云计算与物联网技术等理论研究与行业应用，目前的合作伙伴包括中科院、航天科工集团、海尔、胜利油田、华北油田、国防大学等，发表SCI、EI科研论文200余篇，包括一区TOP期刊如TII、TCC等。获得相关发明专利授权10余项，专利申请100余项。到2022年3月，按照Google Scholar的统计，总引用数量超过2000，H-index为23，i10-index为60。近年共承担科研项目50余项，包括国家自然科学基金项目、欧盟第六框架计划项目、英国工程和自然科学研究委员会项目、科技部创新方法专项、山东省重点研发计划、科技部创新方法专项、山东省自然科学基金等，重要的横向项目包括海尔智能冰箱、采油大数据和知识挖掘、电力现场安全管控等。
五、专利授权及申请情况
1、国家发明专利：一种基于深度学习的安全带低挂高用违规检测方法（实审）
2、国家发明专利：一种基于SOMD的室外电力场景下异物入侵检测算法（实审）
3、国家发明专利：一种基于深度学习的人体关键点定位检测方法（实审）
4、国家发明专利：一种基于HDNet的输电场景下吊车入侵检测机制（实审）
5、国家发明专利：一种面向实时视频处理的负载感知云计算系统（授权）
6、国家发明专利：一种基于OSGi的计算任务近数据源迁移方法（授权）
7、国家发明专利：一种基于深度学习的自然场景中船牌文字识别方法、装置（授权）
8、国家发明专利：一种基于核密度估计与模糊推理系统的实时云服务瓶颈检测方法（授权）
9、国家发明专利：一种基于深度学习的高精度交通标志检测方法及系统（授权）
六、受资助及获奖情况
1、国家自然科学基金面上项目，62072469，基于类脑认知的高泛化性故障预测方法研究，2021-01至2024-12；
2、国家重点研发计划，2018YFE0116700，互联网工厂运行状态分析预测与优化研究及应用，2019-10至2021-10；
3、山东省科技进步二等奖，自适应联邦智能关键技术研究与产业化 (第一）；
4、吴文俊人工智能科技进步三等奖，可信联邦智能关键技术研发及产业示范（第一）。
联系方式：0532-86983018。
