基于视频分析和边缘计算的自动扶梯安全使用和乘客防护的思考
作者: 2021-03-06 11:25:50 浏览：11045次
摘要：智慧轨道交通是城市轨道交通行业的发展方向，而自动扶梯是城市轨道交通站点管理中重要的特种设备。如何利用轨道交通现有的视频监控系统，结合最新的视频分析和边缘计算技术，在不增加交换机、服务器等PC硬件部署的基础上，实现对变化中的扶梯乘客行为（包括但不限于摔倒、逆行、出入口拥堵、身体部分超越扶梯边界和携带婴儿车乘梯等）进行智能感知，供轨道交通运营客户决策使用。该技术经验证，可使自动扶梯更便捷、更安全、更智能、更低成本地智能服务到轨道交通运维中。
关键词：智能自动扶梯 人工智能 计算机视觉 嵌入式系统 人数检测 自动启停轨道交通车站是轨道交通运营管理和对外服务的基本单元，其管理水平的高低直接决定了整个轨道交通网络的管理水平。随着国内各种自动化技术在城市轨道交通机电设备管理上正得到广泛应用，云存储、云计算、人工智能、视频与物联网融合技术，目前也在越来越多的地铁线路上运用到了综合监控系统上。地铁车站通过车站级综合监控系统，实现了资源共享，互联互通，有利于紧急情况下的事件处理，显示出数据赋能、信息驱动对轨道交通产业发展的强大推动力。轨道交通内的自动扶梯客伤约占系统客伤总数的60%，其中24%为跌倒和坠落，58%为和物体发生碰撞或挤压。所以，加快扶梯系统的应急自响应速度，进一步提高其安全性，成为研究的当务之急。2.1 海量监控数据的“信息孤岛”。自动扶梯能收集海量的图片及视频信息并汇总到车控室，但对“即时存在的危险状况”无法识别和警示，一旦发生乘客“被夹”、跌倒、逆行、拥挤或踩踏等突发事件时，只能被动等待乘客报警、人工巡查或视频监控巡查，监控数据只能用于“责任追溯”的用途，“信息孤岛”效应急待解决。2.2 自动扶梯无法对实时动态客流状态进行“智能识别及修正”。比如，早晚高峰，客流激增，一旦发生晚点或突发情况，站台极容易积压大批乘客，此时如果自动扶梯还在源源不断向站台输送客流，扶梯出入口极易造成拥堵危险；站台上如发生恐怖袭击，惊恐人群会四散奔逃，扶梯上会形成短时间集聚客流，做不规则急速运动或摔倒践踏现象，常速运行的扶梯会使“二次危害”系数倍增；恶劣天气（如下雨、下雪）或大型社会活动形成的自动扶梯出入口人群积聚和对外仍持续输送的客流，会形成挤压或对冲危险。这些异常动态客流，需要实时被“察觉”，自动扶梯运行则被相应“修正”。2.3 自动扶梯的日常管理，耗时费力。扶梯的开启和关闭，需要操作人员现场确认后实时，耗时费力。考虑到扶梯日常操作安全性，通常会安排一个专职工作人员来值守重点扶梯出入口。自动扶梯是带有循环运行梯级，用于向上或向下倾斜运输乘客的固定电力驱动设备，现有的工业化技术条件下，其只能对设备自有故障进行检测及安全性防护。当自动扶梯上发生乘客跌倒、逆行、拥挤或“夹人”等突发事件，需要有突破性的感知技术进行识别，做到容易部署、感知准确性高的即时异常预警。基于【卷积神经网络和人体关键点算法】能检测出目标位置与人体骨骼关键点结构，再进一步使用SVM分类器进行人体姿态分类，从而实现画面中行为异常现象（如，跌倒、超大物件等）检测和报警。与此同时，使用跟踪算法对监控视频中的异常现象（如，逆行、拥挤等）检测和报警。区别于传统的PC硬件+第三方AI系统构成方案，可通过嵌入式的硬件（利用GPU资源对算法加速）方案，软硬件一体化设计，实现对原始监控视频的智能化分类、通过优化神经网络层数及边缘算法能进行对象行为预测且快速发现乘梯人的安全问题，提高识别效率。边缘计算将更多的数据计算和存储工作，从“核心”下沉到“边缘”，扶梯人工智能AI模组被部署于接近数据源的“边缘”（负责扶梯安全区域监控的摄像头），数据不必再经过网络达到云端处理，从而降低时延和网络负荷。所以，基于视频分析和边缘计算的技术，具有广阔的工程实践价值和应用前景。3.1.1跌倒：指乘客发生突发、不自主的、非故意的体位改变，倒在运行的自动扶梯梯级上。当乘客身体背部或头部接触梯级时，则被认定为乘客跌倒事件。Openpose是一种自下而上的人体关键点检测算法，最多可检测人类躯干、手部、面部、足部共135个关键点。同一张视频图像中存在多人情况下，实时视频提取人体姿态关键点，构建人体结构。通过SVM对人体姿态（包括但不限于跌倒、越界、侧倾和下蹲等）进行分类，进而对扶梯上的行人异常姿态实时警示，且对多人姿态识别具有响应时间不变的特点。该算法需要提前收集不同场景下的人体图像来扩充分类数据库，在机器学习过程中，较完整的数据样本集是得到高准确度模型的必要条件，通过增加样本数量训练得到更加有效的模型，从而提升预测准确率。无容置疑，这个“海量数据的自学习成果”是这个技术的绝对竞争门槛。3.2.1拥堵：指在扶梯监控画面的框定区域内，人员数量超过规定的阈值，则被认定为是乘客拥堵事件。我们设置好ROI区域（扶梯出入临近区域）和扶梯当前运行方向，利用内置GPU资源进行三位场景重建，通过Openpose算法和网络引擎 elQ Auto加速，检测并跟踪视频中的运动目标，即时发现拥堵现象。3.3.1逆行：指乘客以超过1m/s 的速度步行，且步行方向与自动扶梯运行方向相反，步行距离超过3个梯级，则被认定发生乘客逆行事件。结合如上定义特征，应用基于相关滤波的KCF跟踪算法，可有效判断视频图像中行人的前进方向、频率和幅度，从而对扶梯上的逆行现象进行实时警示。3.4.1婴儿车，婴儿车指，乘客携带婴儿车拟进入自动扶梯入口楼层板区域准备搭乘自动扶梯时，则被认定为携带婴儿车搭乘自动扶梯事件。3.4.2 大件行李大件行李指，乘客携带体积超过一定体积的大件行李进入自动扶梯入口楼层板区域准备搭乘自动扶梯时，则被认定为携带大件行李搭乘自动扶梯事件。应用基于回归分类的SSD目标检测及Caffe深度学习算法框架，其通过GPU平台加速可以达到实时对视频图像中的人体和行李等目标进行检测，当检测到扶梯上有婴儿车或大件行李等类似物品时，实时警示。以上边缘计算结果，可第一时间通过以太网与客户端进行数据命令交互（语音警告、视频警告、扶梯降速、停梯）。2019年6月至2020年11月，结合地铁客户提供的大容量的视频（图像）数据，在扶梯实验室环境中反复训练算法，完善SVM分类器模型。
4.3 视频图像经AI辨识后的示警、电扶梯联控及智慧地铁其他应用设想 4.3.1“海量视频监控信息孤岛“被AI人工智能（如下图，人体目标检测流程）打通。车站管理系统能主动识别出乘客摔倒、逆行、头部或手部越界或多人出入口拥挤等异常行为，将视频监控系统由“被动储存、追溯、追责”提升到“主动分析及必要行为干预”，既可语音示警，也可以人工远程（PESSRAE）控制紧急停车。贯彻保护人民群众的生命安全之首要原则。 4.3.2“不同品牌电梯和摄像头的差异化技术能力“被AI人工智能拉平。车站管理系统无须增加额外的服务器，只需分配给负责扶梯区域的安防摄像头相应的人工智能模组，边缘计算结果通过TCP网络和各电梯厂家自定义的通讯协议来传输并完成数据、命令的发送和接受。当然，紧急制动用的可编程电子安全相关系统 (PESSRAE) 允许有软件的参与，但需要取得型式试验证书（2）。以成都地铁为例（下图），同一条线路的1、2期，就涉及至少2家电扶梯品牌，不同的技术背景和对人工智能应用的理解，造成轨道交通营运方在管理手段上难免“顾此失彼“。即使能对扶梯安全做人工智能管理的电梯主机厂，也只能采用”PC硬件（如，交换机、图像分析服务器等）+第三方AI系统（如，拥堵检测摄像机、防摔倒检测摄像机等）“的组成方案，其方案硬件成本和部署维护成本都十分高昂，很难大规模工业化部署。软硬件一体化设计的扶梯AI人工智能检测模组，解决了基于物联网技术，实现了对扶梯运行表征、视频监控图像“更深入的感知”的问题，可应用于不同品牌扶梯，最后形成——智能安全警示、出口拥堵警示、智能语音播报和智能开关梯（含自动启停）四大功能方向（如下图，系统逻辑框架图（1））。4.3.3人工智能视频辨识技术（RHT算法、随机的Hough算法等）在直梯上的应用设想方向，如下：
| □扶梯轿厢剩余面积计算、超载警示、智能派控、节能减排 |
|
|
4.3.4视频识别技术在地铁运营板块的其他应用——
截至2020年9月30日，我国累计有41个城市开通轨道交通运营，总里程超过7141.55公里。以上海为例，轨道交通运营公里超过700公里，规模位居全球第一，拥有超过4000部自动扶梯，它们每天输送着超过 3 000 万人次客流，承担着上海公共交通超过50％的运量（2）。 以此类推，我国城市轨道交通服务领域，每天至少有4万部自动扶梯投入营运服务工作中，每天输送着2-3亿次客流。我们通过技术和管理手段来“原位”提升轨道交通站的直扶梯运营管理水平——使得直扶梯在现有车站级监控系统的基础上，进行智能化“原位改造”，其在使用过程中能对于站内行为的异常变化进行智能感知、决策判断、修正性调整及符合安规前提下的紧急制动，从而确保扶梯客流运输更安全、更平稳、更有序和更智能，这对轨道交通行业、监控行业、电梯行业和社会和谐、稳定均有着重大意义。（1） 刘纯洁. 上海地铁自动扶梯智慧管控的创新与实践 中国市政工程 2019( 6) : 105；（2） 何成，史熙，欧阳惠卿. 基于AI 图像识别与功能安全的自动扶梯智能监控系统及相关安全标准要求 [J] . 中国电梯，2019（15）：6-8，12.
注：本站招标、拟在建信息为企业单位免费自行发布，投标前请严格审查，谨慎交易！
声明：本网站所登载之内容，如有侵犯他人声誉、版权或著作权等当事人合法权益的，请来电或来函告之，我们将予以更正。
