镇江港务集团有限公司全港区范围内目前现架设网络摄像机 507 台，其中：港区泊位处架设 59 台、港区引桥处架设 28 台、港区堆场处架设 155 台、港区道路处架设 8 台、港区卡口处架设48 台、港区库棚处架设 27 台、港区临水作业处架设 48 台、其他工作区域处架设 134 台。网络摄像机监控基本覆盖港区主要工作区域。

目前，视频监控系统总控平台采用集中存储、分布浏览的模式部署，主要服务于外事单位用于监管和事后取证。由于历史原因，港区内现有监控设备品牌并不统一，同时由于商业竞争等原因，各监控摄像头厂家都会对标准协议进行定制化修改，从而保障自身的利益，但这一行为也导致港区管理人员难以在同一个平台对所有的监控摄像头进行统一管控。

在现有监控系统使用过程中，管理人员采用画面轮播的方式对现场进行抽查监管，易造成管理人员视觉疲惫。当管理人员要紧急调用某一监控画面时，需要从庞大的设备列表中搜寻监控相机，造成监控摄像机操作管理难度较大，严重影响管理人员使用效率。针对上述问题，镇江港务集团有限公司研发中心研发镇江港散货码头天网智慧平台。

平台利用计算机视觉识别技术代替工作人员进行全天候监控并进行实时视频图像分析，同时关联不同摄像机之间的视频分析结果，将分析报警结果集中统一显示在港区航拍图中，实现全局主动监控，使监控人员能轻松、及时地掌控当前的港区态势，快速形成响应方案。镇江港港区航拍图见图1。

图1 镇江港港区航拍图

1平台架构

天网智慧平台主要由前端子系统、中心子系统服务器集群、网络传输系统和指挥中心综合平台等4个部分组成。天网智慧平台架构图见图2。

图2 天网智慧平台架构图

在前端子系统中，监控视频高清摄像机主要用于提供实时画面，并对现场监控区域进行24 h监管。

在中心子系统服务器集群中，控制中心服务器主要对监控高清摄像机进行管理控制，根据港区地图与监控相机之间的坐标关系矩阵对相机实时视频画面进行调取和显示。分析服务器集群根据控制中心的任务指令对监控摄像机拍摄的视频画面进行自动分析检测，一旦检测到有物体经过，立即启动提前预设的识别分析模块，判断现场是否有违规行为。当平台判断现场有违规行为时，分析服务器集群会向控制中心进行报警订阅，将报警信息上报到控制中心，控制中心会根据订阅情况，将报警信息存储并上报客户端，客户端根据报警信息，将相应报警视频以地图弹窗的形式进行展示。

综上，天网智慧平台实现监控摄像机的信号与地图信息的绑定，利用计算机视觉识别技术及时识别港区作业区域内的违规、危险行为，并以统一调度的方式对监控高清摄像机进行管理，实现智能、可靠的远程监管。

2技术思路和路线

本次所研发的天网智慧平台，针对目前大型视频监控系统中存在的主要技术难题，通过多项技术创新，在不改变现有广泛使用的视频监控硬件设备的前提下，通过智能化改造，形成基于多摄像机协同的图像分析技术和基于高清航拍图的全局信息集成（WebGIS）技术的综合性管控与智能分析平台，实现传统监控平台从“基于相机监控”到“基于目标监控”的理念突破。

2.1视频分析技术

视频分析技术包括图像采集、光感标准化操作、图像稳定、运动检测、目标跟踪和分类、目标特征行为分析。视频分析是系统中技术含量最高、难度最大的部分，目前仍是一个活跃的科研领域。

为了保证智能分析的完整性、降低平台整体建设成本，整体智能分析应用采用“触发联动”的方式进行分析。

智能分析模块主要应用到图像处理、深度学习和样本对抗自学习等技术。智能分析模块应用的多种检测算法中，主要利用检测器YOLOv3精准检测出视频画面中所有出现的物体，并利用分类器对检测出来的问题进行分类，从而达到检测物体的目的。

在对物体进行检测时，后期的样本对抗自学习过程和模型优化过程也是智能分析模块的核心内容，使用的主要技术如下：

针对现场数据和场景定制网络结构，删减冗余结构，从而最大化利用硬件资源，满足现场算法需求。

采用完整的半监督算法优化技术和一键操作式模型训练技术实现模型的效果提升和部署。

为提高检测效率和识别准确率，在检测的同时使用硬件检测加速技术，主要技术如下：

使用模型量化技术，从而获得更小的模型，实现低延迟和更高的数据传输效率，同时降低显存占用率。

使用动态内存优化，减少显存占用，从而避免显存的过度开销以获得更快、更高的推理性能。

使用层融合技术，减少显卡内核调用次数，减少内核启动时间，从而加快推理速度。

2.2多相机协同技术

平台控制中心将搜集从各个图像处理主机发来的报警信息，当发现重复的报警信息时，控制中心可将报警信息合并，以避免重复报警，为后续的多相机协同提供应用基础。

在多相机协同技术应用中，平台利用固定相机和云台（球机）标定技术，解决在不同视角、不同位置情况下固定相机与云台相机之间的信息绑定难题，克服不同相机之间物体呈现角度、色差、亮度差等因素给匹配造成的困难，从而实现异体枪球的自由组合应用，进而打破相机地理位置界限，使球机可以为多个枪机服务。工作人员可根据现场需求选择合适的枪球搭配，丰富现有相机功能。

多相机协同技术的应用为未来扩展奠定技术基础，当人、车、机械出现在固定相机的视野中时，云台相机会收到控制中心服务器转发来的目标信息，利用该信息可实现多目标的自动跟踪。当运动物体走出当前相机的视野时，下游的云台相机可依靠上游相机的图像分析结果来定位相同的目标，进而实现对特定目标的持续接力跟踪。

2.3地理坐标转换技术

WebGIS模块在高清航拍图的基础上增加连续的地面可测量影像库作为新的数据源，通过相机坐标与真实地理坐标的矩阵转换将所有相机发现的运动物体都集中到统一的、基于高清航拍地图或三维地图的背景图上来表达，主要技术包括点特征标定、线性标定、电线混合标定，主要目标为求取卫星图到相机图的单应矩阵。卫星图与相机图匹配关系见图3。

图3 卫星图与相机图匹配关系

2.4相机标定技术

对于不同品牌的云台相机，在实现相机接入的同时实现对云台相机的操控，工作人员可以直接在相机画面中对感兴趣的目标用鼠标画框，平台即可驱动云台相机自动调整平移、俯仰、缩放参数，使物体保持在视野的中部，并缩放到适当的比例。该功能的核心技术是相机自动标定技术，平台可通过对相机运动参数的分析，自动获取记录相机的控制参数、镜头变倍曲线、畸变参数等信息。相机参数计算模型见图4。

图4 相机参数计算模型

将所有相机通过统一的算法模型进行校准和标定，实现对所有品牌相机的覆盖，解决相机厂商条块分割的问题。

2.5噪声过滤技术

根据相机、景物和图像的运动特点以及三者之间的关系，对摄像机和图像间的运动关系模型进行推导、建立。通过使用光流法、基于块的方法和特征点法，有效去除自然环境下光影、云影、波浪、水雾、烟雾、雨雪、风吹草动、飞鸟小动物、大风等因素对系统造成的干扰，保证智能视频分析结果的可靠性。

2.6图像压缩和传输

主要目标是在保证图像质量的前提下减少对网络带宽和存储介质的占用，并提供灵活有效的传输控制方式。

3应用实例

3.1解决多厂家不同型号相机接入和云台操作

由于各厂家对相机参数保密以及制作工艺的差异，在不知道这些差距的情况下，如何计算相机坐标变换与对应的图像像素变化的关系成为核心难点，系统可以对已经安装的相机通过控制动作自动识别图像中的变化，推导出云台（球机）转动、镜头变倍曲线、畸变等参数，进而将相机坐标变换与图像像素变化形成准确的对应关系，从而实现用户现有安装相机和市面上其他云台（球机）的功能。各厂家相机接入平台实例见图5。

图5 各厂家相机接入平台实例

3.2基于高清航拍图的全景式相机查看和报警方式

在GIS地图中，港区内所有相机都在地图中进行标点，用户可以利用地理位置快速调出相机画面，而不用再去记忆相机IP或相机名称。例如：当用户想要调取出入口相机画面时，不需要从设备树中寻找名为“出入口枪机”的设备，只需将GIS地图拖动至出入口处，点击相机图标或在地图中框选想要监管的区域即可查看出入口相机的实时画面。同时，地图可以根据不同权限进行划分，不同用户只能看到自身权限下的地图和相机。基于高清航拍图的全景式相机查看和报警方式实例见图6。

图6基于高清航拍图的全景式相机查看和报警方式实例

3.3异体枪机球机联动实例

在平台中，固定相机与云台（球机）以“画中画”形式展现，工作人员可通过固定相机以大场景视野的情况查看现场环境，当发现固定相机画面中有可疑情况时，在固定相机画面中框选目标即可驱动球机进行居中放大查看。多个固定相机均可驱动球机。异体枪机球机联动实例见图7。

图7 异体枪机球机联动实例

3.4工作服（安全帽）检测应用实例

平台通过卷积神经网络对港口现有工作服、安全帽进行学习，通过模式识别技术判断目标是否按要求着装。当发现目标未按设定要求着装时，即判断目标为外来人员，实时自动报警，提醒相关人员确认处理。目前，港区已建立10余套工作服模型，并且在运行过程中模型均可被准确识别。工作服、安全帽检测实例见图8。

图8 工作服、安全帽检测实例

3.5人员绊线

为保证交通安全，目前港区已经针对卡口进行严格限制，但仍有人员进出时行走在机动车道路上。对此，平台利用人员绊线检测功能，对港区内卡口位置进行限定，不允许人员经过。当有人员经过违规区域触发绊线检测时，平台发出报警，从而保证港区日常安全。人员绊线实例见图9。

图9人员绊线实例

3.6车辆违停

车辆未按规定停放，容易造成道路安全事故和车辆拥堵事件，影响港区人身安全和正常生产作业。因此，在对港区内多个关键区域进行自定义划分的基础上，利用车辆违停检测功能实现车辆在限定区域停留时间过长时，平台可发出报警，提醒现场安全监管人员及时处理。车辆违停实例见图10。

图10 车辆违停实例

3.7超速检测

为了避免交通事故，港口内对搬运车辆的速度都有着严格的管控。此外，由于受港口现场基础建设的限制，港口内不允许架设横向立杆作为传统测速相机的安装基础。天网智慧平台可通过视频对车辆的行进速度进行分析，并与港区的限速标准进行比对。当平台发现超速车辆时，平台可自动发出报警提示，同时抓拍超速车辆照片，安排安保人员前往处理，事后也可查询车牌和当时速度信息，对相关人员进行处罚。超速检测抓拍测试结果见图11。

图11 超速检测抓拍测试结果