从整个集装箱码头行业来看，目前大多数集装箱码头还处于人工操作阶段，一部分集装箱码头完成了远程半自动化改造，少数码头实现了自动化操作。不管是传统集装箱码头还是半自动化和自动化集装箱码头，其装卸工艺流程主要包括卸船和装船等2个过程：
卸船过程。桥吊将运输船上的集装箱抓起放置到内运集卡或AGV上，集装箱被运送到指定的堆场后，堆场轮胎吊或轨道吊将集装箱吊放至指定堆场位置，堆场轨道吊或轮胎吊再按生产作业计划将集装箱放置到外运集卡上（放箱），运送给客户。
装船过程。堆场轨道吊或轮胎吊从外运集卡上收箱，将集装箱吊放至指定堆场位置，再由堆场轨道吊或轮胎吊将集装箱放至内运集卡或AGV上，运送到船舶装卸区，由桥吊将集装箱运送到运输船指定位置。从闸门、堆场到运输船构成1个完整的作业流程，无论其中哪个环节出现安全性和效率低下的问题，都将对整个集装箱运输流程的安全和效率造成影响，从而造成资源浪费和经营成本高企。集装箱码头装卸工艺流程见图1。
图1 集装箱码头装卸工艺流程
传统集装箱码头装卸需要人员全程操作，面临劳动力成本不断攀升、劳动力日益稀缺、作业安全性低、集装箱装卸可调度性差等问题，并考虑到生理原因导致的出错率和服务不稳定性、知识传承的依赖性，以及当今社会对安全作业的关注度不断提高等，已严重阻碍了码头的运营。同时，目前自动化集装箱码头的装卸工艺尚不完善，装卸工艺仍存在待解决的短板，部分流程需人为参与，例如：收箱作业时需要人工确认集卡是否被吊起；自动放箱准确率不到50%，仍需要人工远程介入。由于港口业务繁多，作业环境复杂，人员劳动强度大，各环节作业“人机混杂”，严重影响港口作业效率，稍有不慎就会出现安全事故。
传统集装箱码头存在装卸作业的自动化水平低、资产设备和人员利用率低、信息“孤岛”、人才结构性短缺等问题；半自动化集装箱码头装卸作业所有环节都需要人工全程参与；自动化集装箱码头装卸作业又处于“预设执行、决策受控”阶段，智能化程度低，遇到非预设的特殊情况，需要人工干预，影响装卸作业整体效率和安全性。因此，综合利用多种技术手段，尤其是人工智能技术，在泛在信息全面感知和广泛互联的基础上，对集装箱码头装卸环节各作业要素进行赋能，能有效补足目前装卸工艺中存在的一些短板，切实压缩人工干预比例，减少安全隐患，提升码头装卸作业的可靠度、效率、安全性和智能化水平。
1智能感知技术与集装箱码头的深度融合
当前以强化学习、深度学习、宽度学习等为代表的人工智能技术正迅猛发展，在解决大数据驱动知识学习、跨媒体协同处理、人机物协同增强智能、群体集成智能、自主智能系统等领域关键技术问题中发挥了关键性的作用。同时，类脑智能的研究与开发工作也同样受到国内外相关研究机构和学者的高度关注及重视，为人工智能的深入快速发展迎来了机遇和挑战。一般来说，一个有效的人工智能系统基于其感知、记忆和思维能力，以及学习、自适应及自主的行为能力等，当前人工智能发展处于感知智能阶段，在算法、算力（计算能力）和算料（数据）等“三算”方面取得重要突破，正处于从“不能用”到“可以用”的技术拐点阶段。
目前，以人工智能和机器视觉为基础的智能感知技术，通过各种传感器获取外部信息，再进行记忆、学习、判断、推理等将跨时空的同类和异类传感信息进行汇集和融合，实现认知环境和对象类别与属性。智能感知技术已经开始逐步应用于港口行业，国内外多家大型港口集团正在开展多项人工智能创新，包括全新第二代人工智能闸口、人工智能场桥应用和码头作业链条上涉及其他节点的人工智能子系统的开发设计。在异构作业体混杂的复杂码头场景中，实现设备层、感知层、通信层、计算和控制层在单元级和子系统级上的高效协同集成；对码头时空动态作业数据进行智能关联、分析、监测、推理和决策，实现从主动感知数据层到智能综合决策层的任务交互；实现设备硬件、算法软件与数据知识的有效融合，以满足集装箱码头智能化装卸作业要求。集装箱码头智能装卸系统功能架构图见图2。
图2 集装箱码头智能装卸系统功能架构图
2智能感知技术在智能装卸中的应用
聚焦集装箱码头智能装卸建设，采用高效机器视觉、先进人工智能、分布式多源信息融合等智能感知技术，开展集卡防吊起、漏摘锁垫预警、轮胎吊大车行走自动纠偏与防撞、龙门吊自动抓放箱、集卡自动引导等智能装卸的关键系统研发与应用。
2.1机器视觉集卡防吊起技术
在龙门吊吊起外运集卡车架上的集装箱进行收箱作业时，时常会发生吊集卡事故，事故产生的原因主要有以下2种情况：一是集卡司机未完全解开与集装箱连接的集卡车架锁销；二是在吊具抓箱时，集卡受吊具外力作用，集卡有时会有一定程度的移动，导致集卡锁销与集装箱孔之间产生挂联。严重时，吊集卡事故会导致人员伤亡和车辆损失。目前码头主要靠人工确认，但视觉疲劳、远程确认相机视角不够好、确认时集卡吊起高度低等原因都会导致人工判断失误，有些码头引入了激光防吊起系统，但准确率、虚报率和成本尚不够完美。
研制的系统基于机器视觉实现集卡卸箱时的全天时/全天候安全保护，通过优化相机布局对集卡进行全方位观测覆盖，将前端相机采集到的作业视频通过PoE网线输入给工控机，工控机对作业视频图像进行处理和分析，通过人工智能技术检测在输入的视频图像中是否存在集卡，若存在集卡，对集卡车架进行面向非刚性目标的像素级语义分割，找出集卡车架区域，根据集卡被吊起时车架特征的异常变化进行自动识别，判断是否发生作业集卡被吊起的情况，若集卡连同集装箱一同被吊起，立即输出报警信号，报警信号通过Profibus-DP或Modbus通信模式反馈给龙门吊PLC，龙门吊PLC结合吊具起升的时间动态优化控制策略控制吊具起升，实现对所有集卡类型、所有集装箱型、所有未解锁模式的安全保护。该系统突破大弹性条件下集卡类型和吊起模式多样性识别的样本完备性等应用关键技术，成功解决了长期困扰码头行业的集卡卸箱全天时/全天候安全保护难题，显著提高码头作业效率和安全性。
具体到传统堆场，2个前端相机安装在轮胎吊或轨道吊下部区域；具体到自动化堆场，4个前端相机分别安装在每个车道的两侧（每侧2个相机）。本系统实现平板式、骨架式等所有托架类型集卡对所有箱型所有未解锁模式的全天时/全天候安全预警。根据大量数据统计，集卡防吊起系统的漏报率（集卡被吊起系统未报警的概率）为0、虚报率（集卡未被吊起系统误报警的概率）优于0.04%、集卡车架被吊起保护高度优于300 mm、系统响应时间小于0.3 s，适应白天、夜晚、雨天、雾天、雪天等作业环境，同时具有自检功能，系统故障时自动发出报警信息，并可视频回溯作业事故，提供一套安全、可靠的低成本集卡防吊起保护方案。机器视觉集卡防吊起系统架构图及现场图见图3。
（a）系统架构图
（b）现场图
图3 机器视觉集卡防吊起系统架构图及现场图
2.2漏摘锁垫智能预警技术
卸船作业时，现场人员偶尔会漏摘从运输船上卸下的集装箱底角锁垫，尤其是带有自锁的大/中锁垫，集装箱放至堆场时会与下层集装箱产生固联，再次提箱时将导致严重的吊箱事故。当前主要依赖龙门吊或桥吊操作人员人眼观察，长时间作业疲劳时很容易漏判。
系统基于机器视觉技术和深度学习方法实现集装箱底角漏摘锁垫全维度检测和预警系统，通过优化设计视频监测系统布局对锁垫区域进行全方位多角度实时观测，采用多路视频对单一龙门吊的多对一优化控制策略，使多路视频输入信号与多路视频输出信号之间满足自由对应功能，结合数据增广和多尺度卷积神经网络小目标检测技术在目标种类繁杂、阴影、光照等不利条件下完成锁垫目标检测，若检测到锁垫，立即输出报警信号，报警信号通过Profibus-DP或Modbus通信模式反馈给龙门吊或桥吊PLC，停止龙门吊或桥吊的吊具起升，通知作业人员摘除遗留的锁垫，设计多级应急处置机制，在保障装卸业务一致性的情况下，实现锁垫零进场目标。
具体到传统堆场，6个前端相机安装在轮胎吊或轨道吊下部区域；具体到自动化堆场，10个前端小半球相机分别安装在桥吊中转平台两侧立柱上（每侧5个相机），实现对集装箱底角漏摘锁垫的准确识别。根据大量数据统计，传统码头大/中锁垫检测率100%，小锁垫（非自锁）检测率大于90%，虚报率0.5%；自动化码头大/中锁垫检测率100%，小锁垫（非自锁）检测率大于99%，虚报率0.1%；系统响应时间小于1 s。漏摘锁垫预警系统架构图及现场图见图4。
（a）系统架构图
（b）现场图
图4 漏摘锁垫预警系统架构图及现场图
2.3轮胎吊大车行走自动纠偏和防撞技术
轮胎吊大车在转场作业时，需严格按预定轨道行驶，由于路面不平导致大车颠簸、电气房侧轮胎磨损大、机械结构无法绝对对称、人员误操作等问题常发生大车偏离预定轨道的情况。此外，轮胎吊在行驶中还会出现与人员、违停车辆、同场区其他轮胎吊等障碍物相撞的事故。目前，大车行走纠偏和防撞主要依靠司机目测偏移距离和预判，根据人工经验采取相应策略进行纠偏和防撞，司机需要时刻集中精力，极易疲劳，存在偏离预定轨道后撞车、撞箱的风险。
系统根据轮胎吊行驶动力学模型给出龙门吊运动轨迹超越积分数学解析表达，利用安装在大车前后方和两侧的相机实时获取大车行进前方的引导线，结合机器视觉引导线鲁棒检测、识别与跟踪技术估计大车实际行驶路线与预定路线的偏差，在此基础上结合距离偏差与方向偏差，采用纠偏控制模型和路径最优控制方法控制轮胎吊前后大车的驱动电机，自动纠正大车行驶方向和速度，解决大延时信息补偿和大车蛇形行走等难题，高速行驶自动纠偏行车精度和车体晃动均优于熟练人工操作，实现工程可用的基于机器视觉的轮胎吊全速全天时自动纠偏系统。同时，采用基于粗粒度的在线动态可重构深度学习智能视频分析方法对龙门吊行进路线上的人、车等多类大畸变目标进行识别，实时识别并判断行进方向上是否存在人员或障碍物，结合运动目标轨迹动态预测模型，输出相关信息给PLC系统，控制大车自动减速和停车实现轮胎吊防撞，确保轮胎吊能自动平稳行走。经测试，轮胎吊大车行走自动纠偏精度优于±10 cm，防撞准确率大于99%，系统响应时间小于0.1 s。轮胎吊大车行走自动纠偏和防撞系统框图及现场图见图5。
（a）系统框图
（b）现场图
图5 轮胎吊大车行走自动纠偏和防撞系统框图及现场图
2.4龙门吊辅助自动抓放箱技术
龙门吊自动抓放箱是堆场作业核心任务：传统码头的龙门吊司机操作司机室手柄手动控制吊具，通过人眼观察进行集装箱孔和集卡车架锁销的对位与抓放；半自动化码头司机需要通过吊具4个角的相机观察集装箱孔和集卡车架锁销位置再进行远程操作；自动化码头采用激光扫描方式自动确定集装箱孔和集卡车架锁销位置，但自动放箱的准确率也不到50%。抓放箱作业时需要操作吊具进行反复对位，在作业繁忙时占用龙门吊资源和作业车道资源，影响装卸效率。
系统通过安装在吊具4个角上或龙门吊小车上的4个相机实时获取集装箱孔和车架锁销的视频图像，采用多尺度贝叶斯卷积神经网络技术对集装箱孔或车架锁销图像进行自动识别和跟踪，利用多源信息融合方法实时估计吊具与集装箱孔或车架锁销的相对位置偏差和姿态偏差，并建立吊具时空动态调整优化模型，结合视觉伺服闭环控制技术，优化推理吊具控制量，达到吊具调整的零停顿，实现基于机器视觉的龙门吊自动对位技术，减少反复对位耗时，自动优化匹配龙门吊装卸任务，在技术和成本方面都优于现有系统。经测试，箱孔或锁销的定位精度优于±3 cm，抓放箱准确率大于90%。龙门吊自动抓放箱系统架构图及现场图见图6。
（a）系统架构图
（b）现场图
图6 龙门吊自动抓放箱系统架构图及现场图
2.5集卡自动引导技术
集卡停车对位是集装箱码头装卸工艺中的重要一环，集卡司机无法利用吊具未到位前的时间完成精确对位停车，在一定程度上降低了装卸效率。
针对集卡停车位置不准确导致的装卸作业效率低问题，系统基于机器视觉的集卡实时自动引导系统，采用基于集卡车头的集装箱箱孔或集卡车架锁销多层级目标检测与定位技术，对俯视集卡车头图像进行识别和定位，结合码头堆场集卡作业特点，将龙门吊吊具下方位置抽象形成各节点坐标，根据集装箱箱孔或集卡车架锁销的识别和定位结果，计算集装箱或车架与预定点之间的偏差角度和偏差距离，通过显示装置实时输出集卡当前位置与预定位置的偏差，辅助司机更快到达指定位置。在现有设备基础上以较低成本实现集卡自动引导，针对各类内运集卡和外运集卡均可提高作业效率。经测试，集卡的自动引导准确率大于99%。集卡自动引导系统架构图及现场图见图7。
（a）系统架构图
（b）现场图
图7 集卡自动引导系统架构图及现场图
