飞机装配过程错漏装检测技术研究进展

1. 飞机错漏装问题防范与控制意义

飞机装配是飞机制造过程中的核心环节[1-4]。装配质量会直接影响飞机的外形精度、使用性能和服役寿命等。由于飞机结构复杂,零部件较多且体积庞大,故飞机在装配过程中容易出现错装或漏装等问题,由此产生的安全隐患甚至会造成严重的飞行事故。

飞机装配过程中的错漏装是指装配人员在现场对飞机的零部件、系统或子系统进行装配时出现的零部件、系统或子系统位置安装错误或缺失等问题的统称。错漏装可能导致飞机结构强度不足、系统功能异常或性能下降,从而对飞行安全和飞机可靠性带来负面影响。

2001年,加拿大越洋航空236号班机出现了严重的引擎漏油事故,事后调查发现其原因为维修人员在飞机起飞前错装了液压泵组件[5]。同年4月份,某航修厂在一架A320飞机的右风扇包皮中,未正确安装导流片,导致该机在未经允许的情况下,低于构型偏离清单（Configuration deviation lists,CDL）飞行了3个月,险些酿成事故。国内民航机务2010—2020年的不安全事件统计分析表明,在473起事故中,错漏装引起的事故有62起,占事故总数的13.1%。

因此,错漏装检测在飞机装配过程中至关重要,其起着确保飞机安全性和完整性能的关键作用。通过准确检测和纠正各形式的错误装配,可以消除潜在的装配质量隐患,确保飞机的正常运行和乘客的安全。

随着目标检测技术在装配领域的发展应用,飞机错漏装检测技术的前沿发展与应用情况对提升飞行安全和可靠性具有重要的工程意义。为此,文章对错漏装检测技术的发展历程进行了概述；对比了不同飞机装配过程错漏装检测方法的优缺点；梳理了国内外错漏装检测技术的研究进展,总结了国内研究发展中的不足；并基于人工智能技术的发展和应用,对我国飞机装配过程错漏装检测技术的未来进行了展望。

2. 国内外错漏装检测技术研究现状

2.1 错漏装检测技术发展概述

错漏装检测技术的发展历程可以分为3个阶段,即人工检测阶段、机械与传感器检测阶段和人工智能检测阶段。飞机装配过程错漏装检测技术发展历程如图1所示。20世纪初,主要依赖人工装配和目视检查,工人依据经验,通过目视观察装配过程中的零部件位置和关系,来判断装配是否正确。目视检查通常应用于飞机的外部装配和表面检查,例如,检查飞机的外观,包括涂装、标识和装配件之间的对齐等。该方法虽然简单,但依赖人工经验和主观判断,检测的准确性和效率都存在一定局限。

随着飞机制造技术的进步和使用需求的增加,飞机装配过程变得越来越复杂,为了提高装配质量,从业者研究和应用了物理测量方法,如使用各种测量工具（卡尺、量规、投影仪等）和设备来验证飞机组件的尺寸、位置和形状是否符合规定要求。利用测量工具进行检测的方式广泛应用于飞机制造的各个环节,例如检查零件的尺寸、孔径、间隙和平面度等。

在20世纪后半叶到21世纪初,飞机装配过程中的错漏装检测技术不断改进和创新,发展出了机械与传感器检测技术等先进技术,装配检测能力得到了极大提升。

机械装置检测错漏装是基于被测零部件的特殊外形、工作环境或应用场景等特点,专门设计出的通过机械传动机制检测零部件是否存在错装或漏装的检测方法,如曲轴止推片、轴承滚子等。通过机械检测技术,可以实时监测和评估飞机组件和系统的状态,如检测装配错漏、泄漏问题、紧固力不足等缺陷,但该技术方法一般应用于小型零部件,无法作为通用错漏装检测手段应用,且检测过程容易造成零部件的损伤,因此难以应用于大型精密仪器的整体装配错漏装检测。

随着工业技术的发展,X射线检测、红外检测和压力传感器检测等采用传感器来接收信号的检测技术快速发展了起来,这些技术具有操作便利、适用性高、无损伤检测等优点而被广泛应用于工业生产过程中[6]。以X射线检测为例,采用传感器进行飞机错漏装的检测原理如图2所示。

X射线检测基于X射线的特性,通过测量射线在被测物中的透射和吸收,来检测装配过程中的错装和漏装。BUYNAK等[7]研究了X射线计算机断层扫描（Computed tomography,CT）技术在航空航天装配结构以及辅助设备中的应用,包括错漏装检测、故障诊断、几何图形采集、产品开发支持及工程适用性评估等。JANDEJSEK等[8]利用X射线检测技术对装配后的飞机复合材料结构进行了装配缺陷及错漏装检测,并使用WidePix X射线成像装置实现了碳纤维增强聚合物和蜂窝夹芯结构的缺陷可视化、分层检测和装配孔隙度测量,解决了装配后复合材料结构的错装、漏装和装配缺陷检测问题。QING等[9]综述了应用于飞机的基于压电传感器的结构健康监测（Structural health monitoring,SHM）技术,该传感器能够将机械应力转化为电荷或电压信号,从而检测飞机结构中错装或漏装引起的应变、共振、疲劳、裂纹、冲击和温度变化等问题。

随着大数据时代的到来,自动化检测技术已经逐渐与人工智能、增强现实与虚拟现实等先进技术接轨[10],为飞机装配提供了更准确、高效和可靠的检测手段。机器视觉技术能够模拟人类的视觉能力,通过对目标图像的识别与处理,实现提取图像特征信息的功能。该技术具有强大的功能性、高速的信息处理能力和大容量的信息传输能力[11]。图像目标检测技术层面上可简单描述为输出图像中每一个物体或对象的边界框与标签,将机器视觉引入飞机错漏装检测,属于机器视觉技术中的图像目标检测问题[11-12],可归类为人工智能检测技术。通过机器视觉对待检测物体进行图像采集,并利用模板匹配、机器学习或深度学习等方法进行图像目标检测进而实现飞机装配过程中的错漏装检测,其检测流程如图3所示。

人工智能检测技术可以分析装配过程中的图像数据,并实时监测装配过程中零部件的位置、完整性、紧固件装配和标识等情况,能够及时发现装配错误、漏装或破损情况,并帮助操作人员进行纠正,确保飞机的装配质量和安全性。人工智能检测可以高效地进行大规模的检测,并且对于复杂的装配结构和细节的检测具有优势。在航空航天工业制造领域引入机器视觉技术可以充分发挥其优势,提高检测效率和制造精度,同时降低人力成本,确保生产过程的安全性[13]。各类错漏装检测技术的发展时间、应用场景及优缺点对比如表1所示。

基于人工智能技术的错漏装检测方法一般分为模板匹配、机器学习和深度学习3大类,文章探讨了这3类智能检测方法的技术特点和研究进展,为后续我国飞机装配过程错漏装检测技术的进一步发展提供参考。

2.2 基于模板匹配的错漏装检测技术

模板匹配是最常用的一种目标检测方法,其通过计算模板与要查找图像之间的相似度量来对目标进行识别与定位,其基于事先准备好的模板图像或模式,通过在输入图像中寻找匹配的模式来判断是否存在装配错误或缺失部件。该方法具有稳定可靠且高效的特点,而被广泛应用于错漏装检测技术中。从模板匹配的发展来看,模板匹配的算法主要分为基于灰度值的模板匹配算法和基于几何特征的模板匹配算法两大类。

基于灰度值的模板匹配算法主要通过像素灰度值的计算实现模板的匹配过程,计算灰度值之差的绝对值之和或差值的平方和得出相似度量,找出模板图像在多次移动中匹配到的相似度量最高的点,在该像素点位置处,模板像素点与图像像素点之间的灰度值之差的绝对值接近零。但是该方法只适用于目标物体平移的情况,而且识别的效果较依赖光照的变化。2019年,董元发等[14]提出了一套基于灰度混杂区阈值模糊自适应调整的微小金属件漏装视觉检测方法,建立了不同装配特征灰度分布混杂区动态识别的数学模型（见图4）,解决了装配现场图像易受光照环境影响的问题。该方法成功应用于螺钉漏装的机器视觉检测系统中,展现了对手工装配作业复杂光环境的鲁棒性和适应性。

基于几何特征的模板匹配方法是一种常用的模板匹配方法,其通过对图像中的几何特征与模板的几何特征来进行匹配。在飞机错漏装检测任务中,常用的几何特征有边缘特征[15]、轮廓特征、角点特征、尺度不变特征和几何关系特征等。目前,常见的图像边缘检测方法包括基于梯度的方法、基于二阶导数的方法以及Canny算子等[16],利用图像梯度的极值或二阶导数过零点的值实现对图像边缘的检测,并通过将图像与微分算子模板进行卷积来完成检测[17-18]。轮廓特征可以用来比较图像中的物体轮廓与模板轮廓的相似度,从而进行匹配。

意大利学者FRUSTACI等[19]采用模板匹配方法,对基于特定几何模型的图像处理方法和特征提取算法进行了验证,对焊接法兰的错装问题进行了自动质量检测。该算法包括两个步骤：对感兴趣区域（Region of interest,RoI）进行图像分割；对图像角度偏移进行特征提取。

华中科技大学刘国召[20]基于圆锥轴承滚子的几何特征,提出了滚子倒装、漏装视觉检测波形图匹配算法。该算法以模板匹配方法为基础,通过图像预处理和区域分割得到待测组件轮廓区域,通过最小二乘法拟合得到内圈内轮廓的圆心坐标,并展开滚子分布的环带区域,以区域中线为特征信息,通过坐标变换绘制其灰度值分布的波形图,再通过对比标准件与缺陷件的波形图,实现滚子的倒装、漏装缺陷的准确检测。采用该算法的圆锥轴承滚子的几何特征提取结果如图5所示。

浙江大学李静寅[21]采用分数阶差分算法优化Canny算法,设计了优化的错漏装检测图像定位匹配算法,采用机器视觉实时采集待检测区域的装配图像,通过角度偏差检测算法,在与标准模板匹配时显示出待测物体的位置、角度、比例及匹配值等信息,以此对多媒体导航仪内的错漏装问题进行检测,检测精度可达98.18%。

模板匹配方法的优点在于简单直观,容易实现。其适用于检测相对简单的错漏装情况,且特征提取依赖于算法设计人员的经验和水平,每种方法都只针对固定场景,因此模板匹配方法存在一定的局限性；再加上其对光照、尺度、旋转等因素变化敏感,对于复杂场景和变化较大的目标可能表现不佳。此外,模板匹配方法通常需要成本较高的计算资源和时间,尤其是在大规模图像数据的匹配中。因此,在实际应用中,对于更复杂的错漏装检测任务,通常需要结合其他方法,如机器学习和深度学习,来提高检测的准确性和鲁棒性。

2.3 基于机器学习的错漏装检测技术

基于机器学习的飞机错漏装检测技术利用机器学习算法和模型来检测飞机装配过程中可能出现的错误和缺陷。相比传统的基于模板匹配的方法,该技术可以从大量的数据中学习并自动提取特征和模式,以实现更准确的检测和判断[22]。

随着机器学习在目标检测领域的广泛应用,国内外学者对于基于机器学习的错漏装检测技术进行了进一步研究。RIO-TORTO等[23]基于机器学习的方法将最新的领域自适应和伪标注方法应用于实际装配场景,以弥合车辆生成器生成的标注数据与工厂底层采集的实际未标注数据之间的差距。WU等[24]将机器视觉与机器学习相结合,研究了一种基于支持向量机（Support vector machines,SVM）的产品错装检测方法,该方法先通过图像处理技术对产品进行缺陷类型识别,再利用SVM训练集匹配结果提高识别速度和准确性。

机器学习方法在错漏装检测中具有一定的优势。该方法可以自动学习错漏装的特征和模式,无需手动定义规则。此外,机器学习方法还可以适应复杂场景和变化较大的目标,具有较好的鲁棒性和准确性。然而,机器学习方法也需要充足的训练样本和特征设计的合理性。同时,数据的质量和多样性也对机器学习方法的性能有重要影响。因此,在应用机器学习进行错漏装检测时,需要仔细设计和选择特征,并确保训练数据集的充分性和代表性。

2.4 基于深度学习的错漏装检测技术

基于深度学习的物体表面缺陷检测方法是一种端对端的检测方法,其通过构建深度神经网络模型,自动学习图像中的特征表示和模式,较人为设计规则更能准确地表述和理解缺陷信息,从而实现高效准确的错漏装检测。

对于错漏装检测任务,可以使用深度学习模型进行分类或分割。在分类问题中,模型学习从图像中提取特征,并将其映射到正确或错误装配的类别中；在分割问题中,模型学习对图像进行像素级别的标记,将每个像素分为正确或错误装配的区域[25]。

彭茂庭[26]提出了一种基于模板匹配及神经网络的目标检测算法ROCM-SNN,该算法是对模板匹配算法OCM的改进,与SIFT、LINE2D、BOLD、BORDER、OCM-DRW等目标检测算法相比,ROCM-SNN的目标检测准确度最高。各算法在D-Textureless数据库中对应的ROC曲线如图6所示。

电子科技大学杨冬[27]结合模板匹配和深度学习的技术,研究了一种智能检测装配过程的方法,该方法将优化的YOLO模型与VGG19模型集成,实现增强的目标检测网络,通过图像特征点实现了图像拼接和模板匹配。MAACK等[28]通过深度学习的方法,采用异常检测（Anomaly detection,AD）模型和归一化流程对图像数据进行异常检测和异常定位。KOVILPILLAI等[29]提出了一种基于深度学习的机器视觉方法,用于自动检测和分类制造业生产线上的缺陷产品,通过优化激活函数对缺陷产品进行识别和分类,其深度学习模型由16层卷积（3×3）、最大池化（Max pooling）和重激活函数（Relu-activation function）连接的32层组,该深度学习模型框架如图7所示。ZHU等[30]使用深度残差网络（ResNet-G,ResNet-L）来提取目标物体的特征信息,通过贝叶斯方法将这些信息融合,解决了由图像分割引起的噪声问题。

ZHANG等[31]提出了一种利用语义特征的目标检测方法,以解决SSD算法在准确检测小目标物体方面的局限性。REZATOFIGHI等[32]提出了一种广义交叉并集思想（Generalized intersection over union,GIoU）,解决了检测任务中没有重叠部分时IoU无法直接优化的问题。ZIPFEL等[33]研究了基于深度神经网络的无监督模型,其可以对物体的整体质量进行一般评估而不局限于固定的类别集。上述不同机器学习和深度学习模型算法的特点对比如表2所示。

深度学习方法在错漏装检测中具有以下优势：能够自动学习大量图像数据中的复杂特征和模式,无需手动设计特征；深度学习模型具有较强的泛化能力,可以适应不同场景和变化条件下的错漏装检测任务；使用大规模的训练数据和合适的网络结构,深度学习模型可以实现较高的准确性和自适应性。然而,深度学习方法也面临一些挑战。其需要大量的标注数据来训练和优化深度学习模型,且训练过程通常需要较长的时间和更强大的计算资源。此外,深度学习模型的解释性较低,很难解释模型是如何做出错漏装判断的。

3. 飞机装配错漏装检测技术的挑战与发展

尽管飞机错漏装检测技术在国内已经取得了一些进展,但仍然需要面对一系列挑战并随着人工智能技术的发展而持续改进。飞机装配过程涵盖了多个环节和组件,每个环节可能需要采用不同的装配方式和零部件,从而进一步增加了对检测算法的复杂性和适应性的要求。故,需要高效的数据处理和存储技术,以及快速准确的检测算法来处理飞机装配过程中产生的大量图像和视频数据。此外,实际装配环境中光照条件和视角的变化可能对图像质量和检测算法的性能产生影响,因此克服光照和视角变化对算法鲁棒性的挑战也成为一个重要任务。同时,在装配过程的错漏装检测中,实时性是一个关键因素,为了及时纠正错误,系统需要在实时或接近实时的条件下进行检测和反馈。因此,探索更高效的算法和计算平台亦是未来的一个研究方向。

综上分析,文章绘制了飞机装配错漏装检测技术未来的发展方向,如图8所示,主要包括以下几方面内容。

（1）多模态数据融合。结合使用图像、深度信息和其他传感器数据进行装配检测,提高系统的鲁棒性和准确性。

（2）大模型与知识图谱。进一步优化深度学习算法,结合大模型技术将多种深度学习检测算法的优点相融合,同时引入知识图谱技术[34],设计更高效和准确的网络架构,以提高检测性能。

（3）强化学习与自主决策。结合强化学习和自主决策技术,使机器能够在装配过程中自主学习和决策,使系统能够匹配多种数据结构并能够面向用户输出多种装配检测结果及建议,进一步提高错误检测和纠正的能力。

（4）实时和可视化结果输出。针对实时性要求,未来的研究可以探索更高效的算法和计算平台,以实现实时或接近实时的错漏装检测和反馈。同时,结合虚拟现实、增强现实、3D影像生成和数字孪生等先进技术,向用户输出多模态可视化结果,有效降低检测过程中的人为因素干扰,提高效率的同时降低错检率。