1 引言
传统光谱学是一种通过观测选择性波长的电磁辐射与物质物体的相互作用来研究原子和分子结构的学科。迄今几乎所用的电磁辐射谱段，从波长较短的X射线到波长较长的微波，都已经用于光谱分析，主要包括分子光谱和原子光谱两大类。例如，紫外-可见光谱、分子荧光光谱、近红外（NIR）光谱、中红外（MIR）光谱、拉曼光谱、太赫兹谱、X射线荧光（XRF）光谱、激光诱导击穿（LIBS）光谱等，及其它们的成像技术（成像光谱）。传统光谱分析技术在化学分析、材料科学、生物医学、环境监测等多个领域发挥着重要作用，为物质成分与结构确定、材料表征、疾病诊断、环境监测等提供关键手段[1]。
2 光谱融合策略与算法
2.1 经典的融合策略
根据多光谱数据融合结构的不同，如图1所示，可将融合策略分为三大类：低层融合（数据级融合）、中层融合（特征级融合）和高层融合（决策级融合）。
低层融合即光谱数据层融合，来自不同光谱源的数据按一定顺序排列到一个矩阵中，即光谱矢量的串接（Vectors concatenation），然后利用常规的化学计量学/机器学习方法建立最终的单个模型，这一方式常称为串联方法，例如串联偏最小二乘（Concatenated PLS）等。Moros等[16]提出了另外三种不同的低层融合算法，分别是累加融合（Coaddition fusion，CF）、等权融合（Equal rights fusion，ERF）、外积融合（Outer product fusion, OPF）。光谱的外积运算和光谱的外和运算通常用于两类光谱的融合计算，对于多类光谱的融合可分别进行两两的运算，或者先进行光谱矢量的串接，再进行外积运算或外和运算。为消除不同光谱数值大小的差异以及噪声和背景等因素的影响，往往在融合前对光谱进行必要的导数、MSC和归一化等预处理。
中层融合也称为特征层融合，是将不同来源的光谱数据经过特征提取，例如对于一维光谱常用主成分分析（PCA）得分、偏最小二乘回归（PLS）得分、多元曲线分辨率交替最小二乘法（MCR-ALS）得分、小波系数等，对于多维光谱常用GRAM、并行因子分析（PARAFAC）、Tucker3等得分，然后对选取的特征变量按照一定的顺序进行矢量化[17⇓-19]。Ahmmed等[20]通过将主成分分析后的Raman与MIR光谱特征变量融合并建立PLS模型，得到了比单光谱更准确的磷虾油中二十碳五烯酸（EPA）与二十二碳六烯酸（DHA）含量。Xu等[21]将LIBS和NIR进行融合，采用多层感知-主成分分析方法鉴别柑橘叶片的黄龙病，取得了满意的结果。除了传统的光谱特征提取方法外，还可用深度学习方法对光谱特征进行提取。Shi等[22]采用卷积神经网络（Convolutional neural network，CNN）提取电子鼻与高光谱的深度特征，结合全局扩展极限学习机（Global extension extreme learning machine，GE-ELM），实现对大米品质差异的高精度识别。
在中层融合，也可用PCA或PLS等方法逐一提取每一光谱矩阵的得分，然后将得分组合在一起，再用特征筛选方法选取最优变量，利用传统多元校正方法建立回归模型，例如网络诱导监督学习方法（Network induced supervised learning，NI-SL）就是采用这种策略[23]。
高层融合也称决策级融合，它从每个光谱数据源单独建立分类或回归模型，并将每个单独模型的预测结果进行组合以得到最终的决策结果。实际上，在高层融合中往往还包含光谱数据的低层融合、中层融合。决策融合的方式是高层融合成功的关键，对于分类常用的方式有基于离散概率分布的贝叶斯共识、投票机制和Dempster-Shafer证据理论等，对于回归常用的方式有加权平均和Granger-Ramanathan方法等[24-25]。Ballabio等[26]分别采用多数投票和贝叶斯共识融合NIR、MIR、Raman、PTR-MS、电子鼻的数据对蜂蜜种类进行分析，结果表明采用NIR+PTR-MS+Raman组合的贝叶斯共识的表现更好。Greenberg等[27]采用平均和Granger-Ramanathan方法对中红外光谱和XRF光谱预测土壤属性的结果进行融合，Granger-Ramanathan方法给出了更稳健的结果。
对于高层融合，除了最终预测结果的融合外，还可将高层数据（例如用于直接计算最终结果的回归系数等）进行融合，例如，Rodionova等[28]提出了一种采用高层数据融合的多块DD-SIMCA方法，它通过结合单光谱数据阵的全距离、多块数据的总距离（累积分析信号），以及联合临界水平，实现最终单类别的判据。
2.2 基于多块算法的融合
除了上述基于传统化学计量学/机器学习方法的三种融合策略外，还有一些针对多光谱融合数据（多块数据）分析的专用算法，例如多块PCA、共同维度分析（Common dimension analysis，ComDim）等无监督学习方法，以及多块偏最小二乘（Multiblock PLS）、序贯正交偏最小二乘（Sequential and orthogonalized PLS，SO-PLS）和响应导向顺序交替（Response-oriented sequential alternation，ROSA）等有监督学习方法。
2.2.1 ComDim方法
如图2所示，对于m块光谱矩阵，块X1、块X2、…、块Xm，其样本数（行数）相同都为n，每块的特征数（列数）分别为p1、p2、…、pm，ComDim方法就是求取代表公共基础维度的n组得分向量，q1、q2、…、qr，r为通用成分数。ComDim方法首先计算每块光谱矩阵的关联矩阵XiXiT，该矩阵反映了样本之间的相似性，然后对其进行加权求和后分解，得到共同成分得分qj，权重λj(i)和共同成分载荷vj(i)，其中得分qi可作为样本的特征进行模式识别和回归分析，载荷vj(i)可用于分析光谱变量的重要性，权重λj(i)代表的是在构建通用成分j时，i块光谱矩阵的重要性。
Xie等[37]应用ComDim方法对不同贮藏期柠檬的外部品质参数、营养品质参数、可见近红外高光谱和核磁共振氢谱（1H-NMR）进行探索性分析，揭示了多数据块之间的协同效应，为柠檬的质量控制和储存管理提供有用的见解。
2.2.2 MB-PLS方法
对于多光谱数据的回归，可用多块PCA或ComDim方法的得分与浓度建立多元线性回归模型，也可采用层次多块PLS（Hierarchical multiblock PLS，HPLS）或多块PLS方法（Multiblock PLS，MB-PLS)，其中常用的是MB-PLS。如图3所示，对于光谱矩阵1（块X1）与另一光谱矩阵2（块X2），MB-PLS方法的建模策略为：首先分别建立每一个块与浓度y的偏最小二乘模型，提取相应的PLS成分（称为下层模型）；再使用各块获得的PLS成分与浓度建立整体的偏最小二乘模型（称为上层模型）[42]。在上述这个过程中，由于各块的变量数远小于整体的变量数，并且各个块都具有特定的内涵意义，因此多块偏最小二乘方法得到的结果对信息的综合概括能力更强，具有更强的解释作用和应用价值。
2.2.3 OnPLS方法
经典的潜结构正交投影法（OPLS）是将数据中的预测信息（与感兴趣的因变量相关的信息）和非预测信息（与因变量无关的系统变化信息）分离，它通过将数据矩阵分解为多个部分来实现这一目标，其目的是减少数据的复杂性，提高模型的解释性，以及增强模型的预测能力。双向OPLS方法（O2PLS）是OPLS方法对两块数据的推广，它可得到两块数据阵共同的主成分以及每一块的主成分。
在O2PLS方法基础上，Löfstedt等[45-46]提出了OnPLS方法，将其推广至多块数据阵。OnPLS是完全对称的，即数据块的排列顺序不影响OnPLS的输出，这些输出矩阵揭示了每个数据矩阵在三个层次上的共享数据结构，即所有数据块之间的全局联合结构（Globally joint）、块子集之间的局部联合结构（Locally joint）、每个数据块内的独有结构（Unique）。OnPLS不仅提取了具有最大协方差和相关性的最小数量的全局联合成分，还生成了局部联合和独有成分，在降低复杂性和增加可解释性的同时，还有利于提高回归和分类的准确性[47-48]。近期，Galindo-Prieto等[49]将变量重要性投影（Variable importance in projection，VIP）概念用于多块数据分析，提出了多块正交投影变量影响的变量选择方法MB-VIOP，该方法是一种基于模型的变量选择方法，根据OnPLS模型的得分和载荷，按照对全局联合成分、局部联合成分和独有成分的影响重要性分别进行排序。OnPLS方法主要用于生物组学中的多块数据处理，在光谱融合方面的应用研究相对较少。
2.2.4 SO-PLS方法
多块偏最小二乘方法（Multiblock PLS）采用的是并联的校正模式，序贯正交偏最小二乘（Sequential and orthogonalized PLS，SO-PLS）是串联式的校正方式。例如，对于拉曼光谱矩阵（块X1）与近红外光谱矩阵（块X2），SO-PLS的建模策略为，首先建立块X1与浓度y的PLS模型，得到相应的PLS成分（如得分阵TX1和浓度残差阵yR等），将TX1与块X2进行正交化得到正交后的光谱阵X2orth，然后建立正交阵X2orth与浓度残差阵yR的偏最小二乘模型，最终的预测结果由上述两个校正模型联合给出。如图4所示，由于SO-PLS方法采用了正交化处理，因此可有效提取出块X2中相对于块X1的额外互补光谱信息。
SO-PLS方法的主要优点是当数据块顺序有意义且已知时，可以先对重要的数据块建模，然后再对不太有用的数据块建模。Mishra等[50]利用现有的深度网络Resnet-18对五花肉高光谱成像（HIS）的空间域进行特征提取，并将其与光谱信息结合在SO-PLS多块框架中，对五花肉的品质参数进行预测分析。结果表明，对于化学性质参数，基于空间特征的模型不如基于光谱特征的模型，SO-PLS融合方法提高了模型预测物性参数的能力，说明空间和光谱信息的融合主要受益于物理特性而不是化学特性。Baqueta等[51]将近红外光谱、质谱和感官数据进行融合，用于咖啡产地的鉴别，与其他融合方法相比，SO-PLS方法得到了更好的识别结果，表明其顺序特性可以提供有关不同块的增量贡献信息，也可更直接地解释数据块协同和信息互补带来的效果。
然而，在缺乏先验知识的情况下，SO-PLS需要通过穷尽搜索所有排列来寻找最合适的排列。当块数量增加时，这将是一个非常耗时和复杂的工作。Campos等[52]提出了一种逐步SO-PLS方法，该方法计算速度快、易于实现，具有良好的预测和解释能力。
Mishra等[53]将典型PLS（Canonical PLS）引入SO-PLS，提出了用于多块数据多响应建模方法，该方法可使用样本的元信息实现高效的多响应建模和改进的子空间提取。Biancolillo等[54]将 SO-PLS与LDA结合将其推广用于多块数据的分类分析。Orth等[55]将SO-PLS-LDA方法用于可见光/近红外（VNIR）和短波红外（SWIR）光谱成像数据的融合，对发芽和未发芽的大麦籽粒进行判别，获得了较好的预测结果。Gomes等[56]在SO-PLS基础上，提出了顺序正交化一类偏最小二乘方法（SO-OC-PLS），用于紫外光谱与中红外光谱融合识别葡萄酒的真伪，该方法能够有效地挖掘出每个数据块中的共同信息和不同信息，达到了灵敏度和选择性之间的最佳。
多块光谱数据分析的另一个挑战是输入特征变量的选择，在数据融合方法中，CovSel方法备受关注，类似于PLS方法的非线性迭代偏最小二乘（NIPALS）算法，它通过协方差最大化和正交化的迭代提取信息变量[59-60]。针对多块和多维数据的处理，为提高CovSel方法的计算速度，Mishra[61]提出了一种更快的协变量选择算法fCovSel。Biancolillo等[62-63]将CovSel与SO-PLS结合，提出了多块变量选择方法SO-CovSel，该方法以顺序正交化的方式执行CovSel，提取出来的变量可用于回归和分类。Liu等[64]将近红外光谱和紫外-可见光谱融合，采用SO-Cov方法选取特征波长，用PLS-DA建立识别草果产地的判别模型，结果表明，SO-CovSel在不损失分类能力的前提下，能够提供更简洁的模型，表现优于VIP方法。在SO-CovSel和ROSA基础上，Mishra等[65]提出了响应导向协变量选择（Response oriented covariates selection，ROCS）方法，该方法对数据块顺序不敏感，又保持了每个数据块独立建模所产生的尺度不变性。
顺序多块PLS方法（Sequential multi-block PLS algorithm，SMB-PLS）是在MB-PLS和SO-PLS基础上提出的，它将SO-PLS的顺序正交化策略引入到MB-PLS结构中，不仅克服了MB-PLS方法不能单独选取各块主成分数的不足，而且可以可视化块之间的相关和正交信息，在不丢失信息的情况下探索和解释完整的数据结构[66]。该方法目前多用于工业过程多块数据的处理，很少用于多光谱融合。
2.2.5 PO-PLS方法
与SO-PLS方法不同，平行正交PLS（Parallel and orthogonalised PLS，PO-PLS）方法是在不施加任何顺序的情况下，估计多个数据块之间的公共（即重叠）子空间和各块正交于公共空间的子空间，以获得每块数据阵中的独特信息。该方法实现的手段是PLS回归、正交化和广义典型相关分析（GCA）[67]。
PO-PLS方法的第一步是对每个输入块进行单独的PLS回归，然后使用GCA探索这些子空间之间的相关结构。GCA是一种寻找不同块的线性组合的方法，具有足够高的典型相关的方向或维度被定义为公共子空间。当公共信息被确认后，将各块子空间对公共子空间正交化，剩下的信息被认为是每块唯一的子空间。然后，建立正交子空间与浓度向量的新PLS回归，获取每块的唯一得分阵。最后，将公共子空间得分与每块的子空间得分串联组合成新特征变量阵，与浓度向量进行经典最小二乘回归，得到最终的回归系数[68]。
2.2.6 ROSA方法
ROSA方法采用的光谱数据块竞争规则是一种正向选择方式，在每次迭代中，不同的数据块都有新机会被选中，因此，不同的数据块可以多次使用。由于在块选择时只考虑了候选主成分得分机器相关的预测残差，因此，与MB-PLS或SO-PLS方法不同，块数据的顺序和单位对ROSA算法的结果无影响。此外，ROSA具有很高的计算效率，因为它不需要迭代收敛的优化准则，只需要计算浓度残差而不是所有光谱数据块的残差。Tanzilli等[70]将四个在线近红外光谱数据块和多个过程传感器数据块融合，采用ROSA方法对不同ABS聚合物产品的两个质量参数进行在线预测分析，不仅可以准确预测这两个参数，而且阐明了特定工艺参数对最终产品质量的影响，与SO-PLS方法相比，ROSA方法在计算效率上显示出了优势。由于ROSA算法使用的是启发式算法，有可能陷入局部最小值，使其模型的预测效果不如SO-PLS[71]。
2.3 基于多维算法的融合
光谱融合时往往遇到多维光谱数据阵，常用的方法是将多维数据阵展开，再采用低层的光谱融合策略，或者采用多维数据分析方法对多维光谱阵进行分解提取得分变量，然后通过中层融合策略建立定量和定性模型。如图12所示，Ríos-Reina等[74]采用中红外光谱、近红外光谱、三维荧光光谱和核磁共振氢谱对西班牙高品质葡萄酒醋进行鉴别分析，对中红外光谱和近红外光谱用PCA进行分解，对三维荧光光谱用PARAFAC进行分解，对核磁共振氢谱用多变量曲线分辨-交替最小二乘（MCR-ALS）进行分解，将特征融合后然后用PLS-DA建立识别模型。对于工业过程分析中多维数据块的融合，如图6所示，也可以将多维数据进行分解，然后将每个过程阶段的参数变量与多块数据的特征变量进行融合，与最终的产品质量建立定量预测模型[75]。
Biancolillo等[76]在SO-PLS和多维PLS（N-PLS）的基础上，提出了用于多维多块光谱数据融合的算法SO-N-PLS，与将多维数据展开再用SO-PLS或MB-PLS方法融合相比，当三维数据有清晰的三线性结构时，SO-N-PLS方法的回归和分类结果更好，对于小样本量和噪声数据尤其如此。
2.4 基于深度学习的融合
近年来，基于深度学习的光谱融合方法得到越来越多的重视和研究。一方面深度学习的特征提取能力强，能准确捕捉细微特征，可以利用不同的网络分支进行差异化特征提取；另一方面，基于深度学习的方法可以精心设计损失函数和网络结构，以实现更合理的自适应特征融合。深度学习在光谱融合中的应用可分为以下三类：一是光谱数据的直接拼接成一维数据或通过不同的数据变换方法转换成多维数据，直接作为输入，通过CNN等深度学习方法建立回归或分类模型；二是利用深度学习强特征提取能力，分别从各光谱中捕捉细微特征，然后通过传统的机器学习算法或深度学习算法建立模型；三是通过设计深度学习网络结构，将光谱特征信息与其他信息（如高光谱中的空间特征或机器视觉信息）融合，以提高模型的预测准确性和可靠性[78]。如图8所示，Gutiérrez等[79]利用三种不同的深度学习融合方式，建立了可见短波、长波近红外光谱预测葡萄中15种氮化合物含量的回归模型，均得到了比单光谱结合经典机器学习更好的结果，其中基于深度学习特征融合的方法最好。
Mishra等[80]将可见光和近红外光谱结合并行输入的CNN深度学习，用于芒果干物质含量的预测，其结果优于单块CNN和SO-PLS方法。Hong等[81]采用并行输入的CNN深度学习将VIS-NIR和MIR光谱融合，预测土壤有机碳含量，其结果优于直接拼接的CNN和O-PLS方法。Sun等[82]也采用类似的深度学习框架将拉曼光谱与机器视觉图像融合，成功将多种矿石进行分类识别。Song等[83]将可见光-近红外（vis-NIR）和便携式X射线荧光（pXRF）光谱数据进行融合，并将连续小波变换（CWT）与并行输入二维卷积神经网络算法结合，提高土壤质量指数(SQI)的预测精度，与SO-PLS方法相比具有明显优势。
3 光谱融合的应用研究进展
3.1 单光谱融合
单光谱的融合常见的有三种情况：一是在不同的参数或方式下测量光谱，二是用不同类型的光谱仪器或附件测量光谱，三是将同一台仪器上测量的光谱分段或预处理后按照多光谱的模式进行融合。
便携式近红外光谱仪比台式光谱仪成本更低，但通常不能覆盖整个近红外光谱范围。Mishra等[90]将400~1000 nm和1000~1700 nm两个携带互补信息光谱区的光谱仪，用于梨水分含量和可溶性固溶物含量的预测分析，采用SO-PLS方法显著提高了预测准确性。Ryckewaert等[91]也用类似的研究思路，对甘蔗饲料的粗蛋白质和糖含量进行准确预测分析。Mishra等[92]则采用SO-PL和SO-CovSel方法对两个近红外光谱波段（400~1000 nm、1000~1700 m）的高光谱成像数据进行融合，建立了预测葡萄可溶性固形物含量的模型，与单高光谱相机相比，两个波段高光谱相机数据的顺序融合得到了更低的预测误差。
在非均相样品中，光的相互作用是复杂的，同时包括透射、吸收和散射，这些都会影响光谱。Rey-Bayle等[93]采用多角度空间分辨近红外光谱与CCSWA方法结合，用于同时获取在线过程中样品的物理和化学信息。Thanavanich等[94]采用透射和透反射两种方式测量混合糖溶液的近红外光谱，然后通过多种多块融合算法建立了定量模型，结果表明，MB-PLS算法对总糖浓度的预测能力更强，此外还获取了块重要性和可解释方差的信息，为近红外光谱分析中最佳检测方式的选择提供了依据。Awhangbo等[95]采用浸入式、遥测式和偏振光式近红外光纤探头对厌氧消化过程进行监测，通过SO-PLS方法使这些光谱的互补性得到加强，提高了对厌氧消化过程的理解。Casarin等[96]采用ComDim方法对15 kv和50 kv的XRF光谱进行融合，然后利用ComDim得分建立苔麸粉含量的MLR预测模型，用于鉴别掺假低价值谷物粉的苔麸粉。
3.2 两光谱融合
3.2.1 分子光谱的融合
对于分子光谱之间的融合，中红外和拉曼光谱的融合最受关注，因为两者之间反映的分子结构信息互补性较明显。Liu等[97]将中红外和拉曼光谱与SVM算法相结合，用于蜂蜜样品的产地鉴别，结果表明，两种数据融合策略均能增强蜂蜜产地的识别能力，特征级数据融合模型的预测精度高于单个光谱模型和数据级融合模型。McKeown等[98]采用便携式中红外光谱和拉曼光谱对四种方法合成的芬太尼前体N-苯乙基-4-哌啶酮（NPP）和4-苯胺-N-苯乙基哌啶（ANPP）进行识别，与单个仪器相比，中级数据融合结合OPLS-DA方法获得了更好的结果。Leng等[99]利用血清样本FTIR光谱和拉曼光谱的互补性，采用卷积神经网络-长短期记忆（CNN-LSTM）和多尺度卷积融合神经网络（MFCNN）建立了多光谱融合的癌症诊断方法，与单光谱相比，其识别准确性提高了约10%。Yu等[100]分别采用低层融合和高层融合策略，将拉曼光谱和中红外光谱用于死前和死后骨折的类别进行鉴定，结果表明，基于构建模型的多样性的高层融合策略得到了最好的结果，该研究为获得模型的多样性，分别在Raman和FTIR数据集上建立了PLS-DA、SVM、RF和GBDT四种模型。
3.2.2 原子光谱的融合
原子光谱的融合主要集中在LIBS 和XRF之间，因为XRF非常适合分析许多重元素，如S、Cl和Br以及一些过渡金属，XRF的检测限比LIBS好，但对Si、Al和Mg等较轻的元素，其灵敏度较低。相比之下，LIBS对H、Li、Be、B和C等轻元素特别敏感，使其成为XRF的理想补充。LIBS和XRF的元素信息互补优势，在煤分析中尤为突出，不仅能测出煤中与发热量和挥发分密切相关的有机轻元素，而且可以高稳定地检测与煤中灰分有关的无机成灰元素，进而提高其预测煤品质的稳定性和准确性[107]。
对于LIBS测量，在激光诱导等离子体的同时，会产生冲击波和声波，声波携带着激光与物质相互作用过程和等离子体膨胀过程中能量转换的相关信息。此外，等离子体发射图像可以提供等离子体辐射强度的二维信息，与基体效应、自吸收和激光强度的波动等密切相关。因此，将LIBS与激光诱导声波信号和等离子体发射图像进行融合，可以提高LIBS的信号质量和分析性能[112-113]。Alvarez-Llamas等[114]将同时获取的LIBS和激光诱导声波数据通过中层策略融合在一起，即把LIBS光谱数据的PCA得分与声学特征数据进行组合作为鉴别相似矿物的输入变量，提高了铁基和钙基矿物的识别能力。Zhou等[115]将LIBS与激光诱导声波进行融合，以提高SVM原始模型在不同激光束的LIBS系统之间的可转移性，特征级融合和决策级融合都获得了较好的结果。Zhang等[116]提出了一种等离子体成像-光谱融合激光诱导击穿光谱方法（PISF-LIBS），用于改善光谱波动的影响，提高LIBS定量分析的性能。
3.2.3 原子光谱与分子光谱的融合
原子光谱与分子光谱之间的融合代表是拉曼光谱和LIBS光谱，一是两者之间的信息互补，二是两者的光谱仪器结构十分相似，容易实现一体机的制造。例如，Shin等[117]设计并测试了一种紧凑的拉曼/LIBS集成系统，主要用于掺假食品的快速鉴别分析，采用中层融合策略和弹性网络方法，与使用单独的光谱方法相比，该系统将元素信息和分子信息结合起来，使分类精度提高了约10%。
Sushkov等[118]评估了LIBS和拉曼光谱结合PCA、NMF和ComDim对海洋浮游动物进行快速分类的潜力，结果表明，尽管NMF和ComDim的载荷中提供了一些有趣的信息，但基于低层光谱融合的PCA给出了更好的结果。Ren等[119]将LIBS和拉曼光谱相结合用于鱼类的种类鉴定，LIBS光谱中包含C、P、Mg、Ca、H、Na、N、K和O等元素的发射谱线，拉曼光谱中可以检测到蛋白质、类胡萝卜素、脂类和水的分子谱线，采用SVM和CNN方法分别建立了三个层次的融合分类模型，结果表明，低层融合CNN模型的分类准确率最高。Lin 等[120]针对人参产地鉴别问题，采用PCA对LIBS和Raman融合数据进行降维处理，在CatBoost识别模型中，与LIBS和Raman单光谱相比，LIBS-Raman中层融合结果的准确性分别提高了11%和6%。
Wang等[121]提出了一种基于方差分析（ANOVA）和粒子群优化（PSO）的混合特征选择方法，从矿石的Raman和LIBS光谱中选择特征波长进行融合，在Raman中识别出CO32-、SO42-和SiO32-的不同振动模式，而在LIBS中可以检测到Ca、Al、Na、Fe、Ba、Sr和Mg的元素发射谱线然后，采用CNN建立了识别矿石的，识别准确率达98%，而仅使用Raman和LIBS的准确率略低，分别为87.9%和91.3%。Yang等[122]将双脉冲激光诱导击穿光谱（DP-LIBS）和表面增强拉曼光谱（SERS）融合，构建LS-SVM、MLP-ANN、RBF-ANN和PNN识别模型，用于判别小麦幼苗铅胁迫的程度，其结果均优于单光谱建立的模型。
NIR与LIBS光谱之间的融合也有较多的研究，中药阿胶主要含有胶原蛋白、蛋白质、氨基酸、多糖、微量元素、水等有机和无机成分，Xia等[123]采用低层策略把中药阿胶的LIBS和NIR光谱进行融合，建立了鉴别品牌的PLS-DA模型，所有样本都得到了成功识别。Chen等[124]为了检测不同产地黄精的掺假情况，提出了基于深度学习网络（LVDLNet）的LIBS-VNIR融合方法，在LVDLNet模型中，LIBS光谱数据的间隔点标准化策略和VNIR数据处理中的峰谷聚焦细化策略，提高了黄精掺假鉴定的准确性。Fuentes等[125]将LIBS提供的元素信息与高光谱成像提供的分子信息相结合，对铜精矿中的矿物成分含量进行预测，结果表明，中层融合策略的准确性优于低层策略。
3.3 三光谱融合
三种光谱的融合多用于食品领域，Kashani等[132]采用高层融合策略将vis-NIR、SWIR和荧光（FL）光谱预测鱼片新鲜度的结果进行集成，预测准确度达95%，将FL、vis-NIR和SWIR单光谱的准确性分别提高了26%、10%和9%。He等[133]在紫外光谱、近红外光谱和三维荧光光谱基础上，通过添加3个酸敏量子点作为附加维度，构建四向荧光光谱数据阵列，并利用中级数据融合的方式建立识别白酒品牌的分类模型，显著提高了识别的准确率。Gao等[134]将山药的近红外、中红外和拉曼光谱融合，采用为中级融合策略，通过建立灰狼优化器-支持向量机（GWO-SVM）模型，对山药地理产地成功进行了鉴别。Zhang等[135]研究了NIR、荧光光谱和LIBS融合鉴别食用明胶的应用潜力，采用竞争自适应重加权采样法（CARSM）提取特征变量，然后建立随机森林模型对5种食用明胶产地进行分类，其分类准确率明显优于单光谱的结果。
3.4 光谱与其他信息的融合
光谱与色谱（包括色质联用）的融合往往能发挥色谱高分离和高分辨与光谱大量宏观信息之间的协同作用。原油是世界上最复杂的有机混合物之一，含有大量独特的成分，傅里叶变换离子回旋共振质谱提供了高质量精度，使原油的详细分析成为可能。Gjelsvik等[139]将中红外光谱、近红外光谱和FT-ICR-MS融合，采用变量筛选后的顺序正交PLSR（SO-PLSR）方法，提高了模型的预测精度，该结果也表明多块方法对解决更复杂问题具有的潜力。Zhang等[140]将快速气相色谱电子鼻（Flash GC E-Nose）与近红外光谱融合对黄酒的年份进行分类，多源信息融合策略即使与经典算法如PLS-DA结合也能达到100%的分类准确率。对于总酸、非挥发性酸、氨基酸氮、总可溶性固形物等黄酒的品质参数，低层融合结合深度学习给出了最好的预测结果。Giannetti等[141]采用GC-MS、MIR和NIR，结合SO-PLS-LDA和SO-CovSel-LDA方法，对有地理标志的意大利传统烈酒进行了鉴定研究，讨论了多块数据不同顺序对识别结果的影响，结果表明近红外光谱特征为正确分类提供了必要的信息。Li等[142]采用近红外光谱（NIR）和气相色谱-质谱（GC-MS），将痕量化学物质与高含量化学物质结合起来，多维度地进行茶叶品级鉴定，结果表明，中层融合与随机森林方法可以更好地利用特征变量，是一种很有前途的茶叶等级鉴定方法。Raeber等[143]将介质阻挡放电电离质谱（DBDI-MS）与FTIR光谱结合，采用SO-PLS-LDA方法显著提高了不同产地精油分类的准确性，与传统方法相比，该方法具有高通量筛选的潜力。
彩色相机获得的图像含有丰富的样品外部质量信息，如颜色、纹理、形状、表面缺陷等，近些年光谱与视觉图像的融合越来越紧密。蛋白质和湿面筋是决定小麦品质的重要指标，在评价小麦加工和烘焙性能中起着举足轻重的作用。红绿蓝（RGB）成像很容易地捕捉小麦样品的颜色，为其质量评价提供直观的信息。Zhang等[144]将近红外高光谱成像与RGB图像融合，通过Pearson-CARs-VIF算法多层次提取敏感特征，再利用随机森林回归建立预测小麦蛋白质和湿面筋含量的分析模型，比较不同输入特征的预测结果，优选出了预测准确性最好的融合方法。人参的产地对其营养价值和化学成分有显著影响，Ping等[145]将HSI光谱信息与X射线图像纹理信息进行融合，分别采用中层融合策略和基于Stacking算法的高层融合策略构建分类模型，其结果不仅优于仅使用HSI光谱信息构建的模型，而且进一步证明了HSI光谱信息与X射线图像纹理信息融合在人参原产地溯源应用中的优势。You等[146]应用ComDim方法对牛肉不同部位的高光谱和图像纹理信息、NMR谱、品质参数和电子鼻信息进行评价，与底层数据融合的PCA方法相比，ComDim方法可揭示不同信息源之间的关系，为牛肉不同部位的加工适宜性提供更具体的理论支持。Sheng等[147]基于近红外光谱和机器视觉的颜色纹理特征，采用中级融合建立了预测红茶干燥过程中水分含量的LS-SVM模型，对控制红茶干燥质量具有较强的指导意义。Díaz-Romero等[148]提出了LIBS和计算机视觉图像融合用于废铝分类的两种深度学习模型，可将废铝以令人满意的精度分成具有商业价值的类别。
光谱除了色谱和图像融合外，还与其他分析信息融合。例如，Fu等[149]利用近红外光谱和声发射谱结合数据融合策略对流化床造粒过程中的水分含量和粒度进行定量预测分析，对比研究表明，基于近红外光谱的模型预测化学成分水分效果优于声发射谱，但对于物理参数粒度，高层融合的预测效果最佳，因为高层融合可以通过调整多元线性回归的参数来补偿系统误差，从而降低弱传感器的贡献。Bodor等[150]探讨了将近红外光谱、花粉和理化分析数据进行低层融合，使用PCA-LDA方法对不同植物和地理来源的蜂蜜进行分类，获得了较好的结果，其中植物来源分类的准确率明显优于地理来源。张彬彬等[151]将近红外、拉曼及超声3种传感器安装在挤出机模头处，利用卷积神经网络提取三种传感器的数据特征，然后采用长短期记忆网络建立预测熔体的密度，显著提高了预测准确性。
4 光谱融合方法的选择
当单光谱分析技术无法得到满意分析结果时，在经济和技术可行的前提下，可考虑采用多光谱融合技术，选择具体融合方式时，需要考虑研究目标、数据规模和类型等诸多问题。
在选择融合策略时，一般遵循以下基本原则：（1）首先使用低层融合策略进行探索性分析，由于低水平融合具有样本量大、计算效率低、无法对不同量级的数据进行直接融合，在融合前通常需要对数据进行归一化、降噪、删除冗余变量等预处理。（2）当多块数据的维数和结构存在显著差异时，选择中层融合策略。中级融合从不同的源数据中提取特征，形成新的特征集，往往会得到比低层融合策略更好的结果，所以也是使用最多的融合策略。（3）高层融合策略的构建较为复杂，但它并未利用多光谱信息的交错性和互补性，存在丢失大量详细信息的问题，但其好处在于对数据块进行单独处理，减少了不同模型之间的相互干扰，其目的是通过统计整合方法进一步提高预测的稳定性，适用于对鲁棒性要求较高的分析场景。
与传统的适用于一维光谱数据的分类和回归方法相比，针对数据融合的多块方法可以实现子空间级的信息融合，进而通过主成分载荷和得分对多块数据进行解释和理解。但是，每种方法也都有自己的优点和缺点。例如，MB-PLS使用分层PLS方法提取全局分数，对数据块的规模高度敏感。SO-PLS对每个块单独建模，按照数据块的顺序对互补信息进行建模，因此依赖于数据块的顺序。PO-PLS允许在不考虑数据块顺序的情况下对公共信息和不同信息进行建模，但它需要大量的计算成本来优化模型。尽管ROSA是一种计算速度快的替代方法。然而，由于模型成分提取的贪心方法，ROSA可能会陷入局部最小值。例如，Karami等[155]针对VNIR和MIR光谱融合对土壤属性的定量预测分析，比较了SO-PLS和ROSA方法的优劣，结果表明，SO-PLS方法给出了更好的预测准确性。
采用多块方法的另一个优势是可以将元信息合并到模型中，以促进有效的提取，提高模型的预测能力。元信息是指描述训练数据的一个或多个附加变量，例如实验条件、混合比例或工业过程的工艺参数等数据。因此，如图9所示，多块方法可用于生产过程的管控中，对工艺系统内各单元的关键品质进行预测分析，以深入理解过程系统中各因素间的因果关系，辨识关键质控位点，稳定并提升产品质量。由于实际条件或经济限制，这些元信息在现实实验室或工业生产环境中并不是很容易获取的。
深度学习可以捕捉到不同数据源之间的深层次关联和隐含关系，从而更有效地融合多模态数据，提高对数据的理解和分析能力。随着数据量的不断增长，深度学习模型在处理大规模数据方面具有优势，尤其适合光谱与图像之间的融合。但是，深度学习通常需要设计复杂的网络结构，包含对众多的参数和层进行优化，这不仅需要大量的计算资源，而且如果数据有限或数据分布不均衡的情况下，并非总是给出较好的效果。例如，Feng等[156]采用HSI光谱、MIR和LIBS 3种光谱，利用PCA和自编码器提取特征光谱，基于SVM、LR和CNN，分别建立了对水稻病害进行分类的低层、中层和高层融合策略的鉴别模型，结果表明，CNN并没有取得优异的性能。
大多数情况下，多光谱融合往往比单个模型产生更好的结果，但并不总是如此，尤其是对于分子光谱之间的融合或原子光谱之间的融合，主要是信息的互补性不强或某一光谱的数据质量欠佳。Robert等[157]利用中红外光谱、近红外光谱、拉曼光谱及其融合方法预测加工羊肉中脂肪酸组成的性能并进行了比较评价，结果表明，尽管融合方法对某些脂肪酸的预测准确性有所改进，但综合评估的结果是中红外光谱更优。Ferreira等[158]比较了XRF与LIBS光谱融合前后对废弃电子产品中元素的预测结果，对于Al元素，融合模型退化到完全失去线性，对于Cu和Fe元素，改进很小，从工业角度来看，数据融合策略是不可行的。Ribeiro等[159]将三种不同测量条件下的原始pXRF光谱数据进行融合，建立了预测土壤肥力属性P-ComDim模型，但与单模型相比，融合模型并没有显著提高模型的性能。
5 结论与展望
多光谱融合是现代光谱分析技术的重要组成部分，也是近些年主要的研究和发展方向之一。它将不同类型的光谱进行优化整合，以获得更全面和可靠的特征数据，通过化学计量学/机器学习方法构建回归或识别模型，对样品进行定量和定性分析，旨在提高模型预测的准确性和稳定性。分子光谱之间、原子光谱之间、分子光谱与原子光谱之间，以及光谱与其他信息之间的结合，通过经典的三种融合策略，以及基于多块算法、多维算法和深度学习的融合方法，已在谷物、食品、中药、土壤和煤等复杂混合物的快速定量和定性分析得到了广泛的应用研究，一些基于融合概念的多光谱分析仪也已研发成功，并得到了实际应用。总之，多光谱融合技术将朝着更加精准、智能、实用和高效的方向发展，为各个领域带来更多的创新和应用。
基于多光谱融合技术现阶段的研究和应用进展，未来这一领域应主要围绕以下四方面开展工作。
（1）多光谱融合的光谱仪器研制。目前已有商品化的或正在研制的多光谱仪器包括：LIBS仪器与拉曼光谱仪器的组合、拉曼光谱仪器与中红外光谱仪器的组合、XRF仪器与LIBS仪器的组合、中红外光谱仪器与近红外光谱仪器的组合，还有各种谱学成像仪器的组合等，为使其走向实际应用，尤其应重视适用于现场快速分析和工业在线分析的、低成本的多光谱一体机的商业化开发。此外，还应重视与之配套的测量附件的研制，以实现多光谱分析仪器的自动化和智能化。
（2）光谱融合信息源的扩充。光谱组合时的信息互补性尤为重要，有时某一光谱的数据质量欠佳或信息的互补性不强，可能导致融合效果不理想。这一方面需要准确判断不同光谱之间的互补性，选择合适的光谱或其他分析手段（如色谱、声谱、图像等）进行融合，另一方面，需要在实验条件上研究扩充样品的化学（分子或原子水平）信息源。例如，对于表面增强拉曼光谱，可以针对检测对象，选择多种基底材料获取不同增强信号的拉曼光谱进行融合，以同时对多种不同的微量物质进行快速定量分析。另外，一些样品的物理特征或过程工艺参数等信息，也可作为融合的信息源，进一步提高预测的准确性和稳健性。
（4）实际应用的拓展与深入。目前多光谱融合技术在很多领域的应用研究不够深入，大部分模型的开发还处在实验室理想条件下的探索阶段，有些研究没有考虑光谱仪器硬件成本和计算资源成本，缺乏实用性和可比性，因此，需要针对特定的应用场景，以市场需求为导向，开发技术细节严格的、商业化的谱学数据库，突破应用的瓶颈。当前“云+网+端”的网络化系统平台的兴起为多光谱融合数据的自动优化处理和应用提供了条件，可在一定程度上减低该技术的投入和使用成本，并提高其应用效率，这对推动多光谱融合技术的实际应用和产业化发展具有重要意义，有助于该技术在各个领域发挥更大的作用。
6 后记
1994年，陆婉珍院士高瞻远瞩，极具前瞻性和战略性地在我国创立近红外光谱这一应用学科并组建科研团队，研制国产近红外光谱实验室型和在线型光谱仪器和化学计量学软件，创建原油及石油产品的光谱数据库，其中很多研究成果都在我国的炼油装置（例如汽油调和、催化重整、S Zorb、润滑油加氢异构等）上得到了长时间的工业应用，与先进过程控制和实时优化控制结合，为强化生产过程的实时分析和生产稳定优化提供了支撑，取得了良好的经济效益和社会效益[163]。
陆婉珍院士积极倡导光谱结合化学计量学/机器学习的研究和应用范式，研究方向不仅局限在近红外光谱和石油分析，还将这种研究手段推广到中红外光谱、紫外光谱以及其他应用领域，体现了她高超的智慧和远见。目前，基于化学计量学/机器学习的现代光谱分析技术已涉及中红外光谱、紫外-可见光谱、分子荧光光谱、拉曼光谱、太赫兹谱、激光诱导击穿光谱、核磁共振谱等众多分子光谱和原子光谱，已被广泛地用于农业、食品、制药、石化、冶金和地质等领域，在一些领域取得了规模化的应用成效，为科技和经济的发展作出了贡献。
本文综述的多光谱融合技术是现代光谱分析技术的重要发展方向，是光谱结合化学计量学/机器学习的研究和应用范式的自然延伸。陆婉珍院士生前十分关注这一研究方向，本课题组将这种多光谱融合技术用于预测聚α烯烃基础油转化率[77]，取得了较好的应用效果，是传承基础上的创新成果。目前，本课题组还将其用于煤、重油和石油焦的快速分析研究和应用。