引自

概述

多传感器融合（Multi-sensor Fusion, MSF）是利用计算机技术，将来自多传感器或多源的信息和数据以一定的准则进行自动分析和综合，以完成所需的决策和估计而进行的信息处理过程。

基本原理

多传感器融合基本原理就像人脑综合处理信息的过程一样，将各种传感器进行多层次、多空间的信息互补和优化组合处理，最终产生对观测环境的一致性解释。在这个过程中要充分利用多源数据进行合理支配与使用，而信息融合的最终目标则是基于各传感器获得的分离观测信息，通过对信息多级别、多方面组合导出更多有用信息。这不仅是利用了多个传感器相互协同操作的优势，而且也综合处理了其它信息源的数据来提高整个传感器系统的智能化。

具体来讲，多传感器数据融合原理如下：

　　（1）多个不同类型传感器（有源或无源）收集观测目标的数据；

　　（2）对传感器的输出数据（离散或连续的时间函数数据、输出矢量、成像数据或一个直接的属性说明）进行特征提取的变换，提取代表观测数据的特征矢量Yi；

　　（3）对特征矢量Yi进行模式识别处理（如聚类算法、自适应神经网络或其他能将特征矢量Yi变换成目标属性判决的统计模式识别法等），完成各传感器关于目标的说明；

　　（4）将各传感器关于目标的说明数据按同一目标进行分组，即关联；

　　（5）利用融合算法将目标的各传感器数据进行合成，得到该目标的一致性解释与描述。

融合阶段

信息融合一般分为 4 个阶段，分别是: 信息源收集整理阶段、信息源处理阶段、分析决策阶段和融合结论输出阶段

融合层次

根据处理信息源所在的层次，信息融合可分为数据层融合、特征层融合和决策层融合。
数据是指每个区段传感器采集的测量数据。
特征是指分析和转换后的数据结果和知识。
决策是指观察目标的结论。

数据层融合：将原始数据的直接融合。 其输入是由多个传感器提供的各种类型的原始数据，其输出为特征提取或者局部决策的结果。
优点：可以从其它融合层中没有的原始 数据中提取更多细节。
缺点：较繁重的计算负担、 较差的实时性能以及需要良好的容错能力来处理传 感器数据本身的不稳定性和不确定性，且仅适用于 同类传感器的原始数据融合。

特征层融合：提取数据源的特征信息， 进行分析和处理，保留足够的重要信息，为后期决策分析提供支持。
优点：提取原始数 据信息特征后，减少了待处理的数据量，提高了实时性。

决策层融合：作为一种高层次融合，具有高灵活性、强抗干扰性、良好的容错性和较小的通信带宽要求。首先，对传感器测量数据进行预处理，获得研究对象的初步决策; 然后，所有局部决策结果在某种规则下进行组合，以获得最终的联合决策结果。 因此，决策层融合需要压缩传感器测量数据，这不仅具有高处理成本，而且还会丢失大量细节信息。

三种决策应用场景：
假设各个传感器数据相互匹配(例如，2个传感器测量相同的物理特性)，测量的传感器数据即可直接在数据层中融合。当各个传感器数据相互不匹配时，则需要根据特定情况来判断是采取特征层融合、还是决策层融合的方法。 通常，通过融合原始数据来获得特征，再使用特征的融合来做出判断决策。无论是数据层融合、特征层融合还是决策层融合，都需要将相关的信息进行关联和配准，区别在于数据的相关性和相互匹配的顺序是不一样的。理论上，数据层融合的优点是可以保留大量的原始数据，来为目标提供尽可能精细的信息，并获得尽可能准确的融合效果。决策层融合较少依赖于传感器。对于特定用途，判断采用哪个级别的融合集成是系统工程问题，应该全面考虑所处的环境、计算资源、信息来源特征等因素的综合影响。

融合结构

信息融合结构：采用信息融合技术的系统结构一般可分为集中式融合、分布式融合和混合式融合架构。

集中式融合：在集中式融合结构中，每个传感器的原始观测数据被发送到一个独特的中央处理单元、即融合中心进行融合后的全局判断。该结构具有高精度和低信息损失，但需要高通信带宽来传输原始数据，并且对中央处理单元的计算性能要求较高，真正实现起来较为困难。

分布式融合：在分布式融合结构中，各个传感器预先处理观测到的原始数据，并进行初步判决，然后将局部处理结果发送到融合中心。与集中式融合结构相比，分布式融合结构降低了通信带宽要求，具有更好的可靠性和系统可行性。

混合融合：结合了上述两种方法的优点， 但在计算和网络通信上开销较大，主要应用于大型 复杂系统。

融合算法

对于多传感器系统而言，信息具有多样性和复杂性，因此对信息融合算法的基本要求是具有鲁棒性和并行处理能力。其他要求还有算法的运算速度和精度；与前续预处理系统和后续信息识别系统的接口性能；与不同技术和方法的协调能力；对信息样本的要求等。一般情况下，基于非线性的数学方法，如果具有容错性、自适应性、联想记忆和并行处理能力，则都可以用来作为融合方法。

多传感器数据融合的常用方法基本上可分为两大类：随机类和人工智能类。

随机类

（1）加权平均法

信号级融合方法最简单直观的方法是加权平均法，将一组传感器提供的冗余信息进行加权平均，结果作为融合值。该方法是一种直接对数据源进行操作的方法。

（2）卡尔曼滤波法

主要用于融合低层次实时动态多传感器冗余数据。该方法用测量模型的统计特性递推，决定统计意义下的最优融合和数据估计。如果系统具有线性动力学模型，且系统与传感器的误差符合高斯白噪声模型，则卡尔曼滤波将为融合数据提供唯一统计意义下的最优估计。

卡尔曼滤波的递推特性使系统处理无需大量的数据存储和计算。但是采用单一的卡尔曼滤波器对多传感器组合系统进行数据统计时，存在很多严重问题，例如：① 在组合信息大量冗余情况下，计算量将以滤波器维数的三次方剧增，实时性难以满足。② 传感器子系统的增加使故障概率增加，在某一系统出现故障而没有来得及被检测出时，故障会污染整个系统，使可靠性降低。

（3）多贝叶斯估计法

将每一个传感器作为一个贝叶斯估计，把各单独物体的关联概率分布合成一个联合的后验概率分布函数，通过使联合分布函数的似然函数为最小，提供多传感器信息的最终融合值，融合信息与环境的一个先验模型以提供整个环境的一个特征描述。

（4）D-S证据推理法

该方法是贝叶斯推理的扩充，包含3个基本要点：基本概率赋值函数、信任函数和似然函数。

D-S方法的推理结构是自上而下的，分为三级：第一级为目标合成，其作用是把来自独立传感器的观测结果合成为一个总的输出结果（ID）；第二级为推断，其作用是获得传感器的观测结果并进行推断，将传感器观测结果扩展成目标报告。这种推理的基础是：一定的传感器报告以某种可信度在逻辑上会产生可信的某些目标报告；第三级为更新，各传感器一般都存在随机误差，因此在时间上充分独立地来自同一传感器的一组连续报告比任何单一报告更加可靠。所以在推理和多传感器合成之前，要先组合（更新）传感器的观测数据。

（5）产生式规则

采用符号表示目标特征和相应传感器信息之间的联系，与每一个规则相联系的置信因子表示它的不确定性程度。当在同一个逻辑推理过程中，2个或多个规则形成一个联合规则时，可以产生融合。应用产生式规则进行融合的主要问题是每个规则置信因子的定义与系统中其他规则的置信因子相关，如果系统中引入新的传感器，需要加入相应的附加规则。

AI类

（1）模糊逻辑推理

模糊逻辑是多值逻辑，通过指定一个0到1之间的实数表示真实度（相当于隐含算子的前提），允许将多个传感器信息融合过程中的不确定性直接表示在推理过程中。如果采用某种系统化的方法对融合过程中的不确定性进行推理建模，则可以产生一致性模糊推理。

与概率统计方法相比，逻辑推理存在许多优点，它在一定程度上克服了概率论所面临的问题，对信息的表示和处理更加接近人类的思维方式，一般比较适合于在高层次上的应用（如决策）。但是逻辑推理本身还不够成熟和系统化。此外由于逻辑推理对信息的描述存在很多的主观因素，所以信息的表示和处理缺乏客观性。

模糊集合理论对于数据融合的实际价值在于它外延到模糊逻辑，模糊逻辑是一种多值逻辑，隶属度可视为一个数据真值的不精确表示。在MSF过程中，存在的不确定性可以直接用模糊逻辑表示，然后使用多值逻辑推理，根据模糊集合理论的各种演算对各种命题进行合并，进而实现数据融合。

（2）人工神经网络法

神经网络具有很强的容错性以及自学习、自组织及自适应能力，能够模拟复杂的非线性映射。神经网络的这些特性和强大的非线性处理能力，恰好满足多传感器数据融合技术处理的要求。在多传感器系统中，各信息源所提供的环境信息都具有一定程度的不确定性，对这些不确定信息的融合过程实际上是一个不确定性推理过程。神经网络根据当前系统所接受的样本相似性确定分类标准，这种确定方法主要表现在网络的权值分布上，同时可以采用学习算法来获取知识，得到不确定性推理机制。利用神经网络的信号处理能力和自动推理功能，即实现了多传感器数据融合。

应用领域

多传感器数据融合作为一种可消除系统的不确定因素、提供准确的观测结果和综合信息的智能化数据处理技术，已在军事、工业监控、智能检测、机器人、图像分析、目标检测与跟踪、自动目标识别等领域获得普遍关注和广泛应用。

（1）机器人

多传感器数据融合技术的另一个典型应用领域为机器人。目前主要应用在移动机器人和遥操作机器人上，因为这些机器人工作在动态、不确定与非结构化的环境中（如“勇气”号和“机遇”号火星车）。这些高度不确定的环境要求机器人具有高度的自治能力和对环境的感知能力，而多传感器数据融合技术正是提高机器人系统感知能力的有效方法。实践证明：采用单个传感器的机器人不具有完整、可靠地感知外部环境的能力。智能机器人应采用多个传感器，并利用这些传感器的冗余和互补的特性来获得机器人外部环境动态变化的、比较完整的信息，并对外部环境变化做出实时的响应。目前，机器人学界提出向非结构化环境进军，其核心的关键之一就是多传感器系统和数据融合。

（2）遥感

多传感器融合在遥感领域中的应用，主要是通过高空间分辨力全色图像和低光谱分辨力图像的融合，得到高空问分辨力和高光谱分辨力的图像，融合多波段和多时段的遥感图像来提高分类的准确性。

（3）智能交通管理系统

数据融合技术可应用于地面车辆定位、车辆跟踪、车辆导航以及空中交通管制系统等。

（4）复杂工业过程控制

复杂工业过程控制是数据融合应用的一个重要领域。目前，数据融合技术已在核反应堆和石油平台监视等系统中得到应用。融合的目的是识别引起系统状态超出正常运行范围的故障条件，并据此触发若干报警器。通过时间序列分析、频率分析、小波分析，从各传感器获取的信号模式中提取出特征数据，同时，将所提取的特征数据输入神经网络模式识别器，神经网络模式识别器进行特征级数据融合，以识别出系统的特征数据，并输入到模糊专家系统进行决策级融合；专家系统推理时，从知识库和数据库中取出领域知识规则和参数，与特征数据进行匹配（融合）；最后，决策出被测系统的运行状态、设备工作状况和故障等。

存在问题及发展趋势

随着传感器技术、数据处理技术、计算机技术、网络通讯技术、人工智能技术、并行计算软件和硬件技术等相关技术的发展，尤其是人工智能技术的进步，新的、更有效的数据融合方法将不断推出，多传感器数据融合必将成为未来复杂工业系统智能检测与数据处理的重要技术，其应用领域将不断扩大。多传感器数据融合不是一门单一的技术，而是一门跨学科的综合理论和方法，并且是一个不很成熟的新研究领域，尚处在不断变化和发展过程中。

（1）存在问题

尚未建立统一的融合理论和有效广义融合模型及算法；对数据融合的具体方法的研究尚处于初步阶段；还没有很好解决融合系统中的容错性或鲁棒性问题；关联的二义性是数据融合中的主要障碍；数据融合系统的设计还存在许多实际问题。

（2）发展趋势

建立统一的融合理论、数据融合的体系结构和广义融合模型；解决数据配准、数据预处理、数据库构建、数据库管理、人机接口、通用软件包开发问题，利用成熟的辅助技术，建立面向具体应用需求的数据融合系统；将人工智能技术，如，神经网络、遗传算法、模糊理论、专家理论等引入到数据融合领域；利用集成的计算智能方法（如，模糊逻辑＋神经网络，遗传算法＋模糊＋神经网络等）提高多传感融合的性能；解决不确定性因素的表达和推理演算，例如：引入灰数的概念；利用有关的先验数据提高数据融合的性能，研究更加先进复杂的融合算法（未知和动态环境中，采用并行计算机结构多传感器集成与融合方法的研究等）；在多平台／单平台、异类／同类多传感器的应用背景下，建立计算复杂程度低，同时，又能满足任务要求的数据处理模型和算法；构建数据融合测试评估平台和多传感器管理体系；将已有的融合方法工程化与商品化，开发能够提供多种复杂融合算法的处理硬件，以便在数据获取的同时就实时地完成融合。