智能驾驶功能软件平台设计规范 第二部分：感知融合功能服务接口 版本：1.0 2020-07-29 发布

1 规范应用范围

本规范规定了智能驾驶功能软件平台中的感知融合功能服务接口。
本规范适用于设计开发 GB/T《汽车驾驶自动化分级》[1]所定义的 2 级及以上的驾驶自动化系统即智能驾驶系统。

2 规范引用文件

本规范的引用和参考文件见下表：
[1] GB/T《汽车驾驶自动化分级》
[2] ISO/DIS 23150:2020(E) Road vehicles — Data communication between sensors and data fusion unit for automated driving functions — Logical interface [3] ISO 8855:2011 Road vehicles — Vehicle dynamics and road-holding ability
[4] ADASIS(Advanced Driver Assistance Systems Interface Specification) v3
[5] 智能驾驶功能软件平台设计规范 第一部分：系统架构
[6] 智能驾驶功能软件平台设计规范 第三部分：预测功能服务接口
[7] 智能驾驶功能软件平台设计规范 第四部分：定位功能服务接口
[8] 智能驾驶功能软件平台设计规范 第五部分：决策规划功能服务接口

3 缩略语

文档中可能使用到的缩写说明如下所示：
缩略语 英文全名 中文解释
AD Autonomous Driving 自动驾驶
ADAS Advanced driver-assistance systems 高级辅助驾驶系统
ODD Operational Design Domain 设计运行区域
APP Application 应用程序
VCS Vehicle Coordination System 车体坐标系

4 感知融合功能概述

智能驾驶功能软件平台基于不同厂商的技术实现方案进行功能抽象，共分为传感器抽象功能、感知融合功能、预测功能、决策规划功能、定位功能和执行器抽象 6 个功能模块。主机厂基于自身策略，在设计和开发功能软件时可以选择不同的功能模块和算法组件，实现拼插式功能组合，灵活构建智能驾驶系统级解决方案。
image.png
感知融合功能是指在传感器抽象层的输入数据基础上进行信息融合，结合多种传感器的特性、工况和环境信息，完成对物理世界的数字呈现，作为整体环境的动态输入，是整个智能驾驶功能决策的基础。感知融合功能可以支持不同传感器的组合实现不同的感知任务，传感器组合可以是激光雷达，摄像头和毫米波雷达中的一种或者多种。感知任务包括移动目标检测与跟踪、自由空间、交通灯和交通标志识别、道路结构识别等。
image.png
按照“应用、服务”分解成单个、自包含的算法组件的原则，感知融合功能可以提供下列算法组件以及对应的服务接口：

  • 目标识别和跟踪服务接口
  • 道路结构服务接口
  • 交通标志服务接口
  • 静态目标服务接口
  • 可行驶空间服务接口
  • 自车状态服务接口
  • 泊车位信息服务接口

  • 环境模型服务接口

    5 感知融合功能服务接口

    本规范规定了感知融合功能对外提供的逻辑接口，定义了服务所提供信息的语义和数据类型，逻辑接口主要由数据包头和数据体两部分组成。

  • 数据格式 Integer 表示整数类型，Float 表示实数类型；

  • 可选必选列表明信号在接口中是否必选，M 代表必选，O 代表可选。

    5.1 目标识别和跟踪服务接口

    目标识别和跟踪服务接口主要提供动态和静态目标的检测和跟踪服务，包括交通参与者信息、道路标志、静态目标等信息。
    image.png

    5.2 道路结构服务接口

    道路结构信息服务接口主要提供道路标线和停止线的识别信息，信息包括车道线类型，置信度，曲线表示，特征点集合等信息。
    image.png

    5.3 交通标志服务接口

    交通标志服务接口主要提供交通灯和交通标志的识别信息，主要是交通灯和交通标志中的指示信息，包括动态和静态语义信息，是当前交通规则的约束信息。接口至少需要包含一个交通灯或者交通标志的信息。
    image.png

    5.4 可行驶空间服务接口

    可行驶空间服务接口主要提供自车附近可供自车行驶的自由空间信息，通过在车辆坐标系下的可行驶特征点和栅格信息来表示。

    5.5 自车状态服务接口

    自车状态服务采集车辆当前状态，满足后续车辆实现动态智能驾驶业务需求。
    image.png

    5.6 泊车位信息服务接口

    泊车位信息服务接口，提供停车场区域内车位检测服务，输出泊车位信息集合。
    image.png

    5.7 环境模型服务接口

    环境、世界模型服务提供当前车辆所处环境信息以及车辆自身状态信息，这些信息是前述服务的一个集合，并在时间上进行对齐，反应在一个时间轴剖面上的车辆内外环境信息。
    image.png
    image.png

    6 数据结构定义

    6.1 标准元数据头

    标准元数据包头是感知融合功能服务接口的通用包头，主要包含算法组件信息、版本信息，序列号、时间戳、采用坐标系信息、模块状态信息等。
    image.png
    image.png

    6.2 几何描述

    6.2.1 二维坐标

    二维坐标信息表示二维平面的点或者向量信息。
    image.png

    6.2.2 三维坐标

    三维坐标信息表示三维平面的点或者向量信息。
    image.png

    6.2.3 二维多边形

    二维多边形提供了多边形的二维特征点数组信息。
    image.png

    6.2.4 三维多边形

    三维多边形提供了多边形的三维特征点数组信息。
    image.png

    6.2.5 边框

    边框信息主要提供物体轮廓的长宽高信息。
    image.png

    6.2.6 四元数

    四元数信息用来表示三维空间中的旋转信息。
    image.png

    6.3 位置变换

    位置变换信息主要提供了目标位置的平动和转动信息。
    image.png

    6.4 位姿

    位姿信息主要提供目标位姿信息，包括位置、姿态和协方差。
    image.png

    6.5 速度

    速度信息提供了目标的线速度和角速度信息以及协方差信息。
    image.png

    6.6 加速度

    加速度信息提供了目标的线加速度和角加速度信息以及协方差信息。
    image.png

    6.7 动静态目标元数据

    动静态目标元数据提供了目标识别和跟踪信息，包括目标标识，类型，存在概率，跟踪时间，几何尺寸，速度，加速度，车道关系和灯光信息等。
    image.png
    image.png
    image.png

    6.8 车道线元数据

    车道线元数据主要提供车道线的类型、置信度、双曲线表示信息等。
    image.png

    6.9 停止线元数据

    停止线元数据提供了停止线类型、置信度，起点和终点的信息。
    image.png

    6.10 交通灯元数据

    交通灯元数据提供了交通灯的类型、颜色、位置、剩余时间信息。
    image.png
    image.png

    6.11 交通标志元数据

    交通标志元数据信息包括了交通标志的类型、位置和对应车道。
    image.png

    6.12 栅格信息描述

    车辆坐标系下，构建栅格描述自由空间：格栅的范围是汽车左30米，右30米，前250米， 后80米。
    image.png

    6.13 栅格单元信息

    栅格单元信息表明栅格单元的占用状态和占用概率。
    image.png

    6.14 泊车位元数据

    泊车位元数据表明泊车位的类型，位置，置信度等特征信息。
    image.png

    6.15 车辆状态元数据

    车辆状态元数据表明车辆的状态信息，包括转向信息、速度信息、加速度信息、控制模式、发动机状态等。
    image.png

    附 录 A（资料性附录）感知融合服务接口 protobuf 描述

    A.1 数据结构定义描述

    1. // common.proto
    2. message Header{
    3.   required uint32 ModuleID=1;
    4.   message VersionID{
    5.   required uint32 major=1;
    6.   required uint32 minor=2;
    7.   required uint32 patch=3;
    8. }
    9.   required VersionID vid=2;
    10.   required uint32 sequenceNum=3;
    11.   message timeStamp{
    12.   required uint64 timeStampS=1;
    13.   required uint64 timeStampNs=2;
    14. }
    15. required timeStamp TimeStamp=4;
    16. enum FRAMETYPE{
    17.   NA=0;
    18.   VCS=1;
    19.   WGS84=2;
    20.   UTM=3;
    21. }
    22. required FRAMETYPE Frame=5;
    23. emum STATUS{
    24.   GOOD=0;
    25.   MED=1;
    26.   FAILURE=2;
    27. }
    28. required STATUS Status =6;
    29. }
    30. message Point2D{
    31.   required double x=1;
    32.   required double y=2;
    33. }
    34. message Point3D{
    35.   required double x=1;
    36.   required double y=2;
    37.   required double z=3;
    38. }
    39. message Polygon2D{
    40.   repeated point2D p2d=1; 
    41. }
    42. message Polygon3D{
    43.   repeated point3D p3d=1; 
    44. }
    45. message Dimension{
    46.   required double height=1;
    47.   required double width=2;
    48.   required double length=3;
    49. }
    50. message Quaternion {
    51.   required double qx = 1 ;
    52.   required double qy = 2 ;
    53.   required double qz = 3 ;
    54.   required double qw = 4 ;
    55. }
    56. message Transformation{
    57.   required Point3D Translation=1;
    58.   required Quaternion Rotation=2;
    59. }
    60. message Pose{
    61.   required Point3D Position=1;
    62.   required Quaternion Orientation=2;
    63.   required double Covariance=3;
    64. }
    65. message Velocity{
    66.   required Point3D Linear=1;
    67.   required Point3D Angular =2;
    68.   repeated double Covariance=3;
    69. }
    70. message Acceleration{
    71.   required Point3D Linear=1;
    72.   required Point3D Angular =2;
    73.   repeated double Covariance=3;
    74. }
    75. message Object{
    76. required uint32 objectId=1;
    77. enum OBJECTYPE{
    78.   Pedestrian=1;
    79.   Cyclist=2;
    80.   Car=3;
    81.   Truck=4;
    82.   Tram=5;
    83.   Motorcycle=6;
    84.   Bicycle=7;
    85.   Tricycle=8;
    86.   TrafficLight=9;
    87.   TrafficSign=10;
    88.   RoadSign=11;
    89.   TrafficCone=12;
    90.   TrafficStick=13;
    91.   BillBoard=14;
    92.   ParkingSlot=15;
    93.   FireHydrant=16;
    94.   Unknow_static=17;
    95.   Unknow_movable=18;
    96. }
    97. required OBJECTYPE objectType=2;
    98. required double classConfidence=3;
    99. required bool isMovable=4;
    100. optional double existProbability=5;
    101. optional double timeLastSeen=6;
    102. optional double timeCreation=7;
    103. optional double objectAge=8;
    104. optional double trackQuality=9;
    105. required pose referencePoint=10;
    106. required Dimension objectDimension=11;
    107. required Velocity ObjectVelocity=12;
    108. required Acceleration ObjectAccel=13;
    109. optional int32 laneAssignment=14;
    110. optional double laneOffsetLeft=15;
    111. optional double laneOffsetRight=16;
    112. enum LIGHTSTATUS{
    113.   OFF=0;
    114.   LEFT=1;
    115.   RIGHT=2;
    116.   BLINK=3;
    117.   BRAKE=4;
    118. }
    119. Optional LIGHTSTATUS LightStatus =17;
    120. }
    121. message LaneLine{
    122. enum LANELINETYPE{
    123.   WHITE_DASHED = 0;
    124.   WHITE_SOLID = 1; 
    125.   YELLOW_DASHED = 2;
    126.   YELLOW_SOLID = 3;
    127.   UNKNOWN=4;
    128. }
    129. required LaneLineType Type=1;
    130. required double confidence=2;
    131. repeated Point3D linePoints=3;
    132. }
    133. message StopLine{
    134. enum STOPLINETYPE {
    135.   NORMAL=0;
    136.   UNKNOWN=1;
    137. }
    138. required STOPLINETYPE Type=1;
    139. required double confidence=2;
    140. required Point3D LeftStart=3;
    141. required Point3D RightEnd=4;
    142. }
    143. message TrafficLight{
    144. required uint32 id=1;
    145. enum TLType {
    146.   STRAIGHT = 0;
    147.   LEFT = 1;
    148.   RIGHT = 2;
    149.   U_TURN = 3;
    150. }
    151. required TLtype type=2;
    152. enum TLColour{
    153.   RED = 0;
    154.   YELLOW = 1;
    155.   GREEN = 2;
    156.   BLACK = 3;
    157.   UNKNOWN = 4;
    158. }
    159. required TLColour Colour =3;
    160. required Point3D Position=4;
    161. required Polygon2D Box=5;
    162. required int32 LaneAttached=6;
    163. optional double RemainingTime=7;
    164. } message TrafficSign{
    165. required uint32 id=1;
    166. enum TSTYPE{
    167.   SpeedLimit=0;
    168.   HzardWarning=1;
    169. }
    170. required TSTYPE Semantic=2;
    171. optional uint32 value=3;
    172. enum UNITTYPE{
    173.   KMPH=0;
    174.   TON=1;
    175. }
    176. optional UNITTYPE Unit=4;
    177. required Point3D position=5;
    178. required Polygon2D Box=6;
    179. optional int32 LaneAttached=7;
    180. }
    181. message FreeSpaceMeta{
    182.   required double xStart=1;
    183.   required dboule xEnd=2;
    184.   required dboule xReslution =3;
    185.   required uint32 xGridNum =4;
    186.   required double yStart=5;
    187.   required dboule yEnd=6;
    188.   required dboule yReslution =7;
    189.   required uint32 yGridNum =8;
    190. }message FreeSpaceCell{
    191. enum CELLSTATUS {
    192.   UNKNOW=0;
    193.   FREE=1;
    194.   OCC_STATIC=2;
    195.   OCC_MOVABLE=3;
    196. }
    197. required CELLSTATUS Status=1;
    198. required double Probability=2; 
    199. }
    200. message ParkingSpace{
    201.   required uint32 id=1;
    202.   enum PARKINGTYPE{
    203.   PARKING_TYPE_UNKNOWN = 0;
    204.   PARKING_TYPE_VERTICAL = 1;
    205.   PARKING_TYPE_PARALLEL = 2;
    206.   PARKING_TYPE_INC = 3;
    207. }
    208. required PARKINGTYPE Ptype=2;
    209. required double typeConfidence=3;
    210. repeated Point3D ParkingSpotPoints=4;
    211. optional double width=5;
    212. optional double length=6;
    213. required bool valid=7;
    214. }
    215. message VehicleStatus{
    216. required double SteeringAngle=1;
    217. required double steeringVelocity=2;
    218. required Acceleration acc=3; 
    219. required Velocity vel=4; 
    220. enum DrivingMode{
    221.   MANUAL=0;
    222.   AUTO=1;
    223.   LAT_ONLY=2;
    224.   LON_ONLY=3;
    225. }
    226. required DrivingMode ControlMode=5;
    227. enum GearPosition{
    228.   GEAR_NEUTRAL = 0;
    229.   GEAR_PARKING = 1;
    230.   GEAR_DRIVE = 2;
    231.   GEAR_REVERSE = 3;
    232.   GEAR_LOW = 4;
    233.   GEAR_INVALID = 5;
    234.   GEAR_NONE = 6;
    235. }
    236. required GearPosition GearMode=6;
    237. enum EngineMode{
    238.   ON=0;
    239.   OFF=1;
    240.   FAILURE=2;
    241. }
    242. required EngineMode eMode =7;
    243. repeated double WheelSpeed=8;
    244. }

    A.2 目标识别和跟踪服务接口

    1. // ObjectDetectionAndTrackingService.proto
    2. import common.proto
    3. message ObjectDetectionAndTrackingService{
    4. required Header header=1;
    5. repeated Object ListOfObjects=1;
    6. }

    A.3 道路结构服务接口

    1. // RoadStructureService.proto
    2. import common.proto
    3. message RoadStructureService{
    4.   required Header header=1;
    5.   repeated LaneLine ListOfLaneLine=2;
    6.   repeated StopLine ListOfStopLine =3;
    7. }

    A.4 交通标志接口

    1. // TrafficSignLightService.proto
    2. message TrafficSignLightService{
    3.   required Header header=1;
    4.   repeated TrafficLight ListOfTrafficLight=2;
    5.   repeated TrafficSign ListOfTrafficSign=3;
    6. }

    A.5 可行驶空间接口

    1. // DrivableAreaService.proto
    2. import common.proto
    3.   message DrivableAreaService{
    4.   required Header header=1;
    5.   required FreeSpaceMeta MetaInfo=2;
    6.   repeated FreeSpaceCell ListOfFreeSpaceCells=3;
    7. }

    A.6 车辆状态服务接口

    1. //VehicleStatusService.proto
    2. import common.proto
    3. message VehicleStatusService{
    4.   required Header header=1;
    5.   required VehicleStatus vState=2;
    6. }

    A.7 泊车位信息服务接口

    1. // ParkinglotDetectionService.proto
    2. import common.proto
    3.   message ParkinglotDetectionService {
    4.   required Header header=1;
    5.   repeated ParkingSpace ParkingLots =2;
    6. }

    A.8 环境模型服务接口

    1. import common.proto
    2. message ParkinglotDetectionService {
    3.   required Header header=1;
    4.   repeated Object ListOfObjects=2;
    5.   repeated LaneLine ListOfLaneLine=3;
    6.   repeated StopLine ListOfStopLine =4;
    7.   repeated TrafficLight ListOfTrafficLight=5;
    8.   repeated TrafficSign ListOfTrafficSign=6;
    9.   optional FreeSpaceMeta MetaInfo=7;
    10.   repeated FreeSpaceCell ListOfFreeSpaceCells=8;
    11.   required VehicleStatus vState=9;
    12.   repeated ParkingSpace ParkingLots =10;
    13. }