智能网联汽车场景数据点云标注要求及方法

1 范围

本文件规定了智能网联汽车场景数据点云标注的基本内容、要求以及方法。
本文件适用于智能网联汽车场景数据点云的标注。

2 规范性引用文件

下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件,仅注日期的版本适用于本文件。凡是不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件。
GB/T 3730.1-2001 汽车和挂车类型的术语和定义
CH/T 8023—2011 机载激光雷达数据处理技术规范
GB/T 36100-2018 机载激光雷达点云数据质量评价指标及计算方法

3 术语和定义

下列术语和定义适用于本文件。

3.1 场景 scenario

一段连续时间内目标车辆的行为、外部环境以及在特定驾驶任务过程中环境与车之间的作用关系的描述。

3.2 激光雷达 light detection and ranging

发射激光束并接收回波以获取目标三维信息的系统。

3.3 点云 point cloud

以离散、不规则方式分布在三维空间中的点的集合。

3.4 点云标注 point cloud annotation

按照规则从点云数据中获取信息,并将信息记录。

3.5 交通参与者 traffic participants

交通流中的行人、交通工具和动物等。

3.6 目标物 object

智能网联汽车行驶环境中,可能会对智能网联汽车的决策规划造成影响的物体,主要是移动的交通参与者。

3.7 行为 action

指可移动目标物当前的动作状态。

3.8 三维边界框 3D bounding box

用于定位目标在点云中位置,由中心点坐标、长度、宽度、高度和航向角构成的长方体。

4 点云数据标注内容及要求

本文件规定的场景数据点云标注是通过三维边界框对目标物进行标注。针对点云数据语义标注内
容及要求可见附录A。
标注内容包含以下信息:
a) 目标物的类别:目标是何种交通参与者或道路基础设施;
b) 目标物的行为:目标的状态信息,用于了解目标的危险情况;
c) 目标物的身份识别号(ID):用于对目标进行跟踪及轨迹记录;
d) 目标物的置信度:确定标注信息的可信程度;
e) 目标物的三维边界框:确定目标的位置、尺寸、航向角信息。

4.1 目标类别

每个目标都有一个类别属性,场景数据点云标注的目标共分为 13 类,如下所示:
a) 乘用车:包括基本型乘用车(轿车)、多用途车(MPV)、运动型多用途车(SUV)、专用乘用车和交叉型乘用车(面包车);
b) 客车:乘坐 9 人以上(含驾驶员位)、具有方形车厢、用于载运乘客及其随身行李的商用车;
c) 货车:主要为载运货物而设计和装备的商用车;
d) 半挂牵引车:装备有特殊装置用于牵引半挂车的商用车;
e) 特殊车辆:包括救护车、警车、洒水车、消防车等;
f) 自行车:包括两轮脚踏车、两轮电动车以及骑两轮脚踏车和两轮电动车的人;
g) 摩托车:包括两轮摩托车以及骑摩托车的人;
h) 三轮车:包括带有动力、人力的三轮车辆以及骑三轮车的人;
i) 成人:包括行走、路边站立、坐着的成人;
j) 儿童:包括行走、路边站立、坐着的儿童;
k) 动物:需要避让的动物;
l) 路障:栅栏、锥桶等物体;
m) 未知类别:需要避让的未知物体。

4.2 目标行为

每个目标都有一个行为属性代表当前目标的动作状态,如下所示:
a) 交通工具运动状态:交通工具目标(乘用车、客车、货车、半挂牵引车、特殊车辆、自行车、摩托车、三轮车)处于运动状态;
b) 交通工具停泊状态:交通工具目标(乘用车、客车、货车、半挂牵引车、特殊车辆、自行车、摩托车、三轮车)处于停车状态;
c) 交通工具暂停状态:交通工具目标(乘用车、客车、货车、半挂牵引车、特殊车辆、自行车、摩托车、三轮车)处于暂时停止状态,有驾驶人在车上,随时可能发生运动;
d)行人站立状态:行人目标(成人、儿童)处于站立状态;
e)行人运动状态:行人目标(成人、儿童)处于运动状态;
f)行人坐或者躺状态:行人目标(成人、儿童)处于坐或者躺状态;
g)动物静止状态:动物目标处于静止状态;
h)动物运动状态:动物目标处于移动状态。

4.3 目标身份识别号

根据场景片段中前后帧的信息标注目标 ID,同一个目标物只有一个目标 ID,且目标 ID 不可复用。

4.4 目标置信度

由于环境产生的点云噪声以及物体遮挡而导致点云信息的缺失,点云标注结果存在不确定性。对标注内容可信程度进行如下划分:
a) 目标属性内容十分准确,置信度设置为 3;
b) 目标属性内容大概率准确,置信度设置为 2;
c) 目标属性内容可能准确,置信度设置为 1。

4.5 目标三维边界框

目标三维边界框尺寸指的是目标物实际大小,三维边界框位置指的是目标框长方体的几何中心位置,具体属性定义如下:
a) 三维边界框的长:俯视角度下目标物边界框较长的值;
b) 三维边界框的宽:俯视角度下目标物边界框较短的值;
c) 三维边界框的高:目标物的高度值;
d) 三维边界框中心点的 x:目标物中心点在点云坐标系 x 轴的位置;
e) 三维边界框中心点的 y:目标物中心点在点云坐标系 y 轴的位置;
f) 三维边界框中心点的 z:目标物中心点在点云坐标系 z 轴的位置。
其中,点云标注的坐标系定义 x 轴指向自车正前方,y 轴指向自车左侧,z 轴指向天空。
每个目标都要分配一个航向角,其定义如下:
三维边界框以自车车辆前进方向为基准的水平旋转角度(图 1 中α),以顺时针旋转为正方向,以弧度制表示角度范围[-π,+π]。
image.png

5 场景数据点云标注方法

5.1 点云数据文件

不同传感器(例如激光雷达、双目相机等)产生的点云数据存在差别,要求待标注的点云数据每一个点至少包括以下信息:
a) x(点云 x 轴数值);
b) y(点云 y 轴数值);
c) z(点云 z 轴数值)。

5.2 三维边界框标注方法

每个标注目标的三维边界框应包含该目标的完整点云。三维边界框的大小宜与实际标注目标的大小保持一致,尽量贴合标注目标的实际点云。当边界框无法做到完全与标注目标点云贴边时,要求三维边界框包围标注的目标点云,且误差不超过 5 厘米。

5.3 点云标注文件

智能网联汽车场景片段中每帧点云数据对应一个 JSON 文本格式的标注文件,标注文件名与点云文件名应统一,建议采用时间戳进行命名。标注文件保存格式可根据不同的应用需求进行适当调整。
标注文件包含该帧点云文件的所有目标标注信息,每个目标属性值由逗号进行区分。JSON 格式标注文件目标属性值包括:目标 ID、目标类别、目标行为、目标置信度、三维边界框的长、三维边界框的宽、三维边界框的高、三维边界框的中心点 x、三维边界框的中心点 y、三维边界框的中心点 z、三维边界框航向角。JSON 标注文件示例见附录 B。

5.4 点云标注流程

a) 数据准备:检查待标注的点云数据,确认数据完整性,并且对点云数据进行坐标系转换,保证坐标系 x 轴指向自车正前方,y 轴指向自车左侧,z 轴指向天空。
b) 点云数据预标注:通过点云检测识别算法,对数据进行自动化处理,给出点云数据预标注结果,以便减轻后续人工标注的工作量。
c) 图像数据的辅助标注:若是相机传感器记录了图像信息,可使用图像信息辅助点云标注。图像、点云数据的时间对齐后,根据传感器的标定参数,将点云数据标注的三维边界框投影到图像上,以检查点云标注的目标类别、目标行为、目标 ID 号以及三维边界框是否准确。
d) 人工标注:手动调整三维边界框位置、大小和方向,确保三维边界框尽量贴合标注目标物,记录目标类别、目标行为、目标置信度等其他属性信息。在检查无漏标、错标的情况后,保存标注文件。
e) 人工审核:初次标注完成后审核员对数据结果的 10%进行检验,如果正确率达到 97%以上,对剩余 90%的标注数据进行抽检,抽检比例为 20%,正确率达到 97%以上即为合格;否则,需要驳回重新标注。

附录 A

激光雷达语义级标注即对点云中每个点进行分类标注,在每个点信息之后标上类别的标签。语义级标注的类别在 4.1.1 小节的 13 个类别之上添加以下类别:
a) 可行驶区域:道路上一定区域内车辆可以行驶的地面;
b) 人行道:道路中用路缘石或护栏及其它类似设施加以分隔的专供行人通行的部分;
c) 其他地面:道路上无法判断所属类别的区域;
d) 建筑物:道路两侧的建筑;
e) 电线杆:道路上支撑高压线路的杆子;
f) 植被:道路两侧或者道路中间的植物;
g) 自车车辆:自身采集车;
h) 噪声点:雨点、汽车尾气等噪声点。
智能网联汽车场景片段中每个点云数据帧对应一个文本格式的点云语义分割标注文件。对点云数据帧的每个点标注出语义分割信息,包含的属性有目标类别和目标 ID。

附录 B

场景数据点云标注 JSON 格式标注文件包含的目标属性值:目标 ID(ObjectID)、目标类别(ObjectType)、行为属性(ObjectStatus)、目标置信度(ObjectConfidence)、三维边界框的长(ObjectLength)、三维边界框的宽(ObjectWidth)、三维边界框的高(ObjectHeight)、三维边界框的中心点 x(CenterX)、三维 边界框的中心点 y(CenterY)、三维边界框的中心点 z(CenterZ)、三维边界框航向角(Yaw)。示例如下所示:

  1. [
  2. {
  3. "ObjectLength": "2.10433387756",
  4. "CenterX": "12.5584926605",
  5. "ObjectHeight": "1.56387650967",
  6. "ObjectID": "6528",
  7. "CenterY": "17.4340305328",
  8. "CenterZ": "-0.945741176605",
  9. "ObjectType": "car",
  10. "Yaw": "-1.301200000882614",
  11. "ObjectWidth": "1.25692939758",
  12. "ObjectStatus": "vehicle moving",
  13. "ObjectConfidence": "0.9"
  14. },
  15. {
  16. "ObjectLength": "1.89079093933",
  17. "CenterX": "16.0813903809",
  18. "ObjectHeight": "1.45240354538",
  19. "ObjectID": "6734",
  20. "CenterY": "19.9676265717",
  21. "CenterZ": "-1.1761431694",
  22. "ObjectType": "car",
  23. "Yaw": "0.6987999966116818",
  24. "ObjectWidth": "1.3463306427",
  25. "ObjectStatus": "vehicle moving",
  26. "ObjectConfidence": "1.0"
  27. }
  28. ]