现在有大量传感器采集数据,精度比较高(浮点数,一般精度2位小数),采集间隔也很短(一分钟一条数据),设备量巨大(百万级)。
    现在系统有以下需求:

    1. 所有采集数据都要存储,并且要保证高可靠,不能丢。
    2. 采集数据量巨大,存储成本尽量低廉。
    3. 数据分析部门和业务部门相互独立,两个部门之间的数据共享方式仍是通过CSV文件共享。
      1. 由于需要提取CSV文件给数据分析部门,所以系统要支持CSV文件导出功能
      2. 在导出CSV的时候,分析部门希望CSV尽可能做一些初步的过滤。诸如,限定时间范围、限定设备范围、限定某几项传感器采样值的范围
    4. 在付出大量成本存储采集数据后,客户希望基于这些数据可以做一些简单的功能。
      1. 传感器数据展示:用户在APP上可以看到传感器的历史数据折线图,并且支持多个级别的视图(日视图、周视图、月视图、年视图)
      2. 由于是传感器数据,所以客户还希望数据可以实时展示
    5. 某些数据分析场景下,是需要根据空间范围将数据进行分组。如果在提取数据时还原设备间的空间关系并根据关系分组,那么数据分析部门将会方便很多