如果容忍的话可以不处理,
    也可以处理, 一般是在hive的dwd层 ,sparkstreaming (groupby、开窗取窗口第一条、或者用redis去重）