用R查找并移除重复的记录

问题

你想查找和（或）移除向量或列表里重复的条目。

方案

向量：

  1. # 生成一个向量
  2. set.seed(158)
  3. x <- round(rnorm(20, 10, 5))
  4. x
  5. #>  [1] 14 11  8  4 12  5 10 10  3  3 11  6  0 16  8 10  8  5  6  6
  7. # 对于每一个元素：它是否重复（第一个值不算）
  8. duplicated(x)
  9. #>  [1] FALSE FALSE FALSE FALSE FALSE FALSE FALSE  TRUE FALSE  TRUE  TRUE FALSE FALSE FALSE
  10. #> [15]  TRUE  TRUE  TRUE  TRUE  TRUE  TRUE
  12. # 重复的条目的值
  13. # 注意“6”出现了三次，所以它有俩
  14. x[duplicated(x)]
  15. #> [1] 10  3 11  8 10  8  5  6  6
  17. # 重复的条目，没有重复
  18. unique(x[duplicated(x)])
  19. #> [1] 10  3 11  8  5  6
  21. # 移除重复的数据，他们效果一样:
  22. unique(x)
  23. #>  [1] 14 11  8  4 12  5 10  3  6  0 16
  24. x[!duplicated(x)]
  25. #>  [1] 14 11  8  4 12  5 10  3  6  0 16

列表：

  1. # 一个样本列表:
  2. df <- read.table(header=TRUE, text='
  3.  label value
  4.      A     4
  5.      B     3
  6.      C     6
  7.      B     3
  8.      B     1
  9.      A     2
  10.      A     4
  11.      A     4
  12. ')
  15. # 每一行是否有重复？
  16. duplicated(df)
  17. #> [1] FALSE FALSE FALSE  TRUE FALSE FALSE  TRUE  TRUE
  19. # 显示重复的条目
  20. df[duplicated(df),]
  21. #>   label value
  22. #> 4     B     3
  23. #> 7     A     4
  24. #> 8     A     4
  26. # 显示没有重复的条目 (行名可能不同，但值相同)
  27. unique(df[duplicated(df),])
  28. #>   label value
  29. #> 4     B     3
  30. #> 7     A     4
  32. # 移除重复的数据，他们效果一样:
  33. unique(df)
  34. #>   label value
  35. #> 1     A     4
  36. #> 2     B     3
  37. #> 3     C     6
  38. #> 5     B     1
  39. #> 6     A     2
  40. df[!duplicated(df),]
  41. #>   label value
  42. #> 1     A     4
  43. #> 2     B     3
  44. #> 3     C     6
  45. #> 5     B     1
  46. #> 6     A     2

原文链接：http://www.cookbook-r.com/Manipulating_data/Finding_and_removing_duplicate_records/