bug_detection(括号中是全部错误样本的个数)

    0.01 0.02 0.03 0.04 0.05 0.06 0.07 0.08 0.09 0.1 retrain
    mnist_lenet1(514) my 100 198 295 378 435 463 481 490 497 501
    mutate 1 1 1 2 3 7 10 13 27 50
    ATS 57 108 148 179 213 249 274 303 325 346
    random 5 11 12 14 32 27 40 36 54 47
    mnist_lenet4(321) my 99 184 240 280 289 303 311 313 313 316
    mutate 0 0 0 0 0 0 0 1 3 12
    ATS 56 102 136 166 190 205 227 241 253 267
    random 1 7 12 16 20 20 17 30 32 31
    mnist_lenet5(128) my 75 99 111 118 120 122 125 127 128 128
    mutate 0 0 0 0 0 0 0 0 2 12
    ATS 43 70 79 91 103 111 117 117 118 120
    random 0 3 5 7 3 14 16 10 12 14
    fashion_lenet5(1012) my 69 134 191 249 306 353 399 435 477 515
    mutate 0 0 0 1 1 1 1 3 7 28
    ATS 61 114 163 208 257 302 342 378 408 444
    random 8 24 25 32 40 63 72 100 110 103
    cifar10_vgg16(1259) my 92 176 258 338 413 477 543 603 656 704
    mutate 0 0 0 1 3 4 11 13 15 19
    ATS 57 120 175 227 282 327 378 426 470 512
    random 5 31 42 50 51 77 87 110 108 138
    cifar10_resnet20(878) my 88 158 227 280 338 389 429 470 507 537
    mutate 0 0 0 0 0 0 2 6 14 46
    ATS 67 118 185 239 282 319 366 402 438 472
    random 9 15 26 36 27 50 52 64 81 86

    diversity（括号中是全部diversity的数量）
    注：这里diversity用的是ATS中提出的衡量错误样本多样性的metric，表示标签改变的种类（例2->1，1->5）。

    0.01 0.02 0.03 0.04 0.05 0.06 0.07 0.08 0.09 0.1 retrain(相较于原来的提升)
    mnist_lenet1(69) my 43 59 65 66 68 68 68 68 69 69
    mutate 1 1 1 2 3 4 4 5 5 8
    ATS 38 54 59 60 62 64 65 66 66 67
    random 5 10 9 12 14 32 27 40 36 54
    mnist_lenet4(60) my 36 49 54 57 58 58 60 60 60 60
    mutate 0 0 0 0 0 0 0 1 2 5
    ATS 33 44 49 53 55 57 57 58 58 58
    random 1 6 10 13 15 15 13 21 27 22
    mnist_lenet5(38) my 28 34 36 38 38 38 38 38 38 38
    mutate 0 0 0 0 0 0 0 0 2 4
    ATS 25 31 35 36 37 38 38 38 38 38
    random 0 3 4 7 3 11 6 8 12 10
    fashion_lenet5(52) my 28 37 42 46 46 46 47 49 49 49
    mutate 0 0 0 1 1 1 1 2 2 2
    ATS 32 38 43 46 47 47 48 48 50 50
    random 7 15 13 19 15 22 25 31 31 25
    cifar10_vgg16(78) my 37 57 63 68 69 70 71 71 72 72
    mutate 0 0 0 1 2 2 3 3 3 4
    ATS 39 56 60 64 67 69 70 71 72 72
    random 5 21 26 29 28 37 44 42 50 51
    cifar10_resnet20(80) my 46 56 65 68 71 72 74 77 78 79
    mutate 0 0 0 0 0 0 1 2 3 7
    ATS 44 59 65 70 72 73 74 77 77 79
    random 9 11 20 25 19 31 29 33 43 42