1.计算测试用例在已生成的3类变异模型上的杀死率和本身的揭错能力之间的相关性
mnist_lenet5 | mnist_lenet4 | mnist_lenet1 | cifar10_vgg16 | cifar10_resnet20 | fashion_lenet5 | |
---|---|---|---|---|---|---|
random | 0.4116 | 0.4798 | 0.4951 | 0.4910 | 0.5605 | 0.4891 |
single(\GF) | 0.4370 | |||||
multi | 0.4134 |
2.计算测试用例在已生成的3类变异模型上的杀死率和本身的揭错能力之间的相关性(将计算kill_rate的原始标签更换为groundtruth而非origin_model预测出的标签)
mnist_lenet5 | mnist_lenet4 | mnist_lenet1 | cifar10_vgg16 | cifar10_resnet20 | fashion_lenet5 | |
---|---|---|---|---|---|---|
label-pcs | -0.4833 | -0.5138 | -0.5146 | -0.4554 | -0.5166 | -0.5043 |
kill_rate-pcs | 0.0697 | 0.0258 | 0.0475 | 0.0245 | 0.0103 | 0.0180 |
label-kill_rate | -0.0390 | -0.0251 | -0.0630 | -0.0121 | 0.0029 | 0.0240 |