DeepEST

    1. 选择方法：随机采样+自适应随机采样（CSS、LSA、DSA、C（结合confidence和AT））
    2. 目的：在准确估计accuracy的同时找出更多的揭错用例

    We present DeepEST, an operational testing method for DNN that builds test suites from an operational dataset so as to provide a close and efficient estimate of the expected accuracy and to find at the same time, a high number of failing example.
    image.png
    image.png

    ASE2022 best paper

    1. 目的：衡量MP的diversity
    2. 方法：如果MP中的两个测试用例在某一层神经元输出能够有更大的交叉熵，那么这个MP就有可能检查更多样的执行模式

    image.png

    DeepCrime
    与deepcrime中提出的变异方式的区别:

    1. deepcrime的变异过程针对直接针对训练过程，而我们是在已经训练好的模型上进行retrain。相较于直接重新训练cost更低？更容易控制变异方向和程度？
    2. 与deepcrime中提出的变异算子最相近的应该是changing labels of training data，但是deepcrime是随机挑选一类label然后进行修改，并非只针对错误样本的label进行修改。

    1657199015975.png

    目前分层抽样+聚类与CES和SRS的效果对比
    image.pngimage.png
    image.pngimage.png
    image.pngimage.png