实验协议和结果提交

一旦注册成功，训练数据集和相应的ground truth将可用来开发新的虹膜分割和定位模型。在实验中，参与者需要在3个不同版本的训练数据上训练模型:

  1. 训练CASIA-Iris-Asia
  2. 训练CASIA-Iris-M1
  3. 训练CASIA-Iris-Africa

这种设置的结果是，在训练阶段之后，参与者应该有3个不同的模型。参与者可以自由投稿（可以不止一次），但每个提交的解决方案都应按照上述3点进行训练。

训练模型并得到测试数据集后，请在相应的测试数据集上运行训练好的模型:

  1. 对CASIA-Iris-Asia训练的模型，请分别在测试集CASIA-Iris-Distance、CASIA-Iris-Complex-Occlusion和CASIA-Iris-Complex-Off-angle进行测试。
  2. 对CASIA-Iris-M1训练的模型，请在CASIA-Iris-M1的测试集上运行。
  3. 对CASIA-Iris-Africa训练的模型，请在CASIA-Iris-Africa的测试集上运行。

这种设置的结果是，对于每个提交的解决方案，参与者应该有5个不同版本的测试结果。测试结果需要包含二值虹膜掩码（binary iris masks）以及测试图像对应的虹膜的内外边界（inner and outer boundaries of the iris）。提交的结果应符合以下要求:

  1. 所有提交的masks和boundaries必须为图像格式(PNG格式)，大小与原始虹膜图像相同。请不要以JPG格式提交结果，因为图像会导致较差的结果。虹膜的内外边界应为单像素宽的曲线。
  2. 提交二进制掩码和边界，应该是严格的黑白(白色为前景，黑色为其他一切)。参见下面的示例提交。
  3. 提交应该完全遵循这个树结构(见下面的示例结构):
    a. 提交应该放在单独的zip文件里，命名为所分配的参考号码（比如，NIR-ISL2021020101.zip）
    如果参与者提交了几种方法（不同的模型架构等），将它们用不同的zip文件提交，可以进一步命名为reference number_X.zip。这里x = 1， 2，代表（不同）方法的序号
    b. zip文件应该包含三个目录，包含实验中用于训练数据的名称（CASIA-Iris-Asia, CASIA-Iris-M1, CASIA-Iris-Africa），以及一篇描述所提出方法的技术论文（pdf，1-2页）。技术论文文件应该命名为所分配的参考号码（比如NIR-ISL202120101.pdf或者NIR-ISL2021020101_X.pdf）。如果参与者决定release他们的可执行程序，请直接将它们和相关的操作指南放在zip文件夹里，或者在技术论文中介绍如何使用它们。
    c. 在每个这些路径里，应该有几个子路径命名为测试集的名字（来自“CASIA-Iris-Distance”, “CASIA-Iris-Complex-Occlusion”, “CASIA-Iris-Complex-Off-angle”, “CASIA-Iris-M1”, and“CASIA-Iris-Africa”）
    d. 在每个子路径里，应该有另外三个子文件夹，命名为SegmentationClass, Inner_Boundary和Outer_Boundary，其中应该包括了二值（黑和白）分割掩码，Inner iris boundary and outer iris boundary
    e. 在SegmentationClass, Inner_Boundary and Outer_Boundary文件夹里，所有提交的掩码或边界应该和原图片的名字温泉相同（除了将扩展名更改为.png）
  4. 发送zip文件或者媒体分享链接到wangcaiyong@bucea.edu.cn，并在主题行上执行分配的参考号或者序号（比如reference number_x）。

image.png

evaluation

参赛者提交的算法将由主办方进行评估。

对于虹膜分割，参与者将需要提交与测试图像相对应的二进制虹膜掩码给组织者。评估措施将是type-I (E1) and type-II (E2)error rates (详情请参阅http://nice1.di.ubi.pt/evaluation.htm))，和Noisy Iris Challenge Evaluation - Part I (NICE.I)中使用的一样。将虹膜图像中人工分割的虹膜区域的ground truth作为评分和排序的依据。

对于虹膜定位，参与者将需要提交与测试图像相对应的虹膜的二进制内外边界给组织者。评价指标为将虹膜边界填入虹膜边界掩模时的dice指数，以及预测的虹膜边界与地面真值边界之间的Hausdorff距离(更多详情参见https://warwick.ac.uk/fac/sci/dcs/research/tia/glascontest/evaluation/)。将虹膜图像中人工定位虹膜内外边界的ground truth作为评分和排序的依据。

对于模型的复杂性,模型参数的数量,模型内存的大小(以MB),浮点运算的数量（以640 x 480为输入的FLOPs w.r.t为测量）和平均运行速度(w.r.t 640×480像素的输入在GPU / CPU计算设备的运行)作为额外的评估提交算法的方法。应该注意的是，对于一些传统的方法，只有一部分的措施需要报道平均运行速度等,而对于那些基于深度学习,建议报告所有评估通过使用相应的开源模型分析器w.r.t不同深度学习框架(见TensorFlow，PyTorch)。参与者需要提交模型复杂性、编程语言和深度学习框架(如果有的话)的测量值。

最后，每个参赛队将被分配一个排名分数每个评价指标和测试数据集。这些排名分数的总和将用于最终排名。模型的复杂性并不是用来评分的，只是反映了所提交模型的实用性。