Insight & target problem

分析事实一致性问题

Solution

要求

1. 上下界
2. 错误越多的时候，分数要越低
3. 对于不同类型的错误都要好
4. 在不同领域都要满足要求
5. 和人的感觉保持一致

Highlight

结论

1. 人工评估和真实的数据是有必要的，伪数据有一些局限性
2. 当下的标准评估都不大行
3. 问答评估里，基于SQUAD的问答系统，基于Source产生问题的效果会更好

Others