来源：专知
本文多图，建议阅读5分钟
本文介绍我们在人工智能(特别是在自然语言处理)中进行基准测试的方式时所做的工作。
当前人工智能中的基准测试范式存在许多问题:基准很快饱和，容易过度拟合，包含可利用的注释器工件，评估指标不清晰或不完善，并且不能衡量我们真正关心的东西。我将谈谈我在尝试重新思考我们在人工智能(特别是在自然语言处理)中进行基准测试的方式时所做的工作，包括对抗性的NLI和模因数据集，以及最近推出的Dynabench平台。
https://nlp.stanford.edu/seminar/details/douwekiela.shtml
来源：oschina
链接：https://my.oschina.net/u/4323830/blog/4878328