6月13日，Facebook 公布了 Deepfake 检测挑战赛结果，第一名团队算法识别准确率达82.56%，整体平均准确率为65.18%，接近2/3。 但是，挑战赛的第一、二名，被赛事方以未规范使用外部数据集的理由，删除了解决方案和排名。 整体误报率未知，识别率也未达期许2019年9月，Facebook 联合微软等公司，以及包括麻省理工、牛津大学在内的几所高校，发起 deepfake 的检测挑战赛。同年12月，微软在 NeurIPS 2019 大会上公布数据集，挑战赛正式开始，比赛成果提交截止到今年3月31日。
比赛在数据竞赛平台 Kaggle 上进行，共有2114名开发者参与比赛，最终输出3.5万种检测算法。 Facebook 给参赛者开放访问100000多个视频的独特数据集权限，并提供1000万美元的研究资助和奖励。谷歌母公司 Alphabet 旗下的 Jigsaw 和谷歌一起，提供了3000个付费演员的新视频数据集，以帮助改善侦查技术。亚马逊提供100万美元的云信用额度支持该挑战。 然而，比赛结果并没有达到许多人的预期。排名第一但已经被删除方案的模型，基于 Facebook 提供的数据集中，可以识别出82.56%的 deepfake，但当该模型去检测一组新的数据时，识别率下降到65%。 65%的识别率或许还没迈过可实际使用的门槛。通常，人们认为，识别率达到90%，才能对统计数据产生实际作用，并可以被允许实际应用。 此外，Facebook 还未公布整体误报率，而这非常重要。 误报率为0时，即便模型只能检测出2/3的 deepfake，并且自动标记或清除，这对打击造假也非常有帮助。反之，误报率会导致非常严重的后果，尤其再加上互联网平台的规模，即便是1%的误报，也会带来大量虚假信息流传。 外部数据集使用纠纷有人说，Facebook 办这个比赛是只是薅了一把开发者的羊毛。说好第一名和第二名共有80万美元的奖金，但比赛结果公布之后，他们的成绩都被取消了，原因是使用外部数据集时不符合比赛规则。 比赛前，他们按照 Facebook 和 Kaggle 规定的：使用外部数据集时，必须可供竞赛的所有参赛者用于比赛目的，其他参与者可无偿使用；以及在外部数据的其他声明中，必须可用于商业用途，不局限于教学用途的规则使用外部数据集。 但比赛结束后，他们被告知，使用外部数据集还要遵守附加规则。 特定比赛规则第4节中，有两条规定：
简单来说，就参赛者使用外部数据集，必须提供其中所涉及到的每个人的许可证明。 “不幸的是，由于数据来自公共数据集，因此我们没有其中每个人的具体书面许可，也没有任何方法识别这些人的身份。”比赛结束之后，排名第一的解决方案开发者之一 Giba 表示，这样的要求根本没法实现。 而且大多数参赛者，都没意识到上述附加限制的存在，“我们在比赛过程中，没有意识到外部数据集属于‘文档’以及外部数据规则……在比赛中，有关外部数据的规则一再被阐明，因此我们想知道为什么 Kaggle 从来没有澄清，外部数据必须另外遵循限制性更强的规则来提交文档。” 排名第二的解决方案，因为使用了 faceforensic ++数据，也遭到删除。其开发者 Shengtao Xiao 表示，即便他们事后找了与 faceforensic ++数据集所有者，确认这是一个公共数据集，也无济于事。 Shengtao Xiao 还说，“我们认为，一开始就声明不允许外部数据参与此竞赛会更加清楚。我们对从排行榜中删除分数的最终决定深感失望。这只是消除了我们为这场比赛做的所有努力。” |
