TensorFlow 数据验证(TensorFlow Data Validation, TFDV)是一个用于探索与验证机器学习数据的函数库，特别设计为高度可扩展，用于验证以及监控机器学习的数据。 TensorFlow 产品经理 Clemens Mewald 表示，学术界和业界都非常关注机器学习的算法和性能，而数据是其中最重要的因素，一旦数据错误，所有相关的优化工作都将前功尽弃，因此数据整理是一项重要的工作 —— 通过对数据的理解以及验证来确保数据的正确性和可用性。在数据量较少的时候，可用人工的方式进行整理。但在实际应用中，研究人员使用的数据量往往非常庞大，这就给手动检查造成了巨大压力，用人工的方式进行数据验证有点不切实际。因此有必要使用自动化和可扩展的数据分析、验证和监控。 TFDV 是 TFX 平台的一部分，它也是 Google 每天用来分析和验证 PB 级数据的技术。鉴于此前它在数据纠错上一直有不错的表现，Google 相信，TFDV 也可以被用户作为维持 ML 模型性能的一个好工具。事实上，在设计 TFDV 的早期，Google 就已经考虑到了在笔记本电脑环境中使用它的需求，所以对于硬件要求，各位大可不必担心。 在正式的生产环境中使用 TFDV，也是使用和在笔记本电脑环境相同的函数库，以进行大规模的数据分析和验证，不过有一些特殊的使用案例，包括检测连续版本训练数据之间的分布变化，以及检查训练数据和服务系统观察到的数据之间的特征值/分布差异。 目前官方已在 GitHub 上开源 TFDV(https://github.com/tensorflow/data-validation)，其中包括用于笔记本电脑环境的示例代码。另外官方也提供了端到端的示例，展示了 TFDV 与 TensorFlow Transform、TensorFlow Estimators、TensorFlow Model Analysis 和 TensorFlow Serving 一起使用的方法。 |
