今年 5 月,谷歌曾在 I/O 大会上宣布即将推出 TensorFlow Lite,现在,谷歌终于发布了新工具的开发者预览版本,这是一款 TensorFlow 用于移动设备和嵌入式设备的轻量级解决方案。 TensorFlow
可以在多个平台上运行,从机架式服务器到小型 IoT 设备。但是随着近年来机器学习模型的广泛使用,出现了在移动和嵌入式设备上部署它们的需求。而
TensorFlow Lite 允许设备端的机器学习模型的低延迟推断。在本文中,TensorFlow 团队将向我们介绍 TensorFlow
Lite 的特点,并展示一个可用的轻量级模型。 设计初衷
现在,越来越多移动设备内置了专门的自定义硬件以高效处理机器学习工作负载。TensorFlow Lite 支持安卓神经网络 API,以充分利用新的可用加速器。 当加速器硬件不可用时,TensorFlow Lite 返回至经优化的 CPU 执行操作,确保模型仍然可在大量设备上快速运行。 架构 下图展示了 TensorFlow Lite 的架构设计: 组件包括
然后将 TensorFlow Lite 模型文件部署到移动 App 中:
开发者还使用 C++ API 实现自定义 kernel,它可被解释器使用。 模型 TensorFlow Lite 已经支持多个面向移动端训练和优化的模型:
Inception v3 和 MobileNet 都在 ImageNet 数据集上训练过,你可以通过迁移学习轻松地在自己的图像数据集上重新训练这些模型。 关于 TensorFlow Mobile API 如你所知,TensorFlow 已经支持通过 TensorFlow Mobile API 在移动端和嵌入端部署模型。进一步来说,TensorFlow Lite 可以看作 TensorFlow Mobile 的升级,它成熟之后,就可以作为在移动设备、嵌入设备上部署模型的首要推荐。此次公开的 TensorFlow Lite 是开发者预览版,而 TensorFlow Mobile 依旧支持 APP 开发。 关于 TensorFlow Lite 更多信息请参见:http://tensorflow.org/mobile/tflite。 来源:机器之心 |