隆重推出 OpenVINO™ 与 TensorFlow 的集成
5.00/5 (2投票s)
本文将帮助您更好地理解 OpenVINO 与 TensorFlow 集成的优势：它的工作原理、部署环境，以及 OpenVINO 与 TensorFlow 集成与使用原生 OpenVINO API 的区别。
技术的病毒式传播通常源于用户体验的飞跃。例如，iPhone 推动了智能手机和“应用商店”的快速普及。又或者，最近 TensorFlow 的易用性促成了人工智能的爆炸式增长，如今几乎影响到我们日常生活的方方面面。
OpenVINO™ 工具包重新定义了在 Intel 驱动的设备上进行 AI 推理，并获得了前所未有的开发者采纳。如今，成千上万的开发者使用 OpenVINO™ 工具包来加速几乎所有想象得到的用例的 AI 推理，从模拟人类视觉、自动语音识别、自然语言处理、推荐系统，以及更多。该工具包基于最新的神经网络，包括卷积神经网络 (CNN)、循环神经网络和注意力机制网络，能够跨 Intel® 硬件（Intel® CPU、Intel® 集成显卡、Intel® 神经计算棒 2 以及带 Intel® Movidius™ VPU 的 Intel® 视觉加速器设计）扩展计算机视觉和非视觉工作负载，从而最大限度地提高性能。它通过高性能的 AI 和深度学习推理，从边缘到云端加速应用程序的部署。
我们很荣幸能与客户合作并为他们的成功做出贡献。我们不断倾听并创新以满足他们不断变化的需求，同时致力于提供世界一流的用户体验。因此，基于客户的反馈，并在 OpenVINO™ 工具包成功的基础上，我们推出了 OpenVINO™ 与 TensorFlow* 集成。这项集成使 TensorFlow 开发者能够通过仅添加 2 行额外的代码来加速其 TensorFlow 模型在部署中的推理。
为 TensorFlow 开发者带来的优势
OpenVINO™ 与 TensorFlow* 集成提供了 OpenVINO™ 工具包的内联优化和运行时，以增强 TensorFlow 的兼容性。它专为希望通过最少的代码修改体验 OpenVINO™ 工具包优势——帮助提升其推理应用程序性能——的开发者而设计。它可以在多种 Intel® 芯片上加速许多 AI 模型的推理，例如：
- Intel® CPU
- Intel® 集成显卡
- Intel® Movidius™ 视觉处理单元 — 简称 VPU
- 带 8 个 Intel Movidius™ MyriadX VPU 的 Intel® 视觉加速器设计 — 简称 VAD-M 或 HDDL
利用此集成的开发者可以期待以下优势：
- 性能加速 — 相较于原生 TensorFlow（取决于底层硬件配置）。
- 准确性 — 保留与原始模型几乎相同的准确性。
- 简洁性 — 继续使用 TensorFlow API 进行推理。无需重构代码。只需导入、启用并设置设备。
- 健壮性 — 架构设计支持各种操作系统/Python 环境下的广泛 TensorFlow 模型和算子。
- 无缝、内联的模型转换 — 无需显式模型转换。
- 轻量级占用 — 只需要极少的额外内存和磁盘空间。
- 支持广泛的 Intel 驱动设备 — CPU、iGPU、VPU（Myriad-X）
[注意：为了获得最大的性能、效率、工具自定义和硬件控制，我们建议超越此组件，采用原生 OpenVINO™ API 及其运行时。]
它是如何工作的？
开发者只需在他们的 Python 代码或 Jupyter Notebooks 中添加以下两行代码，即可极大地加速其 TensorFlow 模型的推理。
import openvino_tensorflow
openvino_tensorflow.set_backend(‘<backend_name>’)
支持的后端包括“CPU”、“GPU”、“MYRIAD”和“VAD-M”。见图 1。
示例代码
以下是 OpenVINO™ 与 TensorFlow* 集成在实际应用中的示例。
其底层工作原理是怎样的？
OpenVINO™ 与 TensorFlow* 集成通过有效地将 TensorFlow 图划分为多个子图，然后将这些子图分派给 TensorFlow 运行时或 OpenVINO™ 运行时以进行最佳加速推理，从而提供加速的 TensorFlow 性能。最后将结果组合起来以提供最终的推理结果。
在边缘和云端的部署
OpenVINO™ 与 TensorFlow* 集成可在多种环境中运行 — 从云端到边缘 — 只要底层硬件是 Intel 平台即可。例如，该附加组件可以在以下云平台上运行：
- Intel® DevCloud for the Edge
- AWS Deep Learning AMI Ubuntu 18 & Ubuntu 20 在针对推理优化的 EC2 C5 实例上
- Azure ML
- Google Colab
支持任何基于 AI 的边缘设备。
示例可在 gitrepo 的 examples/ 目录中找到。
与使用原生 OpenVINO™ 工具包有何不同？
OpenVINO™ 与 TensorFlow* 集成使 TensorFlow 开发者能够以非常快速和简便的方式加速其 TensorFlow 模型推理 — 只需 2 行代码。OpenVINO™ 模型优化器可加速推理性能，并提供丰富的集成开发工具和高级功能。但如前所述，为了获得最大的性能、效率、工具自定义和硬件控制，我们建议使用原生 OpenVINO™ API 及其运行时。
客户采用
客户正在将 OpenVINO™ 与 TensorFlow 集成用于各种用例。以下是一些示例：
- Extreme Vision：Extreme Vision 的 CV MART 等专用 AI 云平台，通过丰富的服务、模型和框架目录，帮助数十万开发者在 CPU 和 iGPU 等各种 Intel 平台上进一步优化其 AI 工作负载。易于使用的开发者工具包，可加速模型，并与 OpenVINO™ 与 TensorFlow* 集成等 AI 框架良好集成，可以兼顾两全其美 — 提高推理速度，并能够以最小的更改重用已创建的 AI 推理代码。Extreme Vision 团队正在测试 OpenVINO™ 与 TensorFlow* 集成，目标是使 Extreme Vision 平台上的 TensorFlow 开发者受益。
- Broad Institute 开发的基因组分析工具包 (GATK) 是世界上使用最广泛的开源变异检测工具包之一。Terra 是一个更安全、可扩展、开源的平台，供生物医学研究人员访问数据、运行分析工具和协作。这个云平台由 Broad Institute of MIT and Harvard、Microsoft 和 Verily 共同开发。Terra 平台包含 GATK 工具和管道，供研究社区进行分析。CNNScoreVariants 是 GATK 中包含的深度学习工具之一，它应用卷积神经网络来过滤已注释的变异。在博客中，Broad Institute 展示了如何使用 OpenVINO™ 与 TensorFlow* 集成进一步加速 CNNScoreVariants 的推理性能。
结论
现在您已经更好地理解了其优势、工作原理、部署环境以及 OpenVINO 与 TensorFlow 集成与使用原生 OpenVINO API 的区别，我们迫不及待地希望您亲自尝试 OpenVINO 与 TensorFlow 集成，并开始体验在所有 Intel 平台上 AI 模型推理性能的提升。一如既往，我们非常乐意听到您对此次集成的反馈，请通过 OpenVINO-tensorflow@intel.com 与我们联系，或在 gitrepo 中提出问题。谢谢！
资源
以下是帮助您了解更多信息的资源：
- Github 仓库
- 解决方案简报
- 关于动态回退的漫画
- 详细的常见问题解答在此处提供。.
- Intel DevCloud for the Edge 上的示例笔记本电脑在此处提供。.
- Google Colab 示例笔记本电脑在此处提供。.
- 下载 OpenVINO 工具包的最新版本.
- 通过 Intel DevCloud 获取最新 Intel 硬件。.
声明和免责声明
性能因使用、配置和其他因素而异。了解更多信息，请访问 www.Intel.com/PerformanceIndex。
性能结果基于所显示日期在特定配置下进行的测试，可能无法反映所有公开可用的更新。有关配置详情，请参阅备份。任何产品或组件都不能做到绝对安全。
您的成本和结果可能会有所不同。
英特尔技术可能需要启用硬件、软件或服务激活。
Intel 对所有明示和暗示的保证不承担任何责任，包括但不限于适销性、特定用途的适用性和非侵权性的暗示保证，以及任何由履行过程、交易过程或贸易用途产生的保证。
© Intel Corporation。Intel、Intel 标志、OpenVINO 和 OpenVINO 标志是 Intel Corporation 或其子公司的商标。其他名称和品牌可能被声明为他人的财产。