OpenVINO™ 工具包 ONNX Runtime 执行提供商 — 安装现已简化

Devang Aggarwal

4.38/5 (3投票s)

2022 年 7 月 21 日

CPOL

4分钟阅读

3147

在本文中，我们将介绍如何在您的 Linux 或 Windows 机器上轻松安装适用于 ONNX Runtime 的 OpenVINO Execution Provider，并为您的 ONNX 深度学习模型获得更快的推理速度。

人工智能工具社区需要更大的互操作性。很多人都在开发优秀的工具，但开发者通常被锁定在一个框架或生态系统中。 ONNX 通过允许工具共享模型，使更多这些工具协同工作成为可能。ONNX 是一种开放格式，旨在表示机器学习和深度学习模型。借助 ONNX，AI 开发者可以更轻松地在最先进的工具之间移动模型，并选择最适合他们的组合。 ONNX 受到 Microsoft、Meta 开源和 Amazon Web Services 等大型合作伙伴社区的支持。

ONNX 得到广泛支持，并且可以在许多框架、工具和硬件中找到。实现不同框架之间的互操作性并简化从研究到生产的路径有助于提高 AI 社区的创新速度。 ONNX 帮助解决与 AI 工作负载相关的硬件依赖性挑战，并能够部署针对关键加速器的 AI 模型。

当我们添加硬件（如 Intel® 处理器）到此组合中时，我们就能够充分利用您的笔记本电脑或台式机的计算能力。开发者现在可以通过 ONNX Runtime 利用 Intel® OpenVINO™ toolkit 的强大功能来加速 ONNX 模型的推理，这些模型可以从 TensorFlow、PyTorch、Keras 等 AI 框架导出或转换。适用于 ONNX Runtime 的 OpenVINO™ Execution Provider 使 ONNX 模型能够使用 ONNX Runtime API 运行推理，同时使用 OpenVINO™ toolkit 作为后端。借助 OpenVINO™ Execution Provider，与在 Intel® CPU、GPU 和 VPU 上的通用加速相比，ONNX Runtime 在同一硬件上提供了更好的推理性能。最重要的是，您只需一行代码即可获得您想要的更好性能。

现在抛开理论，作为一名开发者，您总是希望安装过程能够快速简便，以便您可以尽快使用该软件包。以前，如果您想访问机器上适用于 ONNX Runtime 的 OpenVINO™ Execution Provider，则需要多个安装步骤。为了让您的生活更轻松，我们已经在 PyPi 上推出了适用于 ONNX Runtime 的 OpenVINO™ Execution Provider。现在，只需一个简单的 pip install，适用于 ONNX Runtime 的 OpenVINO™ Execution Provider 即可安装在您的 Linux 或 Windows 机器上。

在我们之前的博客中，您深入了解了适用于 ONNX Runtime 的 OpenVINO™ Execution Provider，并测试了我们为不同编程语言（Python、C++、C#）创建的一些对象检测示例。现在，我们将向您解释如何在您的 Linux 或 Windows 机器上轻松安装适用于 ONNX Runtime 的 OpenVINO Execution Provider，并获得您一直在等待的 ONNX 深度学习模型的更快推理速度。

如何安装

通过在终端中键入以下命令，从 PyPi 将 onnxruntime-openvino python 包下载到您的 Linux/Windows 机器上

pip install onnxruntime-openvino

对于 Windows，为了使用适用于 ONNX Runtime 的 OpenVINO™ Execution Provider，您必须使用 Python3.9 并安装 OpenVINO™ toolkit。

pip install openvino==2022.1

如果您是 Windows 用户，请在您的应用程序中添加以下代码行

import openvino.utils as utils

utils.add_openvino_libs_to_path()

这就是在您的机器上安装适用于 ONNX Runtime 的 OpenVINO™ Execution Provider 所需的一切。

示例

现在您已经在您的 Linux 或 Windows 机器上安装了适用于 ONNX Runtime 的 OpenVINO™ Execution Provider，现在是时候使用一些 Python 示例来亲自体验一下了。立即测试 Python 示例，看看如何使用 OpenVINO™ Execution Provider 获得显着的性能提升。接下来是什么

请继续关注 OpenVINO™ Toolkit 的新版本。

资源

声明和免责声明

性能因用途、配置和其他因素而异。有关更多信息，请访问 www.Intel.com/PerformanceIndex。

性能结果基于所显示日期在特定配置下进行的测试，可能无法反映所有公开可用的更新。有关配置详情，请参阅备份。任何产品或组件都不能做到绝对安全。

您的成本和结果可能会有所不同。

英特尔技术可能需要启用硬件、软件或服务激活。