设置 Jenkins 以构建 MLOps 的 CI/CD 管道

在之前的文章系列中，我们解释了如何在 Docker 容器组中编写脚本，作为 CI/CD MLOps 管道的一部分。在本系列中，我们将设置一个 Google Kubernetes Engine (GKE) 集群来部署这些容器。

本系列文章假设您熟悉深度学习、DevOps、Jenkins 和 Kubernetes 的基础知识。

在上一篇文章中，我们配置了 GKE 并准备了所有组件以启动我们的管道部署。在本文中，我们将使用 Jenkins 设置流程编排。

Jenkins 简述

Jenkins 是一个开源服务器，可以自动执行软件开发周期的构建、测试和部署阶段。它允许您基于给定存储库中自动检测到的代码提交来触发操作。

要在您的环境中安装 Jenkins，请按照官方文档中提供的说明进行操作。 我们将在本地 Ubuntu 机器上运行 Jenkins，并将从那里运行我们所有的构建、测试和部署管道。

在深入研究之前，需要解释几个术语

• 一个Jenkins 工作流是一组可运行的任务。
• 一个 Jenkins 管道 是一组可运行的作业或工作流，它们遵循一定的执行顺序。 我们将使用以 Groovy 语言 编码的脚本工作流。

安装 Jenkins 插件

下图显示了我们在项目流程中的位置。

现在是打开 Jenkins 并开始设置的时候了。 让我们安装 Docker Pipeline、Docker Plugin、docker-build-step、Google Container Registry Auth Plugin、Google Kubernetes Engine Plugin、Google OAuth Credentials plugin 和 Git。

要访问 Jenkins 界面，请在浏览器中输入 https://:8080（或 http://127.0.0.1:8000），登录到 Jenkins 仪表板，然后在左侧选择管理 Jenkins 选项。

选择管理插件。

在可用选项卡中，搜索所需的插件。

找到插件后，选中其复选框，然后单击安装不重启。

安装开始。 安装程序将在该过程结束时通知您。

对所有必需的插件重复上述步骤。

配置电子邮件通知

让我们配置电子邮件通知插件，以确保您收到有关管道操作的电子邮件。

在 Jenkins 仪表板上，选择管理 Jenkins > 配置系统 > 扩展的电子邮件通知。 选择高级选项，填写必填字段，然后单击应用。

在 Jenkins 中设置 GCP 凭据

现在我们需要允许 Jenkins 使用您的 GCP 资源。

首先，您需要一个 GCP 服务帐户。 要获得它，请登录到 Google Cloud Platform，选择您的项目，然后转到IAM & Services > 服务帐户。

单击创建服务帐户。

为您的新服务帐户命名，然后单击创建。

添加以下访问角色，然后单击完成。

在列表中选择您的服务帐户，然后单击密钥选项卡。

选择 添加密钥 > 创建新密钥。

选择 JSON 格式，然后单击创建以下载您的密钥。

在 Jenkins 仪表板上，选择管理 Jenkins > 管理凭据。

在底部，选择 Jenkins > 全局凭据 > 添加凭据。

从类型下拉列表中，选择来自私钥的 Google 服务帐户，给项目一个名称（我们建议“AutomaticTrainingCICD”），上传您获得的 JSON 文件，然后单击确定。

后续步骤

现在我们都准备好构建 Jenkins 工作流程了。 我们将在下一篇文章中构建它们。 敬请关注！