AZURE 数据工厂 – 使用存储过程将数据从一个数据库复制到 AZURE SQL 中的另一个数据库

高层次概述

总的来说，我们遵循以下步骤

• 创建源数据库和目标数据库，其中包含要复制的表
• 使用向导创建管道以在表之间复制数据的机制
• 创建源数据集和目标数据集
• 数据流和表架构映射
• 创建活动以复制表数据
• 手动触发操作
• 计划触发操作

必备组件

• Azure SQL 数据库 账户，在源数据库和目标数据库中都拥有相同架构的表
• Azure 账户/订阅

开始吧！！！！！

单击资源 --> 搜索 Data Factories，如下图所示

从菜单中选择Data Factories，然后从下面的屏幕点击创建 Data Factory

填写必填字段，然后单击创建

创建数据工厂后，会显示以下屏幕。然后，单击创作和监视。

单击“创作和监视” --> 会在新选项卡中显示以下屏幕，用于选择适当的操作。选择复制数据。

单击复制数据 --> 从下面的向导中，填写所有必填详细信息，然后单击下一步按钮。

单击下一步按钮 --> 选择需要从中提取数据的源数据存储。

步骤 1：单击创建新连接

步骤 2：由于我们正在处理 Azure SQL 表，我们将选择如下

在下一个屏幕上填写必填字段。填写屏幕上的以下详细信息

• 服务器名称：Azure SQL 服务器
• 数据库名称：SourceSQLDB
• 用户名和密码：设置 Azure SQL 服务器时使用的 SQL 身份验证凭据

单击测试连接。成功后，单击完成。

单击屏幕以选择需要传输数据的源表后，将显示以下屏幕。

在进一步配置时，根据需要，如果需要添加任何筛选数据或自定义查询来检索源表中的数据。

添加按自定义查询筛选。

现在为目标数据库添加另一个数据集。在下面的屏幕上，选择Azure SQL 数据库，然后单击完成。

在下一个屏幕上，输入目标数据源的必填信息。

单击创建按钮后，源和目标数据存储将显示在下面的屏幕中

下一步，对于您在源数据存储中选择的每个表，在目标数据存储中选择一个相应的表，或指定要在目标中运行的存储过程。

单击下一步 --> 需要选择源和目标列的映射方式。

最后一次单击下一步按钮 --> 将显示完整的部署确认消息，包括管道、数据集、创建和启动触发器。

单击完成按钮以使用向导中的所有配置部署数据工厂。然后，单击管道配置时将显示以下屏幕。

单击完成按钮以使用向导中的所有配置部署数据工厂。然后，单击管道配置时将显示以下屏幕。

发布更改后，让我们选择管道 --> 触发器 --> 立即触发，将数据从源视图复制到目标表。

因此，数据已成功复制到目标数据库。

现在，向流程中添加另一个活动，即，如果在从源表到目标表的成功数据转换后需要执行操作。作为此练习的一部分，我将添加一个存储过程活动，以删除所有数据，其中日期大于当前日期的 180 天。

单击存储过程活动，然后更改名称和其他必需字段。然后，单击 SQL 账户选项卡以配置 SQL 数据源。

接下来，选择存储过程选项卡，然后从下面的下拉列表中选择所需的存储过程。

再次，在进行更改后，让我们验证更改。如果未找到错误，则可以发布更改。

计划触发器

我们还可以计划触发器在一定时间间隔后运行。以下是执行此操作的步骤。

单击左侧的创作图标 --> 触发器 --> +新建

填写必填字段。我们计划触发器每天在 EST 时间凌晨 12 点运行。选择如下选项，如果不想触发，请不要勾选“已激活”按钮，因为它可以在触发器与任何管道关联后激活。单击完成。

发布触发器后，单击左侧的监视图标 --> 触发器运行选项卡。您应该能够看到每个触发器运行的状态。

结束！！！！！！

因此，在本系列博客文章中，我们学习了如何通过手动运行管道和通过创建触发器调度管道来使用 Azure Data Factory 将数据从一个数据库复制到另一个数据库。

历史

• 2020 年 4 月 3 日：初始版本