使用 Azure Synapse Analytics 进行无缝流式分析(第 2 部分):创建专用 SQL 池






4.60/5 (2投票s)
在本文中,我们将讨论如何使用 Azure Synapse Analytics 构建完善的流式分析解决方案。
在本系列的第一篇文章中,我们对 Azure Synapse Analytics 建立了基本了解,并通过创建工作区迈出了使用该服务的第一步。我们还讨论了一些顶级特性和分析引擎,这些引擎可以帮助我们提取、转换、建模和分析数据。 其中一个引擎 SQL 池,为我们提供传统的数据仓库功能。
SQL 池有两种类型:专用型和无服务器型。在本文中,我们将探讨专用 SQL 池,包括在 Azure Synapse Analytics 中创建专用 SQL 池。
要遵循本教程,您需要一个有效的 Azure 订阅。如果您没有,您可以注册获取 200 美元的信用额度,以便在 30 天内探索 Azure 的所有功能。您还应该创建一个 Azure Synapse Analytics 工作区,可以通过遵循之前的教程来完成。
什么是专用 SQL 池?
SQL 池是一个传统的数据仓库解决方案,以关系表格式存储数据。它以前被称为 Azure SQL 数据仓库(SQL DB),可以大规模地存储数据。
由于 SQL 池以列格式存储数据,我们可以利用聚集列存储索引来实现快速检索。此外,我们可以利用大规模并行处理 (MPP) 架构(分布式查询引擎)并高效地运行查询。
一旦我们将数据放入专用 SQL 池中,我们就可以将其用于分析、创建引人入胜的仪表板、机器学习 (ML) 或任何其他数据目标。
让我们创建一个专用 SQL 池。
创建专用 SQL 池
创建专用 SQL 池时,我们有两个选项:从 Azure Synapse Studio 创建或从 Azure 门户创建。
这些过程很简单,几乎相同。但是,由于在本系列文章中,我们将主要在 Synapse Studio 中工作,所以让我们直接进入 Synapse Studio 来创建我们的专用 SQL 池。
在 Azure Synapse Studio 中创建专用 SQL 池
要开始创建我们的专用 SQL 池,我们转到我们的 Azure Synapse 工作区,然后单击打开 Synapse Studio。
进入 Studio 后,我们单击管理,然后选择 SQL 池。在这里,我们将看到一个无服务器 SQL 池已经存在。但是,我们对专用 SQL 池感兴趣,因此我们可以继续单击新建。
接下来,我们命名我们的专用 SQL 池(NYTaxiFare)并选择其初始设置。默认情况下,性能级别为 DW1000c。这意味着 1,000 个数据仓库计算单元,每个小时花费我们大约 15.10 美元。在这里,我们必须根据成本预算与性能要求之间进行权衡。为了本文的目的,让我们选择 DW100c。
在下一步其他设置中,我们可以使用现有数据或创建一个空池。如果您有一些备份数据,您可以使用它。
我们稍后将使用流式数据填充我们的专用 SQL 池,所以我们现在只创建一个空池。要做到这一点,我们选择无作为数据源,然后转到查看 + 创建来创建池。
我们现在可以开始使用我们的专用 SQL 池了。
创建表
创建池后,我们可以从不同的工具、集成开发环境 (IDE) 和应用程序中使用它。我们还可以创建表、填充数据,并在 Azure Synapse Analytics 中使用可视化。让我们创建一个表。
从 Synapse Studio 中,我们转到数据选项卡。在那里,我们将在我们的工作区下找到我们的 SQL 池。我们展开该池,选择新建 SQL 脚本,然后单击新建表。
我们需要编辑 SQL 脚本文件如下,以创建表
CREATE TABLE [dbo].[newyorktaxi]
(
[Date] DATE ,
[TripDuration] FLOAT ,
[tripCost] FLOAT
)
在查询成功执行后,我们将在 SQL 数据库的表选项卡下看到 newyorktaxi
表。
成功创建表后,Azure Synapse Analytics 允许我们将值插入到数据库表中,并通过执行简单的 SQL 命令在此处进行测试。但是,相反,我们想要设置一个流式数据管道来将数据填充到表中。为了实现这一目标,我们首先需要设置一个流式数据源,我们将在本系列的后续文章中学习。
后续步骤
在本文中,我们讨论了专用 SQL 池,并学习了如何使用 Azure Synapse Studio 创建一个。您也可以按照相同的步骤从 Azure 门户创建一个。
在这里,我们创建了一个空池,我们仍然需要用数据填充它。在本系列的下一篇文章中,我们将学习如何设置一个流式数据源来填充一个专用 SQL 池。我们将使用它来探索纽约出租车数据。
继续阅读本系列的最后一篇文章或注册观看 Azure Synapse Analytics 动手培训系列。