在 AWS 上使用 NetApp Cloud Volumes 构建大数据分析应用程序

要从企业数据中获取真正的商业价值，您需要合适的工具和计算能力来捕获和组织大量不同类型和来源的数据。NetApp 的数据管理解决方案可以在各种云中实现这一点。NetApp 的集成使其能够轻松地将企业数据与其他 AWS 服务集成并运行，以可扩展、自动化和灵活的方式满足特定的企业需求。

为了展示其易用性，让我们看看 NetApp Cloud Volumes 如何帮助我们在 Amazon Web Services (AWS) 上设置大数据分析应用程序。

AWS 上的数据分析

大数据由大容量、高速率和多样化的信息资产组成，需要经济高效、创新的信息处理形式，以增强洞察力并创建模型。AWS 按需提供易于扩展的基础设施。它是一种经济高效的方式，可以对大型数据集进行分析，并实时构建统计模型。可以探索几种用例——一个例子是 Amazon Rekognition，一项服务，使您能够轻松快速地将计算机视觉功能直接集成到您的应用程序中。典型的架构将涉及从集合中导入媒体文件；触发的 Lambda 函数根据设定的标准与 Rekognition API 交互。

Amazon Rekognition 提供了一个 API，您可以向其提交图像和/或视频。然后，您指示 Rekognition 服务对媒体执行特定的分析。分析可以是任何内容，从检测图像中的人脸到异步从视频中提取标签。

大数据应用程序需要一个健壮、安全且可扩展的数据管理系统。NetApp 原生云解决方案重新定义了企业数据和分析如何在公共和混合云平台上的大数据项目中得到应用。NetApp Cloud 提供三种不同类别的解决方案。

数据卷

适用于 AWS 的 NetApp Cloud Volumes Service 是一项完全托管的服务，支持 Linux 和 Windows Elastic Container Service (ECS) 实例。用户可以执行 Cloud Volumes 任务并运行高工作负载。订阅过程提供了使用该服务所需的所有初始设置和配置。Cloud Volumes Service 支持多协议 NFSv3、NFSv4 和 SMB 卷。可从 1TB 扩展到 100TB，以支持应用程序性能，并可根据需要灵活地自动增长和缩小。

最令人兴奋的功能是原生集成到 AWS Marketplace/Console 中——这意味着用户在使用 NetApp Cloud Volumes Service 时无需添加单独的流程或经历中断。

NetApp 提供三层定价以访问 Cloud Volumes Service。每个层级都提供了性能和容量之间的平衡

• 标准层提供每 TB 1,000 IOPS (16k IO) 和每 TB 16 MB/s 的吞吐量。标价：每月每 GB 0.10 美元（截至 2018 年 10 月 10 日）。
• 高级层提供每 TB 4,000 IOPS (16k IO) 和每 TB 64 MB/s 的吞吐量。标价：每月每 GB 0.20 美元（截至 2018 年 10 月 10 日）。
• 极致层提供每 TB 8,000 IOPS (16k IO) 和每 TB 128 MB/s 的吞吐量。标价：每月每 GB 0.30 美元（截至 2018 年 10 月 10 日）。

与 AWS EBS 相比，大规模的 Cloud Volumes 更便宜，并且与数据服务 API 结合，使云中的数据管理完全自动化和可扩展。

数据集成

NetApp 旨在将复杂的企业数据管理流程简化为简单的 SaaS 应用程序和 API，以使集成、迁移和同步更容易。

NetApp 云同步

云同步支持不同平台、服务器和格式之间的云数据迁移。这种软件即服务 (SaaS) 产品使您能够将 NAS 数据传输和同步到云或本地对象存储以及从云或本地对象存储传输和同步。云同步支持任何 NFS 或 CIFS 服务器、Amazon 或私有 S3 存储桶、Azure Blob、IBM Cloud Object Storage、Amazon-EFS 等。

云同步将您的源服务器链接到在您的 AWS 账户或本地运行的云同步数据代理实例，并使用源数据更新您选择的目标。

数据代理控制您的源和目标之间的同步关系。在您确定源和目标（S3 存储桶）并选择“创建关系”后，云同步会分析您的源系统，并将其分解为多个复制流，以推送到您选择的目标。

云同步还以优惠价格和折扣提供。每个同步关系的每小时费率分层如下

• 前 1 到 5 个关系：每小时每个关系 0.15 美元
• 接下来 6 到 20 个关系：每小时每个关系 0.10 美元
• 超过 20 个关系：每小时每个关系 0.085 美元

示例：如果您在 NFS 服务器和 Amazon S3 存储桶之间建立七个同步关系，前五个同步关系每小时费用为 0.15 美元，但其余两个关系每小时费用仅为 0.10 美元。

云同步在设置、性能、成本、易用性和功能集方面优于本地构建工具。云同步旨在将数据从任何源移动到任何目标。它支持所有格式，并内置了用于跟踪和记录错误、恢复和持续同步计划的机制。云同步使您能够以快速、高效和安全的方式执行数据迁移、数据转换和数据同步。

云同步的主要功能是

数据迁移：不同平台、服务器和格式之间的云数据迁移

数据复制：确保存档信息正确存储，以防您需要它。

数据同步：快速安全的数据同步。无论您是需要在本地 NFS 或 CIFS 文件共享之间传输文件，您都可以快速安全地将文件移动到您需要的位置。

优点

• 云同步传输数据的速度比内部开发或传统工具快 10 倍。
• 云同步定价低廉灵活，基于每小时使用量。
• 云同步跟踪未更改的文件，并且不会重新复制它们。
• 云同步跟踪和记录错误和故障，并且可以从停止的地方恢复或继续。
• 云同步是基于服务的解决方案——用户无需编写和维护脚本、与云提供商交互、安排更新、跟踪进度、验证每个步骤、处理故障场景等等。一切都作为服务的一部分内置。
• 云同步支持友好直观的 Web GUI，用户可以在其中创建关系、更改同步计划和监控操作。

数据保护

NetApp 数据备份为云数据提供了高效的保障，并在数据丢失时进行恢复，无论您的数据在哪里管理、访问或存储，客户都期望即时恢复。企业数据需要防弹的数据保护和故障安全操作，而企业数据管理系统需要速度、敏捷性和可靠性来提供上述所有功能。

云卷快照

快照允许客户在特定时间为卷的内容设置快照图像。用户可以使用快照来防止数据意外或恶意丢失或损坏，并从中恢复。云卷实例允许每个卷最多 255 个快照副本，即时创建用于用户驱动恢复的在线备份。

快照非常灵活，允许用户设置项目所需的精确快照数量。快照策略包括时间、频率和要拍摄或保留的图像。快照图像以后可以在其他云卷上恢复或挂载。

快照可以帮助您

• 通过自动化降低数据丢失的风险。
• 从任何地方恢复。
• 与传统方法相比，降低您的成本。
• 扩展您对现有备份软件的投资。

结论

适用于 AWS 的 NetApp Cloud Volumes Service 不仅管理满足您大数据需求的应用程序，还提供完整的自动化管理系统，消除了多层复杂性，并支持主要协议、软件和 API。NetApp 旨在通过与 AWS 的计算就绪数据分析平台和工具集成，将复杂的数据管理流程和层简化为简单的 API 和软件，从而将大数据项目提升到一个新的维度。