在阿里云上处理大数据

阿里云提供全面的全球云计算服务，助力您的业务腾飞和增长。立即创建账户，即可获得 300 美元的免费新用户额度。

您知道 阿里云 可用于部署应用程序。但您可能不太熟悉其大数据存储和管理选项。

事实上，阿里云提供一系列大数据解决方案。本文概述了这些解决方案，并解释了阿里云上的哪些大数据服务类型适合各种工作负载。

数据存储

让我们从存储开始，因为这是大数据的最基本要求。OSS（对象存储服务）是阿里云的高容量、基于云的数据存储服务。它可以存储任何类型、来自任何来源的海量数据。

OSS 可用于需要频繁访问的数据（如多媒体文件），也可用于归档和其他低使用率的用途。它包含了迁移海量数据到 OSS 存储系统和从 OSS 存储系统迁移数据的工具，以及 SDK 和 REST API。

OSS SDK

该 SDK 包含与主要的网站和 Web 服务前端和后端语言以及 Android 和 iOS 的完整接口。这些语言和平台的 SDK 命令涵盖了广泛的功能，包括对象上传、下载和管理，复杂精细的图像处理和操作，以及面向 Web 的功能，例如静态网站托管和访问管理。

多媒体和图像文件

OSS 特别适合处理海量多媒体和图像文件。它可以与网站和应用程序结合使用，用于存储、流式传输和其他形式的服务、转码和图像格式转换。OSS 还可用于提供海量数据以供快速下载。

但是，OSS 只是阿里云丰富大数据基础设施的一部分。存储可能很基础，但存储数据的用途才是关键。

Data IDE 和 MaxCompute

Data IDE 是阿里云用于管理大数据以及处理调度、监控和访问权限控制等基本功能的整体框架。它处理了大部分底层架构以及许多基本管理任务，让您可以专注于大型、面向数据项目的设计和运营。

数据处理工具

Data IDE 与阿里云的大数据处理平台 MaxCompute 紧密配合。MaxCompute 包含各种用于分析和处理海量数据的工具，包括其自己的 SQL 版本、图和 MapReduce 功能，以及并发上传和下载功能。它包含一个强大的 SDK 和一套完整的安全功能。

Data IDE 和 MaxCompute 协同工作，使您能够管理、处理和查询海量数据。由于它们简化了处理大数据的许多过程，因此可以显著减少构建大型、复杂、数据密集型网站所需的时间。它们还可以帮助降低存储和数据处理的体积和成本，并为深入分析提供坚实的基础。

E-MapReduce

阿里云还提供 E-MapReduce，一个基于 Hadoop 和 Apache Spark 的非常丰富的大数据管理和处理框架。Hadoop 和 Spark 集群服务构成了 E-MapReduce 的核心。E-MapReduce 的优势在于它负责了集群创建和调配所需的许多底层任务，同时提供了用于管理和使用集群的集成框架。

由于 E-MapReduce 基于 Hadoop 集群和 Spark 集群导向的服务，您可以有效地使用它提供的存储和计算空间，如同在使用运行在自己主机上的独立系统一样，而不是标准的云计算存储。

E-MapReduce 架构

在架构上，E-MapReduce 在底部有一个代理层，HDFS 和 Tachyon 文件系统直接位于其上方。更上方是完整的 Hadoop 生态系统，以及 Spark 和各种 Apache 工具。最顶层是基于 Web 的用户管理界面，这使得使用和管理底层工具和系统变得容易。

完整的 Hadoop/Spark 功能——简单实现

这意味着，如果您可以使用 Hadoop、Apache Spark 或其相关工具完成某项工作，那么您就可以在 E-MapReduce 中完成——而且比您需要从头开始设置和配置 Hadoop 或 Spark 要容易得多。

不用说，E-MapReduce 可以非常轻松地与其他阿里云大数据相关的组件集成。它可以与阿里云弹性计算服务 (ECS) 应用配合使用，并可以处理存储在 OSS 中的数据。它还可以将数据发送到 MaxCompute，并接收 MaxCompute 的输出进行进一步处理。

E-MapReduce 可用于处理和提供海量数据。其基于 Spark 的功能使其特别适用于处理海量数据流等场景。

大数据图景

您可以使用阿里云的大数据工具和服务做什么？E-MapReduce 和 MaxCompute 都提供了非常广泛的工具，用于执行诸如快速排序、搜索和分析海量数据等基本大数据任务。

您可以使用阿里云的大数据功能来设置和管理面向海量数据密集型网站的后端服务，这些网站提供流式传输服务、产生大量的用户上传和下载流量，或者能够从海量数据中快速返回搜索结果。

您还可以使用相同的功能来处理和管理大型媒体文件，在需要快速检索的情况下高效处理海量数据库，或者处理特定行业或独特的海量数据流的处理和存储需求。

阿里云在处理大数据方面为您提供了什么？它可以为您提供所需工具、存储和服务，让您能够以您期望的方式——快速、轻松地，并且以最少的时间、精力和费用——运行您的大数据业务。