它将应用程序与运行分布式程序的细节分离开来。不过很多程序员不熟悉 MapReduce 编程风格，喜欢使用类似 SQL 的语言来执行其任务。本文概述了一些旨在应对这些问题的高级语言和系统，并在 MapReduce 框架之上添加了声明接口 (declarative interface)。
在过去二十年中，计算能力的稳步增强催生了铺天盖地的数据量，这反过来引起计算架构和大型数据处理机制的范式转换。例如，天文学中的强大望远镜、物理学中的粒子加速器、生物学中的基因组测序系统都将海量数据交到了科学家手中。Facebook 每天会收集 15TB 的数据到 PB 级的数据仓库中。在业界（例如，Web 数据分析、点击流分析和网络监控日志分析）和科学界（例如，大规模模拟产生的数据的分析、传感器部署以及高吞吐量实验室设备），对大型数据挖掘和数据分析应用的需求都在增加。尽管并行数据库系统适用于这些数据分析应用中的其中一些，但是它们太过昂贵，难以管理，并缺乏对长期运行查询的容错性。
MapReduce 是 Google 引入的一个框架，用于编程商品计算机集群，以便在单个传递中执行大型数据处理。该框架被设计为：一个 MapReduce 集群可以通过容错的方式扩展到上千个节点。但是 MapReduce 编程模型有其自身的限制。它的单输入、两阶段数据流过于严格，而且层次过低。例如，即使最常见的运算您都得编写自定义代码。因此，许多程序员感觉 MapReduce 框架使用起来不自在，而更倾向于使用 SQL 作为一种高级声明式语言。已经开发了很多项目（Apache Pig、Apache Hive 和 HadoopDB）来简化程序员的任务，并在 MapReduce 框架之上提供高级声明式接口。
首先了解一下 MapReduce 框架，然后查看向 MapReduce 框架提供高级接口的不同系统的功能。
MapReduce 框架
MapReduce 框架方法的一个主要优势在于，它将应用程序与运行分布式程序的细节分离开来，比如数据分布、调度和容错问题。在该模型中，计算功能利用一组输入键/值对，并产生一组输出键/值对。MapReduce 框架的用户使用两个函数来表达计算：Map 和 Reduce。Map 函数利用输入对，并生成一组中间键/值对。MapReduce 框架将与同一中间键 I (shuffling) 相关的所有中间值组合起来，将它们传递给 Reduce 函数。reduce 函数收到一个中间键 I 及其一组值，并将它们合并起来。通常，每个 reduce 调用只产生 0 或 1 个输出值。该模型的主要优势是，支持轻松并行化和重新执行大型计算以用作主要容错机制。
Apache Hadoop 项目是一个开源 Java 软件，它通过实现 MapReduce 框架来支持数据密集型分布式应用程序。它最初由 Yahoo! 开发，作为 Google MapReduce 基础架构的一个翻版，不过随后它变得具有开源性。Hadoop 负责跨计算机集群运行代码。一般而言，当一个数据集增长到超出单个物理机的存储容量时，就有必要跨大量不同的计算机对其进行分区。跨计算机集群管理存储的文件系统称为分布式文件系统。Hadoop 随附有一个名为 HDFS (Hadoop Distributed Filesystem) 的分布式文件系统。特别地，HDFS 是跨 Hadoop 集群的所有节点存储文件的一个分布式文件系统。它将文件分为大数据块并将它们分布到不同的计算机上，为每个数据块制作多个副本，这样一来，如果有任何一台计算机发生故障，数据也不会丢失。
清单 1 中的 MapReduce 程序使用伪代码表达，用于计算每个单词在文本行序列中出现的次数。在 清单 1 中，map 函数发出每个单词以及一个相关的发生标记，而 reduce 函数对特定单词发出的所有标记进行汇总。
清单 1. MapReduce 程序
map(String key, String value): //key: line number, value: line text for each word w in value: EmitIntermediate(w, ?1?); reduce(String key, Iterator values): //key: a word, values: a list of counts int wordCount = 0; for each v in values: wordCount += ParseInt(v); Emit(AsString(wordCount));
现在采用 清单 2 中文本行的输入序列。
清单 2. 输入序列
1, This is Code Example2, Example Color is Red3, Car Color is Green
清单 3 显示该输入的 map 函数的输出。
清单 3. map 函数的输出
('This', 1), ('is', 1). ('Code', 1), ('Example', 1)('Example', 1), ('Color', 1), ('is', 1), ('Red', 1)('Car', 1), ('Color', 1), ('is', 1), ('Green', 1)
清单 4 显示 reduce 函数的输出（结果）。
清单 4. reduce 函数的输出
('Car', 1), ('Code', 1), ('Color', 2), ('Example', 2), ('Green', 1), ('Red', 1) , ('This', 1), ('is', 3)
对于程序员来说，MapReduce 框架的一个主要特性是，只有两个高级声明原语（map 和 reduce）可以使用选择的任何编程语言编写，而无需担心其并行执行的细节。另一方面，MapReduce 编程模型具有其自身的局限：
它的单输入、两阶段数据流过于严格。要执行具有不同数据流的任务（例如，联接或 n 阶段），您必须得想出粗略的解决方法。
即使最常见的运算（例如，projection 和 filter）都得编写自定义代码，这导致代码通常难以重用和维护。
map 和 reduce 函数的不透明性限制了系统执行优化的能力。
而且，许多程序员不熟悉 MapReduce 框架，倾向于使用 SQL（因为他们对此更精通）作为高级声明式语言来表达其任务，同时将所有执行优化细节留给后台引擎。此外，不可否认的是，高级语言抽象能够让底层系统更好地执行自动优化。
我们来看一下旨在应对这些问题的语言和系统，并且在 MapReduce 框架之上添加 SQL 类语言。