当今，一些最成功的公司通过捕捉、分析和利用大量各式各样、快速移动的“大数据”获得了强大的业务优势。本文介绍了三种使用模型，可帮助您实施灵活、高效的大数据基础设施，以获得自身业务的竞争优势。本文还描述了英特尔在芯片、系统和软件领域的多项创新，可帮助您以最佳的性能、成本和能效来部署这些和其他大数据解决方案。
大数据机遇
人们常将大数据比作海啸。当前，全球五十亿手机用户和近十亿的 Facebook* 与 Skype*用户正在生成规模空前的数据，而这些用户只占全球网民人数的一小部分。英特尔估计，2012 年流经云中的数据总量超过了 1,500 EB，即 1,5000 亿 GB。与此形成鲜明对比的是，整个人类历史中所说话语的总量估计仅约 5 EB。然而，大数据的洪峰还未到来。目前，我们正在快速迁移至“物联网”，企业、家庭、汽车和公共场所中数量庞大的联网传感器正在生成几乎无法估量的数据量（图 1）。然而，将大数据比作海啸忽略了最重要的一点。
截至 2020 年的指数级增长趋势
图 1. 当前和预测的大数据增长率。资料来源：Philippe Botteri of Accel Partners，2013 年 2 月。
虽然海啸极具破坏性，但大数据却拥有巨大的潜在价值。借助正确的工具和战略，企业可从大数据中有所领悟，帮助自身实现强大竞争优势。目前，许多公共和私营组织已经在这么做了。
• 零售商以前所未有的规模和精度实时分析社交媒体趋势，以便为最有可能的买家提供最热门的产品。
• 金融公司分析信用卡交易、账单支付和银行账户活动，以实时检测和防止欺诈行为，并提高丢失资金的找回概率。
• 内容提供商实时分析用户的选择，以便向用户推荐相关内容并提供新的产品和服务，以此提高收入和客户满意度。
• 城市使用大数据来预测并缓解交通拥堵状况，并避免进行昂贵的道路扩建。
• 公用事业通过实时监控能源使用状况来实现其能源网络的负载平衡，以便更加高效、可靠地输出功率并避免增建大型基础设施。
如要利用大数据获得这些优势，需采用新的数据管理方法。大数据不同于传统的业务信息。虽然交易数据也是其中的一部分，但大数据具备多结构化和快速移动的特性，且其数量可能会远超您的基础设施的处理范围。
• 大数据以 PB 而非 TB 计算，因而远远超出传统的业务数据。
• 大数据包含多种不同格式的结构化和非结构化内容，如电子邮件、社交媒体、视频、图像、博客、传感器数据和“影子数据”（如访问日志和 Web 搜索历史记录等），以及许多其他类型数据。
• 大数据不断动态生成，瞬时洞察可改善实时业务场景的结果。
虽然批量分析仍发挥着重要重要，但来自现场或流数据的按需查询则拥有巨大的潜力。
由于大数据的价值蕴藏在大量复杂、快速移动的内容中，因此，获得有意义的洞察通常需要广泛的挖掘和深入的分析，其广度和深度远超传统的商业智能（BI）查询和报告。利用机器学习、统计建模、图形算法以及其他新兴技术可以挖掘出随时可用的重要内容，从而为企业提供显著的竞争优势。
从大数据中提取业务价值
本文探讨了从大数据中提取价值的三种使用模型。这三种使用模型适用于各种不同的组织。每种使用模型都建立在前者基础之上，旨在提供更高的价值。
• 使用模型 1 — 提取、转换和加载（ETL）。ETL 在分析数据之前，必须先执行收集和预处理操作，并将数据存储在数据库中。但传统的 ETL 工具和战略可能无法满足大数据的需求。Apache Hadoop* 为解决这一挑战提供了一种经济高效的方法。
• 使用模型 2 — 交互式查询。最新的技术创新极大提高了传统数据仓库模型的性能和可扩展性。借助这些改进，实时分析可以在规模更大、更多样化的数据集上运行，以扩展现有 BI 投资的价值，并更有效地与全新大数据解决方案（如 Hadoop 等）相集成。
• 使用模型 3 — 预测分析。全新的分析技术不单包括数据挖掘和可视化，通过对所有可用数据，包括来自外部来源的实时数据流进行分析，不仅能够确定已发生事情的情况及原因，还能预测可能会发生的事情。最后一种使用模型构建于前两者基础之上，旨在创建一个更加统一、可扩展的分析环境。
使用模型 1 — 采用 Apache Hadoop*的 ETL
与传统数据相类似，大数据必须从外部来源中提取并转换成满足业务需求的结构，之后再加载到数据库中进行存储和管理。由于传统的 ETL 解决方案无法满足多结构化数据的需求，因此 Hadoop软件成为了满足这一需求的最佳平台（图 2）。
Hadoop 集群的分布式存储和处理环境非常适合大数据 ETL。
Hadoop 首先将传入的数据流分成碎片，然后通过简单的并行操作快速处理海量数据。该软件支持所有类型的数据，并可在数十、数百甚至数千台服务器间运行，以提供强大的可扩展性。Hadoop 分布式文件系统（HDFS）将结果存储在低成本存储设备（直接连接至集群中的每一台服务器）中，以供立即上传至企业数据仓库或非结构化数据存储中。
Hadoop 可处理多结构化的分析数据，即使数据未被预定义也不受影响。换句话说，Hadoop 支持 Schema on Read 模式，这与传统 ETL流程应用的 Schema on Write 模式截然相反。这使得 Hadoop 能够在短时间内加载大量数据，以确保数据能够快速用于分析、可视化和其他用途。
基础设施注意事项
基于英特尔® 至强® 处理器 E5 系列的双路服务器为大多数 Hadoop部署提供了容量与成本的最佳平衡。与上一代服务器相比，这些服务器提供了更多的内核、高速缓存和内存容量。此外，它们还将I/O 带宽提升多至两倍，同时将 I/O 延迟降低了 30%。1 这些资源为并行执行更多的数据密集型任务提供了高吞吐量。
轻量型 I/O 绑定工作负载（如简单的数据排序操作等）可能无需英特尔® 至强® 处理器 E5 系列的全部处理能力。此类工作负载可经济地运行在基于英特尔® 至强® 处理器 E3 系列的高密度、低功耗服务器上，或者基于英特尔® 凌动 处理器的系统芯片（英特尔®凌动 SoC）上。凭借低至 6 瓦的耗电量，基于 64 位 x86 架构的英特尔® 凌动® 系统芯片在服务器级处理器中提供了前所未有的密度和能效。
使用 Hadoop 卸载 ETL
图 2. 通过使用 Apache Hadoop*，您可以大规模提取、处理和导出大量多样的数据。
Hadoop 集群中的所有服务器需要大量内存和相对大量的存储驱动器来满足数据密集型 Hadoop 工作负载的需求。还需要足够的内存来提供高吞吐量，以执行多个并行操作。多个存储驱动器（每内核两个或两个以上）提供了所需的聚合 I/O 吞吐量，以避免产生存储瓶颈。通过在每个服务器节点中配备至少一块英特尔® 固态硬盘（英特尔® SSD），存储性能得以显著提升。
通过在靠近数据存储位置的地方处理数据，Hadoop 极大降低了对大容量数据移动的需求。然而，快速数据导入和导出需要足够的网络带宽。在大多数情况下，每个服务器机架应使用万兆以太网（10 GbE）交换机，每台机架级交换机应与一台 40 GbE 集群级交换机相连接。随着数据量、工作负载和集群的不断增长，可能需要互联多台集群级交换机，甚至需要上行传输至更高级别的交换基础设施。
如欲了解更多详细信息，请参阅发布在 software.intel.com 网站英特尔开发人员专区的英特尔白皮书：使用 Apache Hadoop* 提取、转换和加载（ETL）大数据。
使用模型 2 — 交互式查询
数据仓库为业务数据和 BI 功能（如在线分析处理（OLAP）和数据可视化等）提供了中央存储库。新数据和历史数据从不同来源收集得来，并将用于交互式查询和其他类型的分析。
传统数据仓库的功能和资源可能无法满足大数据的需求，因此，各厂商已通过改进性能与可扩展性来应对这一问题。例如：
• 内存数据库消除由于在服务器和存储系统之间来回传输数据造成的延迟和开销。该方法将数据访问时间从几毫秒缩短至几纳秒，从而消除了阻碍数据库性能几十年的瓶颈。Oracle TimesTen、* SAP HANA*、Microsoft IMUB*、IBM solidDB*、VMware vFabric SQLFire* 以及许多开源解决方案均使用该战略来加速传入数据流的处理和管理。
• 数据仓库设备将服务器、存储、操作系统、数据库管理系统和支持组件整合至预先构建、高度优化的交钥匙系统中，以简化集成并显著提高性能。许多数据仓库设备支持内存数据库，其中有些包含专有数据过滤技术，可加速数据流。大多数此类设备均为大规模对称多处理器（SMP）系统，或者大规模并行处理（MPP）可扩展刀片服务器系统。现成实例包括 IBM Netezza*、HP EUW Appliance*、Oracle Exadata*、Teradata UW 设备*、Dell Parallel UW*和 Pivotal （原 EMC Greenplum）数据计算设备* 等。
企业如要寻求部署功能强大、经济高效的大数据平台，应考虑将大规模 SQL 数据仓库与 Hadoop 集群相结合。该集群可快速收集和处理大规模、多样化、快速移动的数据流。之后，合适的数据集可被加载到数据仓库中，用于特定的 SQL 查询、分析和报告。用户还可以使用相关软件（如 Apache HBase*、Spark*、Shark*、SAP HANA*、Apache Cassandra*、MongoDB*、Tao*、Neo4J*、Apache Drill*或 Impala* 等）查询驻留在 Hadoop 集群中的多结构化数据集。与任一解决方案单独可实现的结果相比，采用这种混合战略可获得更快、更深入的洞察。
无论您目前使用的是传统数据仓库，还是专为更大容量和更快数据流而设计的更现代的系统，均可采用类似的流程：从外部来源收集数据，然后清理并格式化数据，使其符合仓库数据模型。该流程可在将数据加载至仓库之前进行，或者在将流数据源流输入仓库的过程中动态进行。
数据加载完之后，就可以开始进行分析了。现代的数据仓库支持临时查询功能，因而可利用任何有意义的数值组合进行按需数据访问。与之相比，更为传统的数据仓库仅能够基于已知的关系生成预先定义的报告。
基础设施注意事项
无论您是集成自己的 SQL 数据仓库解决方案还是评估相关设备，以下注意事项均可帮助您显著优化可扩展性、可靠性和总体拥有成本（TCO）。
在 SQL 数据仓库中执行的复杂分析通常无法很好地在大量集群节点中进行扩展，因此单台数据仓库服务器必须具备高性能和可扩展性特性。基于英特尔® 至强® 处理器 E7 系列的四路、八路以及更大型的服务器能够提供出色的可扩展性能，可用于处理要求苛刻的分析工作负载。例如，企业数据仓库设备（包括大规模 SMP和刀片式 MPP 系统等）使用这些处理器来最大限度地提升整体性能和吞吐量。每颗英特尔® 至强® E7 处理器都可提供多至 10 个内核、20 条线程和 30 MB 的三级高速缓存。这些处理器还可在 8 路服务器中提供高达 32 GB 的 DIMM 和多至 4 TB 的内存总量，因而其内存数据库的容量非常庞大。
由于数据仓库通常运行在单台服务器上，因此，系统正常运行时间就显得尤为重要。英特尔® 至强® 处理器 E7 系列包括先进的可靠性、可用性和可维护性（RAS）特性，这些特性内置于芯片中，用于支持关键业务级别的可靠性和保护数据。所有关键互联、数据存储、数据路径和子系统均集成了主动和被动错误监控功能。
自我修复功能可主动和被动修复已知的错误，通过基于可配置的错误阈值进行自动修复，还可减少将来发生错误的可能性。英特尔与硬件、操作系统、虚拟机监视器（VMM）和应用厂商展开了广泛合作，以帮助确保整个硬件与软件堆栈的紧密集成。
随着数据量的迅速增加，借助各种全新战略，企业可同时在数据仓库的内部和外部更加经济高效地扩展数据存储容量。以下战略可配合使用，以较低的总体成本满足多样化的需求。
• 横向扩展存储架构提供价格适中的超大容量，并支持跨私有云和混合云的联合。这些解决方案可动态扩展，因而能够比传统存储系统更快地进行部署。它们还可帮助提高数据管理效率。
• 低延迟，临近存储非常适合数据密集型应用，在与数据存储设备共处同地点时能够更好地运行。实例包括业务流程、决策支持分析和高性能计算工作负载，以及在虚拟化服务器上运行的协作流程、应用和 Web 基础设施。
• 集中式存储在存储区域网络（SANs）聚合为逻辑池，可支持高性能的业务数据库。当针对低成本容量而非高性能进行优化时，集中式解决方案可为备份、归档和对象存储需求提供高效的存储。
更高的存储效率可帮助在应对快速增长的数据时控制成本。许多存储厂商都将英特尔® 至强® 处理器集成至各自的存储解决方案中，以支持高级数据管理功能，帮助大幅提高效率。据 IDC 在 2013 年 6 月发布的《全球存储与虚拟化 x86 环境 2013-2017 预测》统计，全球约 80% 的面向企业、云和高性能计算（HPC）的企业级解决方案均运行于英特尔架构之上。支持数据效率技术的存储平台包括：
• 重复数据删除以节约容量。
• 数据压缩以增加吞吐量。
• 自动精简配置以提高利用率，基于项目需求按需供应存储，而非过度供应容量。
• 智能分层以优化性能与成本，自动将“热”数据迁移至速度更快的存储设备，而将“冷”数据迁移至容量更高、成本更低的驱动器。借助这种方法，少数高速驱动器（如英特尔® SSD 710 系列SATA 等）能够以相对较低的成本提供更高的性能。
快速、高效地将数据集加载至数据仓库可帮助分析应用及时提供业务洞察。该解决方案由两部分构成，其中一部分是高效 ETL 处理，另一部分是快速、高效的网络，从而将不断增长的分析业务价值扩展到整个企业。英特尔® 以太网产品集成了多项相关技术以满足这些需求。
• 虚拟化环境中近乎本机性能。虚拟化可提高基础设施的灵活性和利用率，这对在实现大数据解决方案增长的同时控制成本而言非常重要。英特尔® 虚拟化连接技术（英特尔® VT-c）可帮助减少 I/O 瓶颈，提高服务器在虚拟化环境中的整体性能。其虚拟机设备队列（VMDQ）技术可卸载流量分类并路由到网络适配器的专用芯片中。借助 PCI-SIG 单根 I/O 虚拟化（SR-IOV）技术，单个英特尔® 以太网服务器适配器端口可支持多条到虚拟机的独立连接。
• 10 GbE 统一网络。将数据中心流量整合至单一、高带宽网络中有助于降低成本和复杂性，并可提供所需的性能和可扩展性，满足快速增长的需求。英特尔以太网融合网络适配器支持以太网光纤通道（FCoE）和 iSCSI，以便在整合局域网（LAN）流量和存储区域网络（SAN）流量时简化实施并降低成本。
• 更简单、更快速地连接至 iSCSI SANs。英特尔以太网融合网络适配器和英特尔以太网服务器适配器提供基于硬件的 iSCSI 加速来提高性能。它们还充分利用集成至领先操作系统的本机 iSCSI启动器，以简化本机和虚拟化网络中的 iSCSI 部署和配置。
使用模型 3 — 基于 Hadoop 平台的
预测分析
预测分析通过从过去的事件中捕捉关系并利用这些关系预测未来结果，以从数据中获取更高价值（图 3）。通过使用预测分析，零售商可为个人客户提供更具吸引力的产品，医疗机构能够选择最合适的治疗方案，金融服务机构则可增加投资回报和降低风险。虽然预测分析可帮助制定战略业务计划，但其最大的价值可能来自于决策制定时的策略指导和决策执行时的运营指导。由数据科学家、数据库管理员和软件开发人员组成的中央团队共同协作，为最关键的业务运营提供定制的解决方案。随着企业越来越广泛地将这一功能集成至各自的业务中，他们必须为范围更广泛的优化和自动化系统提供优化的决策工具。
预测分析分为两大类：回归分析和机器学习。
• 回归分析技术通过比较当前数据与历史模型来预测最可能发生的结果。
• 机器学习采用人工智能技术，只需很少或无需人工干预。该系统通过分析代表性数据集来提取关系并加以概括，从而基于新的数据进行预测。光学字符识别（OCR）就是一个典型实例，但新应用将在更广泛的场景中发掘大数据的价值。
英特尔 IT 部门于 2010 年开始了开拓性的大数据分析工作，并建议将本文中讨论过的两种使用模型相结合使用，创建一个混合分析基础设施（图 4）。
1. 基于 MPP 架构部署数据仓库设备，以针对大型数据集快速执行复杂的预测分析。许多厂商已将英特尔® 至强® 处理器 E7 系列集成至刀片式服务器设备中，旨在以相对较低的成本提供所需的性能。这些系统适用于现有的企业 BI 解决方案，并为先进的分析工具和应用提供集成支持，如 R，这是一种在数据科学家中非常流行的开源统计计算语言。
2. 为数据仓库添加 Hadoop 集群，以实现快速、可扩展且价格适中的 ETL。Hadoop 还运行其他数据处理与分析功能，该功能可在分布式处理环境中顺畅地运行。Hadoop 生态系统提供了不断扩展的各种工具和组件以满足这些需求。
基础设施注意事项
为了提供最大的灵活性，数据仓库和 Hadoop 集群应使用高速数据加载器，并使用 10 GbE 或另一种高带宽网络技术连接在一起。这使您能够在两种环境之间快速迁移数据，以便您基于特定数据类型、工作负载和业务需求使用最高效的分析技术。
预测分析的业务价值
图 3. 根据 Gartner 的报告显示，随着重心从后见之明转移到先见之明，分析的难度和业务价值同时增加。
英特尔 IT 部门的大数据分析混合平台
图 4. 英特尔 IT 部门的大数据平台通过使用高速数据加载器连接大规模并行处理（MPP）数据仓库设备与运行 Hadoop 软件的行业标准服务器集群，为分析（包括预测分析）提供了一个灵活的基础。
为大数据分析创建一个更好的基础
随着大数据技术和解决方案的进步，英特尔产品与技术可帮助加速整个生态系统的创新。通过与硬件、软件和服务提供商协同合作以确保提供广泛的支持，英特尔可帮助企业更加轻松、经济地将这些新功能集成至基于标准、互联、托管且安全的架构中。
处理器的性能进步
英特尔处理器的进步为下一代大数据解决方案提供了不断提高的性能和价值。每线程性能、并行执行、I/O 吞吐量、内存容量和能效方面的不断改进帮助企业利用经济、主流的计算系统满足快速增长的需求。
全新工具和优化软件
英特尔既可独立工作，又可与领先的软件厂商和开源社区协同工作，以便为大数据分析提供优化的软件堆栈和服务。这些努力有助于在整个大数据生态系统中提供全新高级功能。它们还可确保为在英特尔架构上运行的大数据应用提供最佳性能。
英特尔还提供软件产品，帮助满足大数据生态系统中一些最关键的需求。
• 面向 Hadoop 集群和应用的性能指标评测。 英特尔® HiBench 套件包括 10 项性能指标评测，用于 IT 组织和软件厂商测量特定常见任务（如排序和字数统计等）和更复杂的现实功能（如 Web 搜索、机器学习和数据分析等）的性能。英特尔工程师使用英特尔®HiBench 套件，帮助实施面向英特尔® 架构的上游 Hadoop 优化，以及面向 Hadoop 的 Java* 优化。
实施大数据分析
英特尔正在将预测性大数据分析集成至其现有的商业智能（BI）环境中，以帮助提高业务效率和性能。英特尔 IT 部门正联合业务事业部进行一些大数据概念验证部署。当前的重点领域包括恶意软件检测、芯片设计验证、市场情报和推荐系统。
• 企业就绪型 Hadoop 发行版。英特尔® 发行版 Hadoop 在软件包中提供了最新的英特尔架构优化，可简化部署并支持企业级安全与可管理性需求。许多优化将首先应用于英特尔® 发行版，随后会被提交到开源 Apache Hadoop 项目。
• 快速、大规模可扩展的分布式文件系统。英特尔® Luster 存储软件是 Lustre* 分布式文件系统的英特尔优化发行版，可支持大规模集群计算。该软件可扩展支持数以万计的客户端系统和几十PB 的存储，提供每秒超过 1 TB 的聚合 I/O 吞吐量。
先进的电源管理助力降低运营成本
对于大多数组织而言，存储和分析大数据需要大量的基础设施建设，这就需要管理能耗以控制总成本。英特尔® 至强® 处理器和英特尔® 凌动® 系统芯片的能效功能可帮助解决这一问题。无论您选择哪一种，该软件均可支持英特尔® 至强® 处理器和英特尔®凌动® 处理器系列，且无需重新编译，以帮助您避免管理多个架构和代码库的复杂性。
英特尔提供各种工具，帮助您更有效地管理功耗。
• 高效的数据中心电源管理。英特尔数据中心管理器（英特尔®DCM）可部署至现有的管理控制台，并将充分利用英特尔处理器内置的测量技术来提供先进的电源与散热管理，从单台服务器与刀片到机架、机架列和整个数据中心。
• Linux* 环境中集成的能耗管理。由英特尔开发的运行平均功耗限制（RAPL）Linux 内核软件驱动程序为英特尔® 至强® 处理器 E5系列的功耗监控、管理和限制提供了强大支持。
结论
无论企业来自哪个行业，只要具备从所有来源捕捉、存储和分析数据的能力，即可获得强大竞争优势；但大数据海啸却带来了更为复杂的全新基础设施挑战。本文提及的三种使用模型可指导企业将大数据转化为业务价值。
• 部署 Hadoop 以摄取大数据并进行分析准备。
• 将您的 Hadoop 集群连接至快速、可扩展的数据仓库，以获得支持混合数据的交互式查询功能。
• 添加预测性分析和机器学习应用，以做出准确的预测并实时采取行动。
英特尔在芯片和软件领域的多项创新提供了多方面优化和有针对性的功能，可帮助您更加轻松、高效地实施这些以及其他大数据使用模型。