拥抱开源!解析IBM Power8与Hadoop的不解之缘

大数据分析不仅改变了企业开展业务的地点和方式,而且还在改变业务决策流程的速度与范围。企业希望通过投资大数据分析技术来增强客户体验、提高客户忠诚度、开创全新的创收机会。他们需要部署经济高效的、高性能的、可靠敏捷的IT基础架构,以便利用特殊的数据资产来产生最佳业务成效。

与x86架构相比,客户能够通过数量更少但却更加可靠的Power8服务器来降低总体拥有成本(TCO)。更重要的是,这些客户还将能够受益于不断发展壮大的IBM合作伙伴开源生态圈(OpenPOWER基金会)及一致性附加处理器接口(CAPI)等颠覆性创新技术所交付的卓越价值。

IBM以开放的态度拥抱开源

IBM一直将开源合作视为创新驱动力,倡导、参与和支持Linux和开源软件,并将开源技术融入满足企业客户需求的各种方案中。IBM是大数据市场中规模最大的供应商。近10年来,他们投资超过150亿美元来开发全套的大数据解决方案。Power对开源的支持,也使今天的开发者更容易利用开源技术开发大数据分析应用。

IBM还在Power Systems服务器上提供最新版本的Ubuntu服务器、Ubuntu OpenStack和Canonical公司的JujuCloud Orchestration工具。基于Power 的Ubuntu为现有的Linux应用向Power移植提供简便的通道,用以轻松实现云部署,建成新的大数据和移动软件应用,并帮助提升现有云端应用的性能。基于Power 的Ubuntu对已经全线支持红帽和SUSE Linux操作系统的Power Systems产品线提供了良好的补充。

此外,IBM通过OpenPOWER基金会使POWER8用于开放式的开发。OpenPOWER基金会是一个多家业内公司围绕着POWER8平台成立的联合组织,致力于加快数据中心的创新及基于POWER8架构的系统设计变革。OpenPOWER基金会中不仅包括家喻户晓的科技巨头(如Google、Samsung、NVIDIA、Micron及Mellanox),还包括浪潮、中兴等国内企业。OpenPOWER基金会提供Power软硬件用于开放型开发,以及Power知识产权许可。Power8的开放将为大数据分析、移动、社交催生更好的基础架构平台。

Power8让Hadoop应用性能提升3.65倍

Hadoop是一个能够对大数据进行分布式存储和处理的软件框架,它具有高可靠性、高扩展、容错、高效、低成本的特点,一度广受互联网公司青睐,企业级用户也越来越多的接受Hadoop。但凡事都有两面性,佘晖表示,星环科技在做Hadoop应用和技术的时候,发现Hadoop是非常耗费计算资源的,用户希望获得更优秀的性能。

通过测试发现,IBM Power8产品非常适合Hadoop应用。据星环科技提供资料显示,在与IBM合作针对Hadoop的性能优化和调优后,IBM做了很多改进,与x86处理器相比,POWER8实现了3.65倍的运行速度提升。除了性能外,POWER在中国很多的行业、在企业级市场有着深厚的积淀和客户群,产品也非常适合这些客户,这也是星环科技选择POWER的原因。

大数据助力空气质量预测

拥有强大集群能力的POWER服务器在应用方面有何过人之处呢?帮助北京预测空气质量就是其中之一。IBM在去年就与北京市政府签署协议,利用先进的天气预报和云计算技术,协助中国防治大气污染。

据了解,北京市政府是IBM“绿色地平线”计划(Green Horizon)的合作伙伴之一。IBM与北京市相关单位合作并共同研发,利用IBM认知计算、大数据分析以及物联网技术的优势,分析空气监测站和气象卫星传送的实时数据流,凭借自学习能力和超级计算处理能力,提供未来72小时的高精度空气质量预报,实现对北京地区的污染物来源和分布状况的实时监测。

绿色地平线项目IBM实验室会跟环保局、监测站,收取很多的检验数据,通过软件做预计分析。比如原来可以预测3天,现在可能提前到10天。

据IBM大中华区硬件系统部PowerSystems产品总监李红介绍,IBM实验室有一套资产算法,去分析大气污染,提供算法服务和支撑。因为是计算密集型的,需要大量计算,所以用到了刚刚发布的S812LC平台。包括其他产品在内,构成了整个云平台环境,去完成对大数据的分析,对污染环境的预测等等。这个项目目前还在进行中,政府也希望这个项目未来可以推广扩展到其他的城市。

总的来看,IBM Power8依然是高性能、高可靠性的代表,它比较适合计算比较密集的场景,更适合于做数据仓库、做批处理、数据挖掘、模型建模等方面应用。因此,它与Hadoop也就有着不解之缘,未来的各种行业应用还在拓展之中,让我们拭目以待!

本文作者:云中子

来源:51CTO

时间: 2022-12-18

拥抱开源!解析IBM Power8与Hadoop的不解之缘的相关文章

解读IBM POWER8:全面开放 针对大数据设计

[天极网服务器频道专稿]一提起云和大数据,大家会不约而同的谈及"开放"的话题,而谈起开放,许多人首先想到的是X86架构.这一方面是因为,X86在短短的数年时间内,发展极其迅速,优点不言而喻-开放的生态系统.更低的成本.较佳的易用性......性能方面也不断追赶小型机,IBM硬件部门在2013年出现亏损,作为UNIX阵营的代表POWER系统遭到了前所未有的压力. 面对Intel阵营的大军压境,ARM的后发制人,IBM在酝酿3年后于2013年年底发布POWER8处理器,扩展Linux市场,

企业拥抱开源的4个理由

当开发者想到开源时,他们只会联想到"免费",而不会想到其他的方面了.因为一般情况下,人们不会太关注那些能够让他们免费使用且几乎没有任何许可限制的技术. 如今,当企业想到开源时,他们会立刻想到"业务灵活性".面对当今瞬息万变的市场,企业越来越重视"业务灵活性",并将其放在企业发展的首位. 相关IT业界人士表示,利用开源技术,能够快速.有效地开发出新的应用,同时还能节省成本,这使得许多大大小小的企业都开始拥抱开源技术,并不断地将开源技术应用到一些规模

IBM POWER8处理器的新砝码:开放和扩展性

[天极网服务器频道5月13日消息]2014年4月28日,IBM正式发布POWER8处理器,新的处理器强调开放性和可扩展性.POWER8系统是首个OpenPOWER兼容系统,也是第一款充分利用目前所有OpenPOWER创新成果的产品.这让POWER8处理器从IBM的专有产品转变为POWER8生态圈的协同产品. IBM POWER8所面向的是当前最为热门的新兴负载,包括大数据.云计算.移动和社交等.IBM一直倡导.参与和支持Linux和开源软件,并将开源技术融入POWER平台.去年IBM针对 Pow

推动主机开源生态 IBM LinuxONE卓越中心启动

在互联网.移动.云等技术如火如荼的今天,开源正改变着世界,开发者可以站在巨人的肩膀上自定义应用,加速创新.2015年12月4日,主题为"有ONE就够"的IBM LinuxONE卓越中心正是在IBM系统中心启动.面向本地客户.合作伙伴.高校和开发者,LinuxONE卓越中心将提供基于开源环境的LinuxONE主机体验资源. 据IBM大中华区硬件系统部主机销售总经理李航先生介绍,大型主机在Linux领域有着15年的经验,目前30%的大型主机运行Linux操作系统,这个比例正在以每年45%的

企业安全拥抱开源之FREEOTP部署实战

企业安全拥抱开源之FREEOTP部署实战.安全建设过程中,总体预算.投入产出比均是首先需要考虑的问题,缺少具备开发能力的人员.缺少资金预算的情况下,开源产品就成了必然的选择. 0×01 前言 虎符是古代皇帝调兵遣将用的兵符,用青铜或者黄金做成伏虎形状的令牌,劈为两半,其中一半交给将帅,另一半由皇帝保存,只有两个虎符同时合并使用,持符者即获得调兵遣将权.虎符也大致可看做是双因素身份认证的早期应用了. 0×02 2FA&OTP 2FA,双因素认证.一是你知道什么,一是你有什么或者你是什么,比如说,你

新款IBM POWER8通过NVLINK与Tesla P100互联

近日在GTC CHINA 2016大会上, NVIDIA与IBM共同宣布最新合作项目,全新 POWER8 家族将通过NVLINK与NVIDIA Tesla P100实现强势组合.NVIDIA的科技在IBM的服务器中,能加速人工智能.深度学习和数据分析这类高度融合的工作,为企业更快获得人工智能. 数据中心的工作负载在不断发生变化,加速数据中心的需求也在不断增强.不久之前,这些系统主要用于处理存储和提供网页,而现在它们越来越多地需要负责人工智能领域的工作,比如理解语音.文字.图片和视频或者分析大数据

云计算:拥抱开源大趋势

云计算:拥抱开源大趋势 云计算:拥抱开源大趋势 云计算在全球市场规模增速要高于IT支出增速.数据显示,2016年全球公共云服务市场规模有望达到2040亿美元,相比2015年增长16.5%.而2016年的全球IT支出总额将达到3.54万亿美元,相比2015年的3.52万亿美元仅增长0.6%. 中国的云计算发展虽然起步晚,但近年增长速度很快.据工信部统计,2015年我国云计算产业规模接近1500亿元,增速超过30%,是全球增速最快的市场之一.其中,公有云增速达47%,私有云增速达26%.从公有云服务

解析IBM总结出的五项SOA最佳实践

本文讲的是解析IBM总结出的五项SOA最佳实践,[IT168 资讯]要取得SOA部署的成功,必须先建立起核心架构领导团队,以确保付出的努力符合需求.并指导架构的发展.针对架构的最佳实践可分为重用.数据管理等几个不同的方面. SOA的重用不仅仅是传统的代码重用.它必须做到架构重用--创建一个可重用的架构框架,通过细致的规划.工程与管理来推动企业内各SOA项目的发展. 你不应假定已有的Web服务是符合标准的,或它们是可以轻易合成与集成的.服务合成(service composition)是相当复杂的

Windows 未来可以拥抱开源吗?

Microsoft Windows操作系统问世至今已近29载,期间任凭业界风云变幻,Windows始终牢牢控制桌面领域统治地位,但随着近年来业界上游格局剧变以及轰轰 烈烈的移动领域"地理大发现"运动,Windows正面临来自多方位多元化的威胁,其中最甚者,是来自开源势力的威胁. 文/水哥 细 心的人应该会发现,尽管Windows操作系统依旧占据90%以上PC桌面,但其品牌影响力已不如从前:再细心一点的人可能还发现,与其说Windows 的影响力下降了,不如说开源系统的影响力上升了.事实