跟我一起云计算（2） YARN

介绍

Apache Hadoop YARN作为hadoop的子项目加入到Hadoop Common (core libraries), Hadoop HDFS (storage) and Hadoop MapReduce (the MapReduce implementation) ，它也是apache的顶级工程。

在Hadoop 2.0中，各个客户端会向运行在YARN上的MapReduce v2框架提交种种MapReduce应用。而在Hadoop 1.0中，各个客户端则向MapReduce v1框架提交MapRecude应用。

这两类API都引用开发者可用的MapRecude框架来创建MapReduce应用。org.apache.hadoop.mapred API是最早的API，最广泛地使用在MapReduce应用的创建中。任何使用mapred API开发的MapReduce v1应用都可以提交至运行在YARN上的MapReduce v2框架，并在该框架中运行。在这种情况下，无须修改该MapReduce应用。

hadoop1.0和2.0的区别

直接看图会看的比较清晰：

云计算（2） YARN-hadoop2 yarn">

作为hadoop2.0的一部分，YARN有资源管理的能力，所以它能够使用多个新的引擎。使用YARN，你能运行多个应用在hadoop上，如下图：

查看本栏目更多精彩内容：http://www.bianceng.cnhttp://www.bianceng.cn/Servers/cloud-computing/

时间： 2024-04-25 19:28:29

跟我一起云计算（2） YARN的相关文章

什么是HADOOP、产生背景、在大数据、云计算中的位置和关系、国内外HADOOP应用案例介绍、就业方向、生态圈以及各组成部分的简介（学习资料中的文档材料）

1. HADOOP背景介绍 1． 1.1什么是HADOOP 1.        HADOOP是apache旗下的一套开源软件平台 2.        HADOOP提供的功能:利用服务器集群,根据用户的自定义业务逻辑,对海量数据进行分布式处理 3.        HADOOP的核心组件有 A.       HDFS(分布式文件系统) B.       YARN(运算资源调度系统) C.       MAPREDUCE(分布式运算编程框架) 4.        广义上来说,HADOOP通常是指一个更

云计算的时代，出现分布式存储和分布式数据库的解决方案

数据存储主要有两种方式:Database和FileSystem,后面发展出了Object-oriented storage,但是总的来看就是存储结构化和非结构化数据两种. DB开始是为了结构化数据存储和共享而服务的.FileSystem存储和共享的是大文件,非结构的数据,像图片,文档,影音等.随着数据量的增大,单机存储已经不能满足结构化和非结构化数据的需求,那么在云计算的时代,就出现了分布式存储和分布式数据库的解决方案. 1,File System, Object-oriented storag

G7：如何用云计算链接30万车辆--EMR&Hbase 在物联网领域的实践及解决方案

G7和阿里云,一个是国内最专业的物流数据服务公司,一个是全球3A云计算服务商.他们的强强联合,会创造出怎样的火花? 2015年,随着业务的发展,用户超过三万家,车辆超过30万的G7数据量呈几何倍数地增加. 如何用数据连接每一辆卡车.货主.运力主和司机,提升运输服务效率?G7一番慎重调研后,决定放弃自建机房,而是采用云计算服务快速构建系统,响应业务变化. 在对比了国内比较成熟的云服务后,阿里云的可靠性,安全性,低成本给G7留下比较好的印象,再加上阿里云提供了很多云服务,比如数据存储,消息中间件,大

【CSDN学院每周推荐】云计算技术相关精品课程推荐

问题描述 亲爱的小伙伴们,经过长时间的潜伏,终于于2015年1月5日在大家的满怀期待中浮出了水面,露出了其真面目.此刻想学云计算的童鞋,你们有福了!你是不是一直想拥有一技之长,开启屌丝逆袭之路,却苦于没人教,无处学:你是不是一直计划利用工作外的时间进行充电,却总是苦于工作太忙.事情太多,而没有足够的Time:你是不是想要去专门的培训机构学习,却苦于手上没有足够的Money:你是不是一直担心,花了那么多时间和金钱去培训机构学习,到底能不能学到真东西?--这下,你们就不用再愁了,能帮你解决这些烦恼!

2016年北京中国云计算技术大会见闻

概述 笔者有幸受邀请参加中国云计算技术大会,感谢主办方CSDN.此次大会有3天,第一天全部为topic,随后分为了若干个场次,有<Container技术峰会>.<大数据核心技术与应用实战峰会>.<云计算核心技术与架构>,第三天为<中国Spark技术峰会>.<OpenStack技术峰会>.<亚马逊AWS专场>,笔者基本一直在<大数据核心技术与应用实战峰会>与<中国Spark技术峰会>场次. 由于笔者关注在大数据方

能否利用Hadoop搭建完整的云计算平台?

Hadoop并不完全代表云计算,所以,要用Hadoop搭建完整的云计算平台,答案是不够.我们常说云计算,实际上还是通过计算机的大规模或者说海量处理来为生活中各式各样的人和各行各业服务--所以,核心在"服务".关于服务,展开来就是常用的那3种(也是事实上的标准):SaaS,PaaS,IaaS.对云计算来说,公有和私有,虚拟和存储,这其实是相对讨论的核心. 回头说Hadoop.在Google三大论文的直接刺激下,Hadoop社区兴起,而在众多的开源实现中,Hadoop(主项目)可以说是所有

云计算大数据核心技术Spark，星星之火即将燎原

大数据时代,Spark是继Hadoop之后,成为替代Hadoop的下一代云计算大数据核心技术,目前Spark已经构建了自己的整个大数据处理生态系统,如流处理.图技术.机器学习.NoSQL查询等方面都有自己的技术,并且是Apache顶级Project,可以 预计的是 2014年下半年到2015年Spark在社区和商业应用上会有爆发式的增长.目前Spark的技术在国内还属于起步阶段,为了更好地帮助大家了解Spark技术特点及应用前景,我们走访了Spark亚太研究院的院长王家林.       王家林,

自动化是云计算发展的重要一环

以"技术融合应用创新"为主题的第八届中国云计算大会邀请了众多云计算大数据领域的大咖进行了前沿分享.作为云计算领域的领军人物,华云数据CTO郑军博士以"云的自动化"为切入点,揭开了十年来云从简单应用过渡到复杂的云数据中心的过程中,如何实现各种服务和技术的统一协作.在云计算之前,大规模分布式系统与计算应该是是网格计算和集群计算.在对比分析之后,云计算的最重要的区别就是自动化和Self-service自服务.应用云的企业,尤其当面对复杂的系统应用时,能做到按需分配和自服务

你所不知道的21个云服务器应用实践———云计算综合入门指南

摘要:如今,基于互联网的服务和交互已经越来越深入我们的生活,"云计算"也成为了不折不扣的高频词汇.并以其快捷.按需调用网络资源的优势为我们的日常生活带来了诸多便利和改变.之前,我们基于云服务器的多种利用方法制作了"云计算的1024种玩法"的零基础入门专题,现在,我们对这一专题进行扩展和整合,制作出了这份云计算综合入门指南.   它分为两个部分,分别是云计算基础和云计算实践.在基础篇中,我们能学习到关于云服务器远程控制搭建,数据管理使用,以及建站环境扩展等工具性内容: