如何在hadoop源码中添加自定义的接口实现hadoop的RPC

问题描述

Hadoop里定义一个自定义的接口继承VersionProtocol来实现HadoopRPC应该怎样创建客户端代理，和服务端，现在需要定义一个接口来实现Hadoop里的远程过程调用，之前用网上的例子试了下，在hadoop源码里编译之后，运行时会出错，现在主要是不知道在客户端如何创建代理，hdfs中自带的RPC都是在DFSClient中创建了各种实现VersionProtocol的接口：ClientProtocol，DataNodeProtocol等待，来直接使用hadoop的RPC，然后再NameNode中实现了相应的接口，并有专门的线程server,RPCserver负责监听并处理，并且在调用hadoopRPC时传递的数据类型必须实现hadoop中自带的Writable接口，现在我需要定义一个自己的接口也实现这样的功能，应该怎样添加代码，请各位大神帮忙，谢谢！

解决方案

时间： 2024-03-04 11:59:03

如何在hadoop源码中添加自定义的接口实现hadoop的RPC的相关文章

关于hadoop 2.6源码中ApplicationClientProtocol的问题

问题描述 关于hadoop 2.6源码中ApplicationClientProtocol的问题 请教大神一个问题 Hadoop 2.6中,Client端提交JOB到RM端,他们是通过ApplicationClientProtocol通信的. 在RM端有RMClientService.java作为服务端接收请求并相应,代码是rpc.getServer(ApplicationClientProtocol.class...),可以看出服务端对应的协议是ApplicationClientProtoco

Hadoop大象之旅010-使用eclipse查看hadoop源码

Hadoop大象之旅010-使用eclipse查看hadoop源码                                                                老帅 我这使用的是hadoop-1.1.2.tar.gz,这个文件可以在下面地址下载到: 官方地址:http://archive.apache.org/dist/hadoop/core/hadoop-1.1.2/   1.将hadoop-1.1.2.tar.gz解压缩 文件夹结构如下所示:   2.在My

eclipse indigo-求助：Hadoop源码导入问题

问题描述 求助:Hadoop源码导入问题 新手:配合源码学习使用,从远程svn上检出老版本hadoop1.0.0的代码,导入到eclipse 3.7 indigo版本,项目中一直提示少org.eclipse.*下的某个包,已经手工下载导入部分,仍缺,但是感觉不应该这样处理,与eclipse版本或者项目里的ant依赖有没有关系,之前一直用maven构建项目,对ant不熟

Hadoop源码学习：RPC

Hadoop源码学习:RPC Hadoop RPC使用java NIO编写,达到高性能,轻量级,可控性. 主要分为四层:序列化层,函数调用层,网络传输层,服务器端处理框架 序列化层:实现Writable接口 函数调用层:java反射机制和动态代理实现函数调用 网络传输层:使用Socket机制 服务器端处理框架:基于Reactor设计模式的事件驱动I/O模型 如何使用Hadoop RPC: RPC Server: 1.定义一个协议,实现VersionedProtocol接口, public int

hadoop源码怎么分析呢

问题描述 hadoop源码怎么分析呢 本人想分析下hadoop源码,请问怎么开始分析呢,推荐书或者方法吧. 解决方案 目前市场上书推荐的话 就看看 hadoop技术内幕吧 一共三卷,其他的书 感觉不太爽,华章的书籍,算不错吧, 书中分析了源码 不过是1.0 版本的. 根据书 分析起来比较快. 学习下并发编程是很不错的,有利于自己编码能力的提高,

PHP实现html源码中回车换行输出

 在源码中输入换行但是不显示像br 之类的字符我们需要通过php地转义字符来实现了,下文就一起来看看吧.     知识扩充   转移序列 说明 n 换行 r 回车 t 水平制表符 [/td> 反斜线 $ 美元符号 " 双引号 [0-7]{1,3} 此正则表达式序列匹配一个用八进制符号表示的字符 x[0-9A-Fa-f]{1,2} 此正则表达式序列匹配一个用十六进制符号表示的字符   用双引号(")定义字符串,PHP 懂得更多特殊字符的转义序列: PHP默认页面编码为HTML,要使

hashmap-请教HashMap源码中的一些问题

问题描述 请教HashMap源码中的一些问题 final Entry getEntry(Object key) { // 获取哈希值 // HashMap将"key为null"的元素存储在table[0]位置,"key不为null"的则调用hash()计算哈希值 int hash = (key == null) ? 0 : hash(key.hashCode()); // 在"该hash值对应的链表"上查找"键值等于key"的

android源码中的values-sw580的文件夹

问题描述 android源码中的values-sw580的文件夹 在看android联系人的源码时发现有values-sw580这样的文件夹,不知道这样的文件夹是干嘛的?还有这个文件夹的名字是如何来定义的? 解决方案 res/下文件夹的命名是这样的,名称分为两部分{作用}[-{适用条件}*]如:values/values-land/values-sw600dp/values-sw600dp-land/等, LZ看到的values-sw580dp这个文件夹,首先它里面放的是value,其实,它只有

android 源码中使用System.loadLibrary加载第三方库

问题描述 android 源码中使用System.loadLibrary加载第三方库 我在android源码中编译一个apk,使用了几个第三方库文件,下面是Android.mk文件内容: LOCAL_PATH:= $(call my-dir) include $(CLEAR_VARS) LOCAL_MODULE_TAGS := debug optional eng LOCAL_SRC_FILES := $(call all-java-files-under, src) LOCAL_PACKAGE