flume hdfs-flume1.5.2希望将log4j的日志写入hdfs报错Unexpected exception from downstream.

问题描述

flume1.5.2希望将log4j的日志写入hdfs报错Unexpected exception from downstream.
1、conf文件如下

 agent1.sources = source1agent1.channels = channel1agent1.sinks = snik1# sourceagent1.sources.source1.type = avroagent1.sources.source1.bind = nnodeagent1.sources.source1.port = 44446agent1.sources.source1.threads = 5# channelagent1.channels.channel1.type = memoryagent1.channels.channel1.capacity = 100000agent1.channels.channel1.transactionCapacity = 1000agent1.channels.channel1.keep-alive = 30agent1.channels.channel1.byteCapacityBufferPercentage = 20# agent1.channels.channel1.byteCapacity = 200M# sinkagent1.sinks.sink1.type = hdfsagent1.sinks.sink1.hdfs.path = /flume/agent1.sinks.sink1.hdfs.fileType = DataStreamagent1.sinks.sink1.hdfs.filePrefix = event_%y-%m-%d_%H_%M_%Sagent1.sinks.sink1.hdfs.fileSuffix = .logagent1.sinks.sink1.hdfs.writeFormat = Textagent1.sinks.sink1.hdfs.rollInterval = 30agent1.sinks.sink1.hdfs.rollSize = 1024agent1.sinks.sink1.hdfs.rollCount = 0agent1.sinks.sink1.hdfs.idleTimeout = 20agent1.sinks.sink1.hdfs.batchSize = 100# agent1.sources.source1.channels = channel1agent1.sinks.sink1.channel = channel1

2、hdfs集群为hdfs://cluster，两个namenode节点分别为：nnode、dnode1

3、java代码

 package com.invic.hdfs;import java.io.IOException;import java.util.Arrays;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.BlockLocation;import org.apache.hadoop.fs.FSDataOutputStream;import org.apache.hadoop.fs.FileStatus;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.LocatedFileStatus;import org.apache.hadoop.fs.Path;import org.apache.hadoop.fs.RemoteIterator;import org.apache.hadoop.fs.permission.FsAction;import org.apache.hadoop.fs.permission.FsPermission;import org.apache.log4j.Logger;/** *  * @author lucl * */public class MyHdfs {    public static void main(String[] args) throws IOException {        System.setProperty(""hadoop.home.dir""E:\Hadoop\hadoop-2.6.0\hadoop-2.6.0\"");        Logger logger = Logger.getLogger(MyHdfs.class);        Configuration conf = new Configuration();        conf.set(""fs.defaultFS""hdfs://cluster"");        conf.set(""dfs.nameservices""cluster"");        conf.set(""dfs.ha.namenodes.cluster""nn1nn2"");        conf.set(""dfs.namenode.rpc-address.cluster.nn1""nnode:8020"");        conf.set(""dfs.namenode.rpc-address.cluster.nn2""dnode1:8020"");        conf.set(""dfs.client.failover.proxy.provider.cluster""org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider"");        for (int i = 0; i < 500; i++) {            String str = ""the sequence is "" + i;            logger.info(str);        }        try {            Thread.sleep(10);        } catch (InterruptedException e) {            e.printStackTrace();        }        System.exit(0);    }}

4、log4j

 log4j.rootLogger=infostdoutflume### stdoutlog4j.appender.stdout=org.apache.log4j.ConsoleAppenderlog4j.appender.stdout.Target=System.outlog4j.appender.stdout.layout=org.apache.log4j.PatternLayoutlog4j.appender.stdout.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{2}: %m%n### flumelog4j.appender.flume=org.apache.flume.clients.log4jappender.Log4jAppenderlog4j.appender.flume.layout=org.apache.log4j.PatternLayoutlog4j.appender.flume.Hostname=nnodelog4j.appender.flume.Port=44446log4j.appender.flume.UnsafeMode=true

5、执行结果

解决方案

1、conf文件如下
agent1.sources = source1
agent1.channels = channel1
agent1.sinks = snik1

source

agent1.sources.source1.type = avro
agent1.sources.source1.bind = nnode
agent1.sources.source1.port = 44446
agent1.sources.source1.threads = 5

channel

agent1.channels.channel1.type = memory
agent1.channels.channel1.capacity = 100000
agent1.channels.channel1.transactionCapacity = 1000
agent1.channels.channel1.keep-alive = 30
agent1.channels.channel1.byteCapacityBufferPercentage = 20

agent1.channels.channel1.byteCapacity = 200M

sink

agent1.sinks.sink1.type = hdfs
agent1.sinks.sink1.hdfs.path = /flume/
agent1.sinks.sink1.hdfs.fileType = DataStream
agent1.sinks.sink1.hdfs.filePrefix = event_%y-%m-%d_%H_%M_%S
agent1.sinks.sink1.hdfs.fileSuffix = .log
agent1.sinks.sink1.hdfs.writeFormat = Text
agent1.sinks.sink1.hdfs.rollInterval = 30
agent1.sinks.sink1.hdfs.rollSize = 1024
agent1.sinks.sink1.hdfs.rollCount = 0
agent1.sinks.sink1.hdfs.idleTimeout = 20
agent1.sinks.sink1.hdfs.batchSize = 100

agent1.sources.source1.channels = channel1
agent1.sinks.sink1.channel = channel1

2、hdfs集群为hdfs://cluster，两个namenode节点分别为：nnode、dnode1
3、java代码
package com.invic.hdfs;

import java.io.IOException;
import java.util.Arrays;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.BlockLocation;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.LocatedFileStatus;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.RemoteIterator;
import org.apache.hadoop.fs.permission.FsAction;
import org.apache.hadoop.fs.permission.FsPermission;
import org.apache.log4j.Logger;

/**

  • @author lucl
    *
    */
    public class MyHdfs {

    public static void main(String[] args) throws IOException {
    System.setProperty(""hadoop.home.dir""E:Hadoophadoop-2.6.0hadoop-2.6.0"");

    Logger logger = Logger.getLogger(MyHdfs.class);Configuration conf = new Configuration();conf.set(""fs.defaultFS""hdfs://cluster"");conf.set(""dfs.nameservices""cluster"");conf.set(""dfs.ha.namenodes.cluster""nn1nn2"");conf.set(""dfs.namenode.rpc-address.cluster.nn1""nnode:8020"");conf.set(""dfs.namenode.rpc-address.cluster.nn2""dnode1:8020"");conf.set(""dfs.client.failover.proxy.provider.cluster""org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider"");for (int i = 0; i < 500; i++) {    String str = ""the sequence is "" + i;    logger.info(str);}try {    Thread.sleep(10);} catch (InterruptedException e) {    e.printStackTrace();}System.exit(0);

    }
    }
    4、log4j
    log4j.rootLogger=infostdoutflume

stdout

log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.Target=System.out
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{2}: %m%n

flume

log4j.appender.flume=org.apache.flume.clients.log4jappender.Log4jAppender
log4j.appender.flume.layout=org.apache.log4j.PatternLayout
log4j.appender.flume.Hostname=nnode
log4j.appender.flume.Port=44446
log4j.appender.flume.UnsafeMode=true
5、执行结果
后台报错

时间： 2024-03-18 07:00:10

flume hdfs-flume1.5.2希望将log4j的日志写入hdfs报错Unexpected exception from downstream.的相关文章

如何使用log4j把日志写入数据库

之前做的一个项目有这么个要求,在日志管理系统里,需要将某些日志信息存储到数据库里,供用户.管理员查看分析.因此我就花了点时间搞了一下这一功能,各位请看. 摘要:我们知道log4j能提供强大的可配置的记日志功能,有写文件的.打印到控制台的等等,但有时我们需要它把日志输出到后台数据库中,log4j的强大的可扩展性支持了这一点,以下就是具体的实现. 关键词:log,log4j,日志,Java,DB,数据库,slf4j 前提:已经配置好slf4j.log4j,能正常的往文件或控制台写日志. 需求:将日志

tomcat log4j error-tomcat 启动报错，没有详细日志

问题描述 tomcat 启动报错,没有详细日志 tomcat 启动报错,没有详细日志 16-04-12 16:21:54 INFO Http11Protocol:188 - Initializing Coyote HTTP/1.1 on port 8080 16-04-12 16:21:54 INFO Catalina:536 - Initialization processed in 265 ms 16-04-12 16:21:54 INFO StandardService:511 - Sta

LOG4J输出日志到web目录的相对路径

 LOG4J输出日志到web目录的相对路径 项目中必须是在使用spring web.xml加入 <span style="font-size:18px;"><context-param> <param-name>webAppRootKey</param-name> <param-value>webApp.root</param-value> </context-param> <context-

大数据 flume ng-大数据：flume-ng启动报错

问题描述 大数据:flume-ng启动报错 flume-ng1.5.0启动报错java.lang.OutOfMemoryError: Direct buffer memory. flume-env.sh内存配置4G绝对足够了,请求解决方法 解决方案 同样的flume环境,部署到不同的linux机器上,有些机器正常,有些机器启动就报这个错误 解决方案二: 检查下jvm的配置,jvm有最大内存上限,尽管物理机器有更大的内存.

Log4j配置详解及不同的包(package)下的日志写入到不同的日志文件下

以下都是log4j.properties要写入的内容: 一:参数介绍: 1.Log4J配置文件的基本格式如下: [plain] view plaincopy #配置根Logger   log4j.rootLogger  =   [ level ]   ,  appenderName1 ,  appenderName2 ,  -      #配置日志信息输出目的地Appender   log4j.appender.appenderName  =  fully.qualified.name.of.a

问题-刚开始学习java ，自己写了一个聊天小程序，没报错但是有毛病，希望能帮忙问一下

问题描述 刚开始学习java ,自己写了一个聊天小程序,没报错但是有毛病,希望能帮忙问一下 刚开始学习java ,自己写了一个聊天小程序,没有报任何错误.测试时打开3个聊天小窗口 A,B,C,在A中输入文字,只在B中显示出来了,而且显示出了三句相同语句.查了好几个小时都没有查出来,希望高手能帮帮忙,看看是怎么回事,并且告诉我是通过什么方法找出来的. 以下是客户端和服务器端代码 客户端: import java.awt.*; import java.awt.event.*; import java

log4j输出日志了两遍，求高手帮忙看看

问题描述 log4j输出日志了两遍,求高手帮忙看看 我的项目是用log4j.xml配置的,配置了一个root,然后又配置了一个logger,nane=test,root和logger输出到不同的日志文件中,使用Logger.getLogger("test").info("test").结果两个日志文件都输出了日志,我的期望是只在test那个logger里输出,怎么做才能实现呢?

Kafka+Log4j实现日志集中管理

引言 前段时间写的<Spring+Log4j+ActiveMQ实现远程记录日志--实战+分析>得到了许多同学的认可,在认可的同时,也有同学提出可以使用Kafka来集中管理日志,于是今天就来学习一下. 特别说明,由于网络上关于Kafka+Log4j的完整例子并不多,我也是一边学习一边使用,因此如果有解释得不好或者错误的地方,欢迎批评指正,如果你有好的想法,也欢迎留言探讨. 第一部分 搭建Kafka环境 安装Kafka 下载:http://kafka.apache.org/downloads.ht

aspectjrt-求解：AOP编程时@Aspect注解运行期报错，已经一天了，还是没有头绪，希望大神解答一下。

问题描述 求解:AOP编程时@Aspect注解运行期报错,已经一天了,还是没有头绪,希望大神解答一下. 在做Spring的AOP时,运行tomcat出现了这些异常,当我去掉@Aspect注解的时候,这些异常就没有了,我尝试替换过aspectjrt1.6.jar和aspectjweaver1.6.jar,可还是不行,我的JDK是1.7的.请问这是什么情况造成的呢?肯定是@Aspect,不过还是不太清楚具体是什么?希望大神解答一下,高分. 解决方案 有个bean创建失败了,看看不是哪里的注解冲突或遗