FlumeFlume工具相对来说，比较简单。面试中常问的问题，多为考察Flume的使用，涉及底层原理的考察较少。1. *Flume组成和事务？Flume组成为 Source，Channel，Sink，事务包含Put事务，Task事务。 常用的Source，Channel：Taildir Source：断点续传，多目录。Flume1.6以前需要自己自定义Source记录每次读取文件位置，实现断点续传
转载
2024-04-23 21:41:53
44阅读
flume打包遇到的一些问题1.ipc兼容性问题，线上使用2.3.0的hdfs，但是打包时默认为1.2.1的08 Apr 2015 19:38:25,122 WARN [SinkRunner-PollingRunner-DefaultSinkProcessor] (org.apache.flume.sink.hdfs.HDFS
原创
2015-04-19 17:35:38
2913阅读
1. Project facet Java version 1.7 is not supported.在移植eclipse项目时，如果遇到“Project facet Java version 1.7 is not supported.”项目中的jdk1.7不支持。说明项目是其他版本jdk编译的，在eclipse里运行时会报版本不支持。解决办法:法1，选中项目 Properties ,&
原创
2016-03-04 17:15:12
530阅读
在安装和使用模拟器的过程中，遇到了一些问题，比如模拟器安装不了，安装好了使用不了，使用的时候不会用等等的问题，通过老师和同学的指导，逐渐有了一些了解。
原创
2019-02-28 23:06:58
293阅读
点赞
c程序因共享内存引发的问题：程序使用root启动过后，用普通用户无法启动，原因是root占据了共享内存，普通用户无法分配到共享内存错误信息如下：2016/09/05 18:52:39 - [pid: 6289][FATAL ERROR][qconf_agent.cc 147] - Failed to 
原创
2016-09-05 19:10:31
1888阅读
在安装和使用模拟器的过程中，遇到了一些问题，比如模拟器安装不了，安装好了使用不了，使用的时候不会用等等的问题，通过老师和同学的指导，逐渐有了一些了解。
原创
2019-06-19 09:47:25
593阅读
目录一、Flume 采集数据会丢失吗?二、Flume 与 Kafka 的选取？三、数据怎么采集到 Kafka，实现方式？四、flume 管道内存，flume 宕机了数据丢失怎么解决？五、flume 和 kafka 采集日志区别，采集日志时中间停了，怎么记录之前的日志？六、flume 有哪些组件，flume 的 source、channel、sink 具体是做什么的？七、为什么使用Flume？八、F
转载
2024-03-27 13:33:29
27阅读
为什么说一个好的员工能顶 100 个普通员工我们的做法是，要用最好的人。我一直都认为研发本身是很有创造性的，如果人不放松，或不够聪明，都很难做得好。你要找到最好的人，一个好的工程师不是顶10个，是顶100个。所以，在核心工程师上面，大家一定要不惜血本去找，千万不要想偷懒只用培养大学生的方法去做。最好的人本身有很强的驱动力，你只要把他放到他喜欢的事情上，让他自己有玩的心态，他才能真正做出一些事情，打
转载
2024-08-01 14:30:32
50阅读
这个异常是很多原本在JB等开发环境中开发的程序员，把JB下的程序包放在WTk下编译经常出现的问题，异常的解释是"指定的类不存在"，这里主要考虑一下类的名称和路径是否正确即可，如果是在JB下做的程序包，一般都是默认加上Package的，所以转到WTK下后要注意把Package的路径加上。
转载
2023-07-27 07:58:13
90阅读
项目需求是将线上服务器生成的日志信息实时导入kafka，采用agent和collector分层传输，app的数据通过thrift传给agent，agent通过avro sink将数据发给collector，collector将数据汇集后，发送给kafka，拓扑结构如下：现将调试过程中遇到的问题以及解决方法记录如下：1、 [ERROR - org.apache.thrift.server.Abstr
转载
2024-05-13 12:32:31
128阅读
文章目录几种flume常用的操作从控制台输入，本地连接读取本地文件本地读取文件（带筛选器Interceptors），实时更新（随本地时间更新时间目录），并上传至hdfs使用java代码 自定义筛选器（Interceptors） 几种flume常用的操作从控制台输入，本地连接[root@hadoop1 ~] cd /opt/flume/conf/jobkb09
[root@hadoop1 jobk
转载
2024-03-19 10:13:19
25阅读
1 postfix 作为邮件服务器时，当然这里应用的不是虚拟用户，出现用户只能发送Email 而不能接受Email 的问题，在其日志中出现如下
cannot update mailbox /var/mail/root for user root. error writing message: File too large
2 该问题主要原因是因为在post
原创
2011-06-15 18:13:12
3651阅读
1评论
1.route add default gw 192.168.1.1
添加一条缺省路由
2.可以用route命令添加默认路由吗？
route add -net 192.56.76.0 netmask 255.255.255.0 dev eth0
添加一条路由表项，网段192.56.76.x 应该从接口"eth0"走。
3.修改/etc/profile将HISTSIZE
原创
2011-12-14 14:05:48
1065阅读
1.[root@SN-test02 ~]# pvcreate /dev/sdb1 //提示有挂在文件系统后来找了许久原来是blk-availability服务的原因
Can't open /dev/sdb1 exclusively. Mounted filesystem?
[root@SN-test02 ~]# /etc/rc.d/init.d/blk-availab
原创
2013-04-13 08:41:29
6252阅读
当出现The selected views have no constraints. At build time, explicit left, top, width, and height constraints will be generated for the viewsh时候Editor --> Resolve Auto Layout issues --> Add missin
原创
2015-07-02 19:06:35
715阅读
1.SyntaxError: Non-ASCII character '\xe7' in file解决办法 出现这种错误的原因是程序中的编码出问题了，只要在程序的最前面加上 #-*- coding: UTF-8 -*- 重新保存即可
原创
2015-08-28 14:06:33
299阅读
一、agent不能被发现装完zabbix后，在server上的agent不能被发现，并出现如下报警ZabbixagentonZabbixserverisunreachablefor5minutes，这个时候只要明白agent配置文件，则很容易解决。[root@zabbix-serverzabbix]#grep-v^#/etc/zabbix/zabbix_agentd.conf|grep-v^$Pi
原创
2018-11-23 18:44:20
527阅读
