Logo

  • xpleaf

    发布于:2018-04-08 22:36:04

    55

    大数据采集、清洗、处理:使用MapReduce进行离线数据分析完整案例
    大数据采集、清洗、处理:使用MapReduce进行离线数据分析完整案例
    阅读 10000+ 评论 113 收藏 21
  • cs312779641

    发布于:2018-02-07 18:57:15

    22

    详解Linux运维工程师高级篇(大数据安全方向)
    详解linux运维工程师高级篇(大数据安全方向)
    阅读 10000+ 评论 10 收藏 15
  • Slaytanic

    发布于:2017-11-02 19:25:32

    5

    Hadoop运维记录系列(二十一)
    Zeppelin启用https过程和Hack内核以满足客户需求的记录。原因是这客户很有意思,该客户中国分公司的人为了验证内网安全性,从国外找了一个***测试小组对Zeppelin和其他产品进行***测试,结果发现Zeppelin主要俩问...
    阅读 10000+ 评论 3 收藏 0
  • bingyang87628

    发布于:2017-09-26 23:24:31

    3

    大数据实践总结--两个故障的处理及思路总结
        已经有一段时间没有更新实践内容了,不是因为没有在学习。而是工作上出现一个新的挑战,又在忙论文查重,论文也是大数据方向的,主要是ICT方向的一个技术(若有人感兴趣,我会另开一个帖子来详细...
    阅读 7913 评论 1 收藏 1
  • Slaytanic

    发布于:2016-12-30 15:22:50

    3

    Apache Bigtop再论与卖书求生存
    快一年没写博客了,终于回来了,最近因公司业务需要,要基于cdh发行版打包自定义patch的rpm,于是又搞起了bigtop,就是那个hadoop编译打包rpm和deb的工具,由于国内基本没有相关的资料和文档,所以觉得有必要把阅读b...
    阅读 7065 评论 3 收藏 0
  • yushaoqing

    发布于:2016-07-07 00:27:38

    3

    hadoop源码解析---INodeReference机制
    本文主要介绍了hadoop源码中hdfs的INodeReference机制。在hdfs2.6版本中,引入了许多新的功能,一些原有的源代码设计也有一定的改造。一个重要的更新就是引入了快照功能。但是当HDFS文件或者目录处于某个快照中,并...
    阅读 5284 评论 0 收藏 1
  • 酱酱酱子啊

    发布于:2016-07-06 11:18:14

    3

    logstash将Kafka中的日志数据订阅到HDFS
    前言:通常情况下,我们将Kafka的日志数据通过logstash订阅输出到ES,然后用Kibana来做可视化分析,这就是我们通常用的ELK日志分析模式。但是基于ELK的日志分析,通常比较常用的是实时分析,日志存个十天半个月都会...
    阅读 10000+ 评论 5 收藏 1
  • gdutccd

    发布于:2016-02-05 11:38:09

    0

    hadoop+zookepper实现namenode的高可用
    Hadoop+zookeepker安装与配置: 在hadoop-env.sh中添加export JAVA的环境变量修改hostname文件的名称,/etc/hosts文件配置主机名和ip的映射关系,将mstaer,slave的主机名和ip地址都添加进来 配置ssh免密钥...
    阅读 6902 评论 0 收藏 1
  • Slaytanic

    发布于:2015-11-13 19:00:35

    8

    Hadoop运维记录系列(十七)
    上个月通过email,帮朋友的朋友解决了一个Cloudera的Spark-SQL无法访问HBase做数据分析的问题,记录一下。
    阅读 9562 评论 5 收藏 0
  • Slaytanic

    发布于:2015-07-13 14:50:53

    1

    使用flume替代原有的scribe服务
    以前很多业务都是用scribe做日志收集的支撑的,后来fb停止了对scribe的开发支持。而且scribe在机器上编译一次的代价太大了,各种坑,正好后来flume从1.3.0开始加入了对scribe的支持。就可以把原来scribe上面接入的数...
    阅读 7915 评论 1 收藏 0
写文章