Logo

  • Slaytanic

    发布于:2017-11-02 19:25:32

    4

    Hadoop运维记录系列(二十一)
    Zeppelin启用https过程和Hack内核以满足客户需求的记录。原因是这客户很有意思,该客户中国分公司的人为了验证内网安全性,从国外找了一个渗透测试小组对Zeppelin和其他产品进行黑客测试,结果发现Zeppelin主要俩问题,一个是在内网没用https,一个是zeppelin里面可以执行shell命令和python语句。其实这不算大问题,zeppelin本来就是干这个用的。但是渗透小组不
    精选文章 4503人阅读 评论(1) 收藏(0)
  • bingyang87628

    发布于:2017-09-26 23:24:31

    3

    大数据实践总结--两个故障的处理及思路总结
        已经有一段时间没有更新实践内容了,不是因为没有在学习。而是工作上出现一个新的挑战,又在忙论文查重,论文也是大数据方向的,主要是ICT方向的一个技术(若有人感兴趣,我会另开一个帖子来详细谈这个内容)。    而且最近,把之前所有的实践环境换了一台电脑来重新搭建。按理说会很顺利,但没想到,还是出了许多问题。一些简单的问题就直接解决了,但仍是有两
    精选文章 1410人阅读 评论(0) 收藏(1)
  • 雪夜凋零

    发布于:2017-08-01 11:06:39

    5

    HBase在阿里搜索中的应用实践
    HBase作为淘宝全网索引构建以及在线机器学习平台的核心存储系统,是阿里搜索基础架构的重要组成部分。本文我们将介绍HBase在阿里搜索的历史、规模,应用的场景以及在实际应用当中遇到的问题和优化。
    精选文章 3412人阅读 评论(4) 收藏(0)
  • 雪夜凋零

    发布于:2017-07-18 08:36:24

    9

    亿级推广流量仍能精准推荐?解读核心算法的应用实践
    阿里妈妈,是一个想让天下没有难做的营销的大数据平台,它拥有阿里巴巴集团的核心商业数据。在这里,每天有超过50亿的推广流量完成超过3亿件商品的推广展现,覆盖高达98%的网民,实现数字媒体(PC端+无线端+互联网电视端)的一站式触达。 在这些鲜亮的数据背后,是什么样的核心算法在起作用?它如何保证商家的产品得到最有效的推荐?本文将给大家详解阿里妈妈 CTR 预估核心算法 MLR 的研发背景和应用实践。
    精选文章 306人阅读 评论(1) 收藏(0)
  • cs312779641

    发布于:2017-06-29 17:58:32

    9

    大数据平台一键安装OS【搭建脚本篇】
      定制化大数据平台一键安装OS大数据平台一键安装OS系列大数据平台一键安装OS【定制化OS镜像制作】搭建脚本篇脚本命名随便,只要能看懂就行镜像包说明os1.1.iso 用于安装服务端和客户端操作系统hdp.iso 用于安装hdp服务1.架构图:服务端客户端2.原理分析安装系统-安装本地yum源-安装http源-安装并配置ntp服务-配置秘钥-安装jdk-安装mysql-编译安装amba
    精选文章 1704人阅读 评论(0) 收藏(6)
  • cs312779641

    发布于:2017-06-29 16:13:11

    11

    大数据平台一键安装OS【定制化OS镜像制作】
       定制化 大数据平台一键安装OS大数据平台一键安装OS系列大数据平台一键安装OS【搭建脚本篇】定制化OS镜像制作1.操作环境操作环境:VMware Workstarion 9 and vSphere client系统:CentOS -6.8-x86_64工具:gconf-editor anaconda repodata createrepo mkisofs rsync2.主
    精选文章 5993人阅读 评论(7) 收藏(1)
  • tty之星

    发布于:2017-06-21 09:44:52

    5

    MySQL大数据的优化以及分解存储
    MySQL大数据的优化以及分解存储
    精选文章 890人阅读 评论(2) 收藏(9)
  • zhaisj

    发布于:2017-05-04 11:21:57

    2

    数据驱动安全架构升级---“花瓶”模型迎来V5.0(二)
    “花瓶”模型v5.0在安全理念上变化很大,主要是网络抽象出虚拟层,内容安全从网络层中剥离,认证和授权从应用系统中剥离,适应虚拟化IT基础架构,符合源信息加密的发展趋势。模型v5.0在部署架构上,吸纳了大数据技术,首先将大数据处理技术引入,处理海量安全数据,其次采用基于大数据的关联分析技术,对用户网络行为、业务合规性关联分析;引入威胁情报技术,应对高级威胁攻击。可以说:模型v5.0着实落实了“数据驱动安全”的新安全理念,将安全保障方案设计,提升到网络安全防护建设的新阶段。
    精选文章 1023人阅读 评论(0) 收藏(0)
  • 叶蓬

    发布于:2017-04-13 23:37:37

    1

    Gartner:自建大数据安全分析平台恐难逃失败厄运!
    就在2017年4月11日,Gartner的著名分析师Anton Chuvakin在其Gartner官方博客上称“企业和组织如果打算自建安全数据湖或者定制自己的大数据安全分工具的话,那么基本上肯定会失败”!Anton以自己在跟客户沟通中了解到的信息作为佐证,说包括一些财富50强在内的企业在几年前自建的所谓安全分析项目耗费了大量资源,但收效甚微。有的客户表示“我宁愿希望我们从未听说过Hadoop这个东
    精选文章 1960人阅读 评论(0) 收藏(1)
  • jackwxh

    发布于:2017-02-21 13:53:10

    5

    美团大数据平台架构实践
    今天给大家介绍的内容主要包括以下四个部分首先是介绍一下美团大数据平台的架构,然后回顾一下历史,看整个平台演进的时间演进线,每一步是怎么做的,以及一些挑战和应对策略,最后总结一下,聊一聊我对平台化的看法。    谢语宸是来自美团的大数据构建平台的架构师。他在QCon2016北京站分享了一些整体上构建大数据平台的方法,除了聚焦在某一个点上的还有构建整体的大数据,以及各种各样技术的应
    精选文章 1137人阅读 评论(2) 收藏(7)
  • Slaytanic

    发布于:2016-12-30 15:22:50

    3

    Apache Bigtop再论与卖书求生存
    快一年没写博客了,终于回来了,最近因公司业务需要,要基于cdh发行版打包自定义patch的rpm,于是又搞起了bigtop,就是那个hadoop编译打包rpm和deb的工具,由于国内基本没有相关的资料和文档,所以觉得有必要把阅读bigtop源码和修改的思路分享一下。我记得很早以前,bigtop在1.0.0以前版本吧,是用make进行打包的,其实这个0.9.0以前的版本,搁我觉得就不应该出现在apa
    精选文章 483人阅读 评论(3) 收藏(0)
  • 51CTO编辑部

    发布于:2016-12-30 14:44:53

    1

    挨踢部落第二期:大数据在医疗领域的应用和实践
    挨踢部落是为核心开发者提供深度技术交流,解决开发需求,资源共享的服务社群。基于此社群,我们邀请了业界技术大咖对开发需求进行一对一突破,解除开发过程中的绊脚石。以最专业、最高效的答复为开发者解决开发难题。
    精选文章 414人阅读 评论(1) 收藏(3)
  • 51CTO编辑部

    发布于:2016-12-30 14:39:48

    0

    挨踢部落第一期:Spark离线分析维度
    活动说明:挨踢部落是为核心开发者提供深度技术交流,解决开发需求,资源共享的服务社群。基于此社群,我们邀请了业界技术大咖对开发需求进行一对一突破,解除开发过程中的绊脚石。以最专业、最高效的答复为开发者解决开发难题。话题关键词: 大数据  spark  数据分析  数据画像部落阵容:徐韬,龙珠直播大数据主管;王劲,数果科技 联合创始人;面向对
    精选文章 371人阅读 评论(0) 收藏(3)
  • hellojackyleon

    发布于:2016-10-29 16:17:19

    5

    大数据Hadoop快速入门
    1、Hadoop生态概况Hadoop是一个由Apache基金会所开发的分布式系统集成架构,用户可以在不了解分布式底层细节情况下,开发分布式程序,充分利用集群的威力来进行高速运算与存储,具有可靠、高效、可伸缩的特点Hadoop的核心是YARN,HDFS,Mapreduce,常用模块架构如下2、HDFS源自谷歌的GFS论文,发表于2013年10月,HDFS是GFS的克隆版,HDFS是Hadoop体系中
    精选文章 796人阅读 评论(2) 收藏(3)
  • 王清培

    发布于:2016-10-16 19:33:24

    1

    ElasticSearch大数据分布式弹性搜索引擎使用—从0到1
    阅读目录:背景安装下载elasticsearch servicewrapper 包elasticsearch servicewrapper开源包的配置小bugservicewrapper安装chkconfig -add 加入linux启动服务列表查找、下载rpm包 、执行rpm包安装配置elasticsearch专属账户和组设置elasticsearch文件所有者切换到elasticsearch专
    精选文章 1219人阅读 评论(0) 收藏(0)
  • yushaoqing

    发布于:2016-07-07 00:27:38

    3

    hadoop源码解析---INodeReference机制
    本文主要介绍了hadoop源码中hdfs的INodeReference机制。在hdfs2.6版本中,引入了许多新的功能,一些原有的源代码设计也有一定的改造。一个重要的更新就是引入了快照功能。但是当HDFS文件或者目录处于某个快照中,并且这个文件或者目录被重命名或者移动到其他路径时,该文件或者目录就会存在多条访问路径。INodeReference就是为了解决这个问题产生的。问题描述/a是hdfs中的
    精选文章 334人阅读 评论(0) 收藏(1)
  • 酱酱酱子啊

    发布于:2016-07-06 11:18:14

    3

    logstash将Kafka中的日志数据订阅到HDFS
    前言:通常情况下,我们将Kafka的日志数据通过logstash订阅输出到ES,然后用Kibana来做可视化分析,这就是我们通常用的ELK日志分析模式。但是基于ELK的日志分析,通常比较常用的是实时分析,日志存个十天半个月都会删掉。那么在一些情况下,我需要将日志数据也存一份到我HDFS,积累到比较久的时间做半年、一年甚至更长时间的大数据分析。下面就来说如何最简单的通过logstash将kafka中
    精选文章 3164人阅读 评论(2) 收藏(1)
  • xjsunjie

    发布于:2016-05-05 16:28:04

    1

    企业混合云的VERITAS数据保护方案
    鉴于数据安全和合规的要求,企业数据中心在目前混合云架构下,对公共云和私有云上的业务系统做数据备份是一个必然面对的趋势。
    精选文章 2196人阅读 评论(0) 收藏(0)
  • gdutccd

    发布于:2016-02-05 11:38:09

    0

    hadoop+zookepper实现namenode的高可用
    Hadoop+zookeepker安装与配置: 在hadoop-env.sh中添加export JAVA的环境变量修改hostname文件的名称,/etc/hosts文件配置主机名和ip的映射关系,将mstaer,slave的主机名和ip地址都添加进来 配置ssh免密钥配置Ssh-keygen –t rsa在./.ssh文件中生成两个文件id_rsa(私钥),id_rsa.pu
    精选文章 565人阅读 评论(0) 收藏(1)
  • youerning

    发布于:2015-12-19 16:44:48

    11

    大数据时代里,运维工程师的自我修养i
    其实运维工程师手里拥有大量资源,但是无论上级或者运维工程师本人却不予重视,一方面是是因为编程的一定门槛,再者就是画地为牢,不过像我这样的运维工程师,应该可能也不太像个传统的运维工程师了吧,毕竟最本质的职责是对于系统的维护,以及故障处理等,在本文的数据再利用的三个方面,我想大多数同行觉得第一层利用就远远足够了,不过随着时代的发展,数据爆发式的增长的今天,我们真的能对自己手上的大量资源,不闻不问么。
    精选文章 7361人阅读 评论(5) 收藏(4)
写博文