51CTO首页
内容精选
博客
学堂
精培
企业培训
CTO训练营
鸿蒙开发者社区
WOT全球技术创新大会
公众号矩阵
移动端
短视频 免费课程 课程排行 直播课 软考学堂
精品班 厂商认证 IT技术 2024年软考 PMP项目管理 软考资讯
在线学习
CTO训练营 技术经理研习营 LeaTech峰会
文章 资源 问答 课堂 专栏 直播
51CTO
开源基础软件社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
开源基础软件社区订阅号
51CTO学堂APP
51CTO学堂企业版APP
开源基础软件社区视频号

Hadoop运维记录系列（二十七）

耗时很长时间解决了一个spark in docker的问题，记录一下。这是个非常奇怪的问题，找遍谷歌都找不到答案，与其说是分析出来倒不如说是偶然发现。先介绍一下架构和环境。Z机器是docker的宿主机，在每个docker里面都跑了一个Zeppelin用作数据分析，之所以这样弄，是客户要求每个人的环境都必须是独立的。Zdocker假设是Z上面跑着zeppelin的运行的一个docker镜像。Zdoc

hadoop
运维
spark
docker
zeppelin
原创 2018-09-07 19:56:14 6766 阅读

Hadoop运维记录系列（二十五）

从这篇开始记录一下集群迁移的事情早先因为机房没地方，就已经开始规划集群搬机房的事情，最近终于开始动手了，我会把这次不停机迁移的过程遇到的主要问题和矛盾以及各种解决方法记录下来。集群规模说大不大，几百台，总容量30PB左右。Hadoop使用CDH加一些自定义patch的rpm打包编译版本。总的方案是集群不停机，在两个机房之间架设专线，旧机房decommission，拉到新机房recomm

hadoop
decommission
运维
byteman
迁移
原创 2018-07-31 15:17:58 10000+阅读 1点赞

Hadoop运维记录系列(二十四)

最近做集群机房迁移，在旧机房和新机房之间接了根专线，做集群不停机搬迁，也就是跨机房，同时要新加百多台服务器，遇到几个问题，记录一下。旧集群的机器是centos 6, 新机房加的机器是centos 7。一、丢包问题在跨机房的时候，datanode显示很多Slow BlockReceiver的日志WARN  org.apache.hadoop.hdfs.server.datanod

hadoop
丢包
网卡
mtu
df
原创 2018-07-13 14:59:45 8920 阅读

Hadoop运维记录系列(二十三)

今天抽空解决了一个Hadoop的一个非常有意思的故障，之所有有意思，是这个故障既可以称之为故障，又不算是故障，说不算问题吧，作业跑的特慢，说算问题吧，作业不但都能跑出来，还没有任何报错，所以还比较难查。故障表象是一帮人嚷嚷作业太慢了，跑不动，但是基本上嚷嚷一会就能跑出来，但相对于原来还是慢。我看了下，确实比较慢，有些作业一个map要半小时，但不是所有作业都这样，部分作业就很快，没有什么规律可循

hadoop
运维
记录
系列
网卡
原创 2018-06-20 19:53:14 4471 阅读 1点赞

OpenTSDB 2.3+及TCollector 1.3+安装配置排错

其实不太想用opentsdb，一直以来用influxdb+grafana挺方便的，而且tsdb依赖hbase，虽说容量和速度有保证，但是分布式系统对于一个监控平台来说，终归还是有些重了，出问题定位更繁琐，但领导说用那就用吧。在这里必须吐一下OpenTSDB和Tcollector的文档更新，太落后，看官方文档根本找不到配置文件的位置。最后还得看源码，尤其是TCollector，这个tsdb官方推出的

opentsdb
tcollector
数据采集
监控
hbase
原创 推荐 2018-05-23 20:52:59 10000+阅读 3点赞 1收藏 2评论

Kerberos学习（四）

Mac下安装配置Kerberos了解一下。公司强迫开发人员全部使用mbp，我很不爽，因为mac下面使用mit的kerberos简直是灾难，申请用普通笔记本装linux也不批。MacOSX是闭源系统，安装配置开源的东西都很麻烦。是的，port和brew很方便，但是有些需要的C语言开发头文件貌似是不软链的，而且源码编译还有一堆的依赖要编译，比如kerberos源码依赖openssl头文件，而opens

kerberos
安全
python
kadmin
mac
原创 2018-05-08 13:33:05 10000+阅读 4点赞 2评论

Kerberos学习（三）

继续说一下Kerberos与Hadoop的集成。其实这个话题在网上已经很普遍了，没什么太新鲜的。就是顺带说一下吧，Hadoop账号的集成与管理。之前已经装了kdc和kadmin，所以接下来就需要创建hadoop相关的账号了。首先需要用kadmin进入kerberos管理prompt，这里需要输入之前创建的admin账号的密码。然后就可以创建了，用 ? 可以查看允许使用的命令。比如我们创建如下账号。

kerberos
安全
集群
配置
架构
原创 2018-05-02 19:26:52 6593 阅读 1点赞

Kerberos学习（二）

在实际开始安装配置Kerberos以前，我打算先说一下keytab。keytab，key table。上一篇的Principal里面，我们了解到了，Principal是kerberos的认证主体，相当于是你的账号。而keytab，可以粗浅的理解为SSH里面对应账号的私钥，而不同的是，SSH的私钥每个账号会有一个，而keytab是可以多个principal合并为一个的。原因是，keytab并不是作为

kerberos
集群
安全
配置
架构
原创 2018-04-13 16:37:37 10000+阅读 1点赞 3评论

Kerberos学习（一）

Kerberos古已有之，是由MIT开发，对三方进行验证鉴权的服务安全管理系统，很好的体现了西方三权分立的思想。名字来源于希腊神话地狱三个脑袋的看门狗，这只狗在哈利波特中也路过脸。对，跳吧，跳进坑里去吧。一入K坑深似海，从此作者不早起。 系统设计上采⽤用客户端/服务器器结构与DES加密技术，并且能够进⾏行行相互认证，即客户端和服务器器端均可对对⽅方进⾏行行

kerberos
安全
原理
架构
集群
原创 精选 2018-04-13 13:35:30 10000+阅读 4点赞 2收藏 5评论

Hadoop运维记录系列(二十二)

今天下午写了一会代码，然后帮同事解决了一个hbase相关的故障分析，定位了问题根源，觉得比较有代表性，记录一下。先说一下问题的发生与背景。这个故障其实是分为两个故障的，第一个比较简单，第二个相对复杂一些。同事写了一个HBase相关的测试代码，使用Hbase原生JavaAPI，编译打包后分别放在两台测试服务器测试，一台可以，另一台不可以。第一个故障是发生在两台测试服务器的：A服务器是正常连通的服务器

hadoop
hbase
vpn
路由
nat
原创 2018-03-29 22:08:39 4958 阅读 1点赞 2评论

Copyright © 2005-2023 51CTO.COM 版权所有 京ICP证060544号

关于我们
官方博客 全部文章 热门标签 班级博客
了解我们 网站地图 意见反馈
友情链接
开源基础软件社区 51CTO学堂
51CTO 软考资讯 汽车开发者社区