从头解锁Python运维
多维度详解
共19篇 | 叱诧少帅
¥51.00 517人订阅
新人大礼包
小程序订阅 省¥12
专栏介绍
数据是一个公司的核心资产。继云计算之后,大数据成为大众追捧的新星。
业务迅速发展,交易数据呈几何级增加......随之而来的是系统的不堪重负。业务部门、领导、甚至是集团老总整天嚷嚷的要报表、要分析、要提升竞争力。而研发部门能做的唯一事情就是执行一条一条复杂到自己都难以想象的SQL语句,紧接着系统开始罢工,内存溢出,宕机........简直就是噩梦。
工欲善其事,必先利其器。本专栏内容从大数据运维角度出发,指导安装大数据平台,组件调优及默认配置修改去解决内存溢出,服务器宕机,kudu超时等业务无法处理的问题。
专栏目录
序:大数据平台是什么?为什么要安装大数据平台?(已更新)
【CDH篇】
1.大数据平台CDH基础组件安装和部署(已更新)
2.数据仓库之kudu性能测试及分析实战(已更新)
3.Spark job Failed because of out of memory.如何救急(已更新)
4.时常爆出 Kudu-rpc 超时和 kudu 写入延时及解决方法(已更新)
5.告别“Memorylimit Exceeded”——Impala内存优化(已更新)
6.CDH构建大数据平台之使用Sentry进行权限把控(已更新)
7.CDH构建大数据平台之集群用户的管理与视图化权限分配(已更新)
8.CDH构建大数据平台之高可用案例实操(已更新)
9.使用Yarn按各bu线进行资源队列划分管理实战(已更新)
10.Impala实时监控Python脚本清除Session和过期任务(已更新)
11.Impala-Sql查询出结果组装成自己想要的告警信息发送到钉钉(已更新)
12. StreamSets实现MySQL中变化数据实时写入Kudu?(已更新)
【Ambari篇】
13.大数据平台Ambari平台一键部署?So easy(已更新)
14.Hadoop分布式文件系统性能测试及分析(已更新)
15.大数据平台安全利器Kerberos(已更新)
16.ambari构建大数据平台之开启权限认证(已更新)
17.ambari构建大数据平台之Kerberos使用Knos网关(已更新)
18.ambari构建大数据平台之Kerberos Sso做单点登陆(已更新)
19.大数据集群多用户数据资源隔离管理实战(已更新)
专栏入口
专栏订阅成功后,即可通过以下4个途径永久阅读
1.“51CTO订阅专栏”小程序端
2.“51CTO”微信服务号端
3.“51CTO博客”web端
4.“51CTO学院”Android App端
适用人群
1.基础运维转型
2.对大数据感兴趣
3.大数据研发工程师
订阅说明
1.本专栏为图文专栏,共计20篇
2.专栏定期更新,更新频率为每周3篇
3.专栏一经订阅永久阅读, 可与作者留言互动
4.本专栏为虚拟产品,一经订阅,概不退款,请慎重订购
5.专栏阅读过程中,如有任何问题请联系51CTO小助手(微信:cto51boke2/QQ:3591348659)
学习本专栏您能收获什么
1.对大数据平台安全更深层次的理解
2.大数据调优简单易懂结合生产环境场景介绍
3.理论上对知识点理解更加深入,实战案例让我们清楚知道这些知识点如何使用
专栏目录
工欲善其事,必先利其器。要玩转大数据必不可少的就是平台。
1.大数据平台CDH基础组件部署及ETL-streamsets的集成安装
大数据平台CDH基础组件部署及ETL-streamsets的集成安装
日益增长的用户数量导致每日数据量不断增长,当前的集群面临严峻的处理能力和稳定性的挑战,需要调整相应的参数进行优化,需要进行kudu性能测试
3.Spark job failed because of out of memory.OMG!
Hive默认使用的计算框架是MapReduce,在我们使用Hive的时候通过写SQL语句,Hive会自动将SQL语句转化成MapReduce作业去执行,但是MapReduce的执行速度远差于Spark。
4.时常爆出 kudu-rpc 超时和 kudu-uuid不一致如何去解决!!!
在解决问题前,我们先认识下什么是kudu。
5.告别“Memorylimit exceeded”——Impala内存优化
Memorylimitexceeded:FailedtoallocaterowbatchEXCHANGE_NODE(id=26)couldnotallocate64.00KBwithoutexceedinglimit.
Apache Sentry是Cloudera公司发布的一个Hadoop开源组件
CDH构建大数据平台-集群用户的管理与视图化权限分配
(hdfs,hive,impala,hue,sentry,zookeeper,yarn,kudu,mysql元数据) High Availability 实操
资源调度和隔离是yarn作为一个资源管理系统,最重要且最基础的两个功能,如何使用Yarn按各bu线进行资源队列划分管理实战
10.Impala实时监控Python脚本清除Session和过期任务并巡检
为什么impala要清除session,因为过多会话,会导致hue查询不出报错,所以要定时清除session
11.Impala-Sql查询出结果组装成自己想要的告警信息发送到钉钉
Impala-Sql查询出结果组装成自己想要的告警信息发送到钉钉
12.StreamSets实现MySQL中变化数据实时写入Kudu?
使用受限于表需要主键或者更新字段,主要介绍如何将MySQL Binary Log作为StreamSets的源,来实时捕获MySQL变化数据并将变化数据存入Kudu。
CDH平台部署及安全优化已经结束,下面章节主要都是讲ambari平台部署及安全,大数据平台一键安装OS【定制化OS镜像制作】,大数据平台一键安装OS【搭建脚本篇】
Hadoop生态圈的基石有两个,一个是HDFS文件系统,一个是MR编程框架。
Kerberos 是一个网络认证的框架协议,其设计的初衷便是通过密钥系统为 Client 和 Server 应用程序之间提供强大的认证服务。在使用 Kerberos 认证的集群中,Client 不会直接和 Server 进行认证,而是通过 KDC(Key Distribution Center)来完成互相的认证
Apache Ranger是一款被设计成全面掌握Hadoop生态系统的数据安全管理框架。
17.Ambari构建大数据平台之Kerberos使用Knos网关
Apache Knox Gateway 是针对 Apache Hadoop 服务提供单点安全访问的系统。 系统简化用户(访问集群数据和运行作业)和操作员(控制访问权和管理集群)的 Hadoop 安全性
18.Ambari构建大数据平台之Kerberos Sso做单点登陆
为了启用KnoxSSO服务,我们使用KnoxSSO topology配置来为使用KnoxSSO服务的应用暴露出API接口。KnoxSSO topology配置文件配置完成之后,gateway将根据配置文件动态部署对应的web application。
主讲内容:1.LinuxContainer资源控制通用于CDH和ambari平台做资源隔离(限制硬件资源io,内存,硬盘)2.Yarn队列的 acl资源控制(用户控制)
支付成功
加入作者互动群
和作者近距离提问 &交流 &互动
扫描二维码 回复 ZL104 + 昵称 入群