一、SuperSet-图表展示

1、概念

(1)概念

通过dashboard(仪表盘)对图表中的数据进行展示

BI工具:根据配置的要求,进行数据源的配置即可

是准商业级别的BI web应用

(2)原理

通过UI界面,向Flask编写的web应用发送请求----> web应用处理请求,对接数据源摄取数据------->响应数据到浏览器------>NVD3进行可视化

集合NVD3(echarts)实现图标的可视化

(3)应用场景

对接常用的大数据分析工具,如Hive、Kylin、Druid等,且支持自定义仪表盘,故可作为数仓的可视化工具

2、安装

安装miniconda

创建python3.6环境

conda环境中环境中安装superset

3、术语介绍

chart:图表

dashboard:仪表盘(定制图标的样式等待)

4、使用

(1)MySQL

Sources/Databases配置、Table配置

配置仪表盘、创建并配置图表、添加到仪表盘(可以调整仪表盘刷新时间)

(2)各种图表

柱状图、折线图、饼图

透视图、大数、趋势大数

二、Ranger--权限管理

1、概述

在Hadoop平台上进行监控,启用服务,数据安全访问管理的框架

实现多用户环境中的安全管理

核心是web应用程序,也成为RangerAdmin模块

2、安装

创建Ranger存储的数据库、安装RangerAdmin

启动访问并登录web

安装 RangerUsersync(实现Linux系统中用户和组信息同步到数据库),root用户启动服务

安装Ranger Hive-plugin:对使用jdbc方式访问hive的请求进行权限管理,hive-cli并不受限制

配置hive插件

3、使用Ranger对Hive进行权限管理

查看默认的访问策略,admin拥有权限,其他用户不能访问

为用户配置权限Add New Policy

4、脱敏操作--点击Masing标签

限制用户对某一列的访问

5、行级别过滤--选择Row Level Filter标签

只允许查询emp表中job类型为SALESMAN的用户信息

将表中的数据进行条件过滤后再暴露给用户

三、Atlas:元数据管理

1、概述

(1)概念

为组织提供开放式元数据管理和治理功能

对数据资产进行分类和管理,提供围绕这些数据资产的协作功能

(2)功能

如insert overwrite、query等

建立表与表之间的血缘依赖、字段与字段之间的血缘依赖

(3)原理

支持Hive、HBASE、sqoop、storm、kafka提取元数据

【企业流行新数仓】Day03:SuperSet图表,Ranger权限、脱敏、行级别过滤,Atlas元数据、查询和查看全表/字段血缘依赖,Zabbix告警_hive

 2、安装及使用

(1)安装

集成外部的HBase + Solr(部署Solr的Cloud模式,并编写群起脚本)

(2)集成外部框架-修改配置

Atlas集成Hbase

 Atlas集成Solr

Atlas集成Kafka

Atlas其他配置

Atlas集成Hive

(3)集群启动

bin/solr start

(4)导入hive元数据

bin/import-hive.sh

3、界面查看

(1)查看基本信息

查询Hive库

查询Hive进程

查询Hive表

查询Hive列

筛选查询条件

查看具有血缘依赖列的数据

(2)查看血缘依赖关系-点击Lineage

第一次查看表血缘依赖

第一次查看字段血缘依赖

启动GMV全流程任务:启动executor服务器和web服务器并上传任务

4、编译源码

四、Zabbix:监控健康性并报警

 1、入门

(1)概述

监控网络参数以及服务器健康性和完整性,使用灵活的通知机制

对事件配置邮件告警

(2)基础架构

agent部署在监控目标上

server收集监控数据

【企业流行新数仓】Day03:SuperSet图表,Ranger权限、脱敏、行级别过滤,Atlas元数据、查询和查看全表/字段血缘依赖,Zabbix告警_solr_02

 2、Server节点安装

 (1)集群规划

节点

服务

hadoop102

zabbix-server、zabbix-agent、MySQL、zabbix-web

hadoop103

zabbix-agent

hadoop104

zabbix-agent

(2)准备工作

关闭防火墙iptables 

关闭SELinux,重启服务器sudo reboot

(3)zabbix编译及安装

创建zabbix用户和用户组

上传压缩包

创建对应的数据库,导入zabbix提供的SQL脚本

上传并安装编译环境

编译安装sudo make install

修改server/agent配置文件

编写系统服务脚本

(4)部署Zabbix-web

部署httpd

安装php5.6

(5)Zabbix启动

启动Zabbix-Server

启动Zabbix-Agent

启动Zabbix-Web(httpd)

Zabbix登录(配置数据库连接信息)

3、Zabbix安装之agent节点

创建用户

编译环境准备gcc-c++

解压编译并安装make install

修改配置

编辑系统服务脚本

启动Zabbix-Agent

4、使用

(1)术语

Host(主机)、Item(监控项)、Trigger(触发器,一个逻辑表达式)、Action(动作)

(2)实战

创建Host

创建Item(DataNode)

创建Trigger,添加表达式

创建Media type(绑定email)

作者:哥们要飞​