Kubernetes详细教程1.Kubernetes介绍1.1应用部署方式演变在部署应用程序的方式上，主要经历了三个时代：传统部署：互联网早期，会直接将应用程序部署在物理机上优点：简单，不需要其它技术的参与缺点：不能为应用程序定义资源使用边界，很难合理地分配计算资源，而且程序之间容易产生影响虚拟化部署：可以在一台物理机上运行多个虚拟机，每个虚拟机都是独立的一个环境优点：程序环境不会相互产生影响，提
1.redis简介Redis是一个高性能的开源的，C语言写的NoSQL（非关系型数据库）也叫做缓存数据库，数据保存在内存中。Redis是以keyvalue形式存储，和传统的关系型数据库不一样。不一定遵循传统数据库的那些基本要求。比如，不遵循SQL标准、事务、表结构等。Redis有非常丰富的数据类型，比如String，list，set，zset，hash等。2.应用场景2.1减轻数据库压力，提高并发
es集群及冷热分离
大数据BI分析工具
prometheus+grafana+node_exporter指标采集快速上手
B集群配置core-site.xml配置如下：说明: hadoop.proxyuser.root.hosts 允许所有的主机访问hive-site.xml配置如下：说明：hive.metastore.event.db.notification.api.auth关闭认证A集群配置说明：hive.metastore.uris修改为B集群的metastore的主机连接地址
Kubernetes网络插件详解 - Flannel篇Kubernetes本身并没有自己实现容器网络，而是借助CNI标准，通过插件化的方式来集成各种网络插件，实现集群内部网络相互通信。Kubernetes集群设计了Cluster IP、Node IP、Pod IP三种类型的通信IP：Cluster IP是Service对象的IP地址，实现Pod服务的负载均衡，外部网络无法ping通，只在集群内部可
1. 修改def源#1.备份原来项目mkdir /etc/yum.repos.d/bakmv /etc/yum.repos.d/CentOS-* /etc/yum.repos.d/bak#2.安装阿里源curl -o /etc/yum.repos.d/CentOS-Base-aliyun.repo https://mirrors.aliyun.com/repo/Centos-8.reposed -
1. Kylin介绍Apache Kylin是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。2. Kylin架构REST ServerREST Server是一套面向应用程序开发的入口点，旨在实现针对Kylin平台的应用开发工作。 此类应用程序可以
1. presto概念Presto是一个开源的分布式SQL查询引擎，数据量支持GB到PB字节，主要用来处理秒级查询的场景。注意：虽然Presto可以解析SQL，但他不是一个标准的数据库，不是MyQL、Oracle的代替品，也不能用来处理在线事务(OLTP)。2. Presto架构3. Presto 优缺点4. Presto、Impala性能比较Impala性能稍领先于Presto，但是Presto
1. 行列转换描述：表中记录了各年份各部门的平均绩效考核成绩。表名：t1表结构如下：a -- 年份b -- 部门c -- 绩效得分表内容：a b c2014 B 92015 A 82014 A 102015 B 7问题一：多行转多列问题描述：将上述表内容转为如下输出结果所示： a col_A col_B2014 10 92015 8
hive小文件合并方案
1.集群节点规划及说明主机部署服务说明172.16.53.179masterserver,alertserver,zookeeper,mysql数据库也在该主机172.16.53.180zookeeperzk172.16.53.181apiserver,zookeeperweb服务端口:12345172.16.53.182masterserver172.16.53.183workserver172
1.生成证书如下操作在其中一个node节点执行即可，生成完证书传到集群其他节点即可/usr/share/elasticsearch/bin/elasticsearchcertutilca/usr/share/elasticsearch/bin/elasticsearchcertutilcertcaelasticstackca.p12两条命令es7.x开启xpark认证步骤均一路回车即可，不需要给秘
Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台1.yarn的基础架构YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成!image.png(https://s2.51cto.com/images/20210901/1630478524103568.png?xosspro
一概述1.1AD域服务日常生活中使用的电话薄内记录着亲朋好友的姓名、电话与地址等数据，它就是telephonedirectory（电话目录）；计算机中的文件系统（filesystem）内记录着文件的文件名、大小与日期等数据，它就是filedirectory（文件目录）。如果这些目录内的数据能够由系统加以整理，用户就能够容易且迅速地查找到所需的数据，而directoryservice（目录服务）提供
1.pom.xml配置html/xml<?xmlversion="1.0"encoding="UTF8"?<projectxmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchemainstance"xsi:schemaLocation="http://maven.apache.org/PO
由于oozie的xml配置执行各种任务调度是在太过于繁琐，所有一般都使用hue整合oozie来使用 通过hue对oozie进行配置，所以首先保证hue中 time_zone为Asia/Shanghai cloudera oozie默认时区是UTC，缺点就是在开发oozie任务时必须在期望执行的时间上减去8小时，因此很不推荐这样做。因此需要修改时区的配置操作：oozie-site.
数仓建设思路 数仓主要是围绕着数据使用方与数据开发方诉求进行建设；因此在开始规划数仓建设时，需要先剖析各方需求、痛点与痒点，然后再在这些诉求设计解决方案与确定建设内容。数据使用方主要诉求是能不能快速找到、找到怎么用、有哪些数据，在使用数据时，主要存在三大类问题： 找不到，不知道数据有没有、在哪里。 看不懂，有很多业务方不是技术研发团队的，看不懂数据到底什么含义、怎么关联查询、来源于哪个业
1.skywalkingweb界面现状!1629104750.png(https://s2.51cto.com/images/20210816/1629104788907272.png?xossprocess=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_20,type_
网络中IP地址划分详解现在的IP网络使用32位地址，以点分十进制表示，如172.16.0.0。地址格式为：IP地址=网络地址＋主机地址IP地址类型最初设计互联网络时，为了便于寻址以及层次化构造网络，每个IP地址包括两个标识码（ID），即网络ID和主机ID。同一个物理网络上的所有主机都使用同一个网络ID，网络上的一个主机（包括网络上工作站，服务器和路由器等）有一个主机ID与其对应。IP地址根据网络I
堡垒机概述：堡垒机，即在一个特定的网络环境下，为了保障网络和数据不受来自外部和内部用户的入侵和破坏，而运用各种技术手段实时收集和监控网络环境中每一个组成部分的系统状态、安全事件、网络活动，以便集中报警、及时处理及审计定责。Jumpserver概述：Jumpserver是一款使用Python,Django开发的开源跳板机系统,为互联网企业提供了认证，授权，审计，自动化运维等功能。官方网址：http:
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号
