虚拟机的语句详解：
1.zookeeper
启动：zkServer.sh start
zkServer.sh start
zkServer.sh status
zkCli.sh
2.kafka
kafka-server-start.sh /usr/local/apps/kafka/config/server.properties
kafka如何创建topic：
3.flink操作语句
进入cd /usr/local/apps/flink/bin
启动flink:./start-cluster.sh
4.hadoop安装
hadoop namenode -format
start-dfs.sh
start-yarn.sh5.clickhouse
service clickhouse-server start service clickhouse-server stop service clickhouse-server restart
clickhouse--client
6.hbase
start-hbase.sh
代码的github地址：https://github.com/FandySww/FlinkAnanlySystem资料：
---
数据收集的日志结构：
小程序：
app的：
搜集我们的浏览日志：
我们把这些结构变成实体，方便我们去处理。
---1-5---
代码：
fastjson和null的做法：
---1-6---
kafka环境的搭建：
资料：
centos虚拟机的克隆：
虚拟机的地址： 133 134 135
安装zk和kafka。
在131上安装了zookeeper和kafka。
zk单机安装：
第一步修改环境变量，具体略。
第二步修配置文件：
---
kafka的安装，第一步，直接配置
第二步：两个地方：
1.
2.
3.
第三步：配置环境变量，略
第四步：启动
kafka如何创建topic:在bin目录下./kafka-topics.sh --create --zookeeper 127.0.0.1:2181 --replication-factor 1 --partitions 1 --topic dataiinfo
---
启动总结：
zk：
kafka：
---1-7---
回到代码：
向topic发消息：./kafka-topics.sh --create --zookeeper 127.0.0.1:2181 --replication-factor 1 --partitions 1 --topic dataiinfo
代码：
kafka控制台监听消息：
./kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic datainfo
测试kafka的代码。测试下kafka的代码：
---1-8---
安装flink：
第一步：
进入cd /usr/local/apps/flink/bin
启动flink:./start-cluster.sh
访问：http://192.168.244.133:8081/
可以看到：
跑一个例子：
---1-9--
flink+kafka构建实时分析：
这个是十分重要的。
新建模块：
添加依赖：
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-core</artifactId>
<version>1.9.0</version>
</dependency>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-streaming-java_2.11</artifactId>
<version>1.9.0</version>
</dependency>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-connector-kafka_2.11</artifactId>
<version>1.9.0</version>
</dependency>---10---
启动下我们的工程：
1.启动注册中心：
2.启动datacollect
3.测试下kafka的发送
4.这个类
---11---
hadoop环境的安装。
安装文件：
安装步骤：
第一步：进入到这个目录
第二步：修改配置文件
第三步：修改core配置文件
这里需要改下配置：我这里是9008
第四步：修改下一个配置文件，配置副本数。
第五步：修改下一个xml
拷贝这个xml的副本：
第六步：继续配置，配置免密登录
一直回车。
要新建一个用户slave修改hostname为slave才会成功。
关于用户：
linux创建用户：
这里我要添加一个slave的。
测试下：
第七步：格式化
再配置下基本配置文件：
启动hadoop：
没有我们再次修改一次环境变量：
第八步：启动yarn
第九步：控制台
http://192.168.244.133:50070/dfshealth.html#tab-overview
http://192.168.244.133:8088/cluster
---12---
clickhouse:
什么是t+1
---13---
安装：过
默认配置文件的修改：
第一步：修改第一个配置文件
这两个配置文件都要修改：
第一个文件修改的地方为：
第二个文件修改的地方为：
启动：
指定配置文件启动:
访问下：
clickhouse的终极启动秘籍：
---14---
数据类型：
---
简单的使用：
建表：
插入数据：
insert into youfantest(id,name,create_date) values(1,'xiaobai','2020-11-29')
insert into youfantest(id,name,create_date) values(5,'xiaohuang','2020-11-29')
insert into youfantest(id,name,create_date) values(2,'xiaohong','2020-11-30')
insert into youfantest(id,name,create_date) values(3,'xiaohei','2020-11-28')
insert into youfantest(id,name,create_date) values(4,'xiaolv','2020-11-27')---15---
其它的连接案例：
---16---
通过java查询数据：
---17---
日志数据完善与优化：
---18---
---19---
HBASE安装：
第一步：进入这个目录
第二步：修改hbase-site.xml文件。
注意hbase安装在134这台机器上。
先启动下hadoop记住两个命令：
注意我的地址是9008.
注意这个9000改为9008
第三步：配置hbase的环境变量
第四步：启动hdfs和zookeeper
第五步配置下java环境
第六步启动：
地址：http://192.168.244.133:60010/master-status
hbase安装包：http://archive.apache.org/dist/hbase/2.2.1/
----
按照这个帖子操作可以启动hbase
1.
2.
3.重点：hbase启动失败：
/usr/local/apps/zookeeper-3.4.5/data
/usr/local/apps/hbase-2.2.1/hbase
/usr/local/apps/jdk8
操，重大新闻，我安装的是单机版本的hbase，这里看下：
---20---
