一、前置准备CentOS7、jdk1.8、flume-1.9.0、zookeeper-3.5.7、kafka_2.11-2.4.1 二、目标这里我们监听/home/xiaokang/docker_teach目录下 kafka.log （自己提前创建好）文件，当文件内容有变化时，将新增加的内容发送到 Kafka 的 flume2kafka 主题中。其中 Flume 中涉
一、前置准备CentOS7、jdk1.8、hadoop-2.7.7 二、简单了解basename：会删掉所有的前缀包括最后一个（‘/’）字符，然后将字符串显示出来dirname：从给定的包含绝对路径的文件名中去除文件名（非目录部分），然后返回剩下的路径（目录的部分）Shell数组用括号来表示，元素用空格符号分割，Shell中使用@ 或 * 可以获取数组中的所有元素rsync是根
一、前置准备CentOS7、jdk1.8、hive-2.3.6、hadoop-2.7.7、tez-0.9.2 二、简单了解 用Hive直接编写MR程序，假设有4个有依赖关系的MR作业，上图中，蓝色代表MapTask，绿色代表ReduceTask，云状表示中间结果持久化到磁盘Tez可以将多个有依赖的作业转换为一个作业（DAG），这样只需要写一次HDFS，且中间节点较少，从而大大提升作业的计
一、前置准备CentOS7、jdk1.8、zookeeper-3.5.7想要完成本期视频中所有操作，需要以下准备： 二、简单了解登录式 Shell， 采用用户名密码，比如 xiaokang 登录， 会自动加载/etc/profile 非登录式 Shell， 采用 ssh 比如 ssh hadoop02 登录， 不会自动加载/etc/profile， 会自动加载~/.bas
前置准备CentOS7、jdk1.8、flink-1.10.1、hadoop-2.7.7、zookeeper-3.5.7 一、集群规划 二、集群配置 2.1 flink-conf.yaml# 配置使用zookeeper来开启高可用模式high-availability: zookeeper# 配置zookeeper的地址，采用zookeeper集群时，可以使用逗号来分隔多个节点地址hi
前置准备CentOS7、jdk1.8、scala-2.11.12、spark-2.4.5、hadoop-2.7.7、zookeeper-3.5.7想要完成本期视频中所有操作，需要以下准备： 一、集群规划 二、集群配置 2.1 spark-env.sh[xiaokang@hadoop01 conf]$ cp spark-env.sh.template spark-env.shexport
前置准备CentOS7、jdk1.8、flink-1.10.1、hadoop-2.7.7想要完成本期视频中所有操作，需要以下准备： 一、集群规划 二、环境搭建 2.1 下载并解压下载 Flink 安装包，这里我下载的是flink-1.10.1-bin-scala_2.11.tgz。下载地址：https://flink.apache.org/zh/downloa
一、前置准备CentOS7、jdk1.8、flink-1.10.1想要完成本期视频中所有操作，需要以下准备： 二、环境搭建 2.1 下载并解压下载 Flink 安装包，这里我下载的是flink-1.10.1-bin-scala_2.11.tgz。下载地址：# 解压[xiaokang@hadoop ~]$ tar -zxvf flink-1.10.1-bin-scala
前置准备CentOS7、jdk1.8、flink-1.10.1、hadoop-2.7.7、zookeeper-3.5.7 一、集群规划 二、集群配置 2.1 yarn-site.xml<property> <name>yarn.resourcemanager.am.max-attempts</name> <value>4</va
前置准备CentOS7、jdk1.8、scala-2.11.12、spark-2.4.5、hadoop-2.7.7想要完成本期视频中所有操作，需要以下准备： 一、集群规划 二、环境搭建 2.1 下载并解压下载 Spark 安装包，这里我下载的是spark-2.4.5-bin-hadoop2.7.tgz。下载地址：# 解压[xiaokang@hadoop01
前置准备CentOS7、mongodb-4.2.8、DBeaverEE-6.3.0 一、配置修改进入 MongoDB 安装目录的 bin 目录，新增mongodb.conf文件，文件内容如下# bind_ip标识允许连接的客户端IP地址，此处设为0.0.0.0，表示允许所有机器连接。也可设置特定机器的IPbind_ip=0.0.0.0 二、连接 2.1 启动MongoDB服务[xiaok
前置准备CentOS7、jdk1.8、hadoop-2.7.7、hive-2.3.6、DBeaverEE-6.3.0想要完成本期视频中所有操作，需要以下准备： 一、配置修改 1.1 core-site.xml[xiaokang@hadoop01 ~]$ vim /opt/software/hadoop-2.7.7/etc/hadoop/core-site.xml <property&
动现有集群
自行准备：XShell或Putty、VMware、CentOS7虚拟机、Linux基础 1.创建自定义用户 以root用户身份先创建组和用户[root@xk1181259634]# groupadd [-g 1124] hadoopenvcat /etc/group [root@xk1181259634]# useradd -m [-u 1124] -g h
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号
