开启集群start-dfs.sh关闭集群stop-dfs.shstop-all.sh 全部关闭三种Shell命令方式：hadoop fs适用于任何不同的文件系统，比如本地文件系统和HDFS文件系统。hadoop dfs 和 hdfs dfs用法相同，只能适用于HDFS文件系统。hadoop常用命令创建创建目录# –mkdir
# 创建目录
hdfs dfs –mkdir /文件递归创建# -mkd
HDP安装教程，ambari安装教程，大数据平台安装教程1.环境准备1.安装centos7系统1.使用vmware安装centos系统，略 HDP 环境安装配置HDP : Hortonworks Data PlatformCDH : Cloudera Distribution Hadoop部署安装主要分为3大部分准备环境、配置机器、准备离线包、本地仓库、数据库等安装Ambari Server 阶段
转载
2024-05-05 14:04:18
98阅读
一：系统版本二：部署环境节点名称IP部署组件及版本配置文件路径机器CPU机器内存机器存储 Ldap10.10.10.111self-service-password:latestphpldapadmin:latestopenldap:latestopenldap:/data/openldap/configphpldapadmin（只是web管理界面，数据依托openldap）self-servic
在今年的十月份，MongoDB 宣布其开源许可证从 GNU AGPLv3 切换到 Server Side Public License (SSPL)，十一月份，图数据库 Neo4j 也宣布企业版彻底闭源。就在昨天，Confluent 公司的联合创始人兼 CEO Jay Kreps 在 Confluent 官方博客宣布 Confluent 平台部分开源组件从 Apache 2.0 切换到 Confl
一、下载kafka目录结构目录说明bin操作kafka的可执行脚本，还包含windows下脚本config配置文件所在目录libs依赖库目录logs日志数据目录，目录kafka把server端日志分为5种类型， 分为:server,request,state，log-cleaner，controller 二、安装及启动1. 解压> t
转载
2024-05-06 17:34:57
50阅读
HDCP是High-bandwidth Digital Content Protection的缩写，中文可称作“高带宽数码内容保护”。HDCP技术是由好莱坞与半导体界巨人Intel合作开发，它可以实际运用在显卡、DVD播放机等传输端，以及显示器、电视机、投影机的接收端之间。是高清电影、电视节目的重要反盗版技术，不支持HDCP协议的显示器无法正常播放有版权的高清节目。 HDTV（高清电视）时代即将来
转载
2024-07-22 19:44:49
53阅读
从零搭建生产Hadoop集群（三）——CDH集群搭建一、概述二、硬件检查与系统配置1.硬件检查1）检查内存2）检查所有磁盘挂载。将noatime参数写入/etc/fstab，并remount所有数据盘。3）检查磁盘读写4）检测网卡设置5）检测路由6）检查系统版本2.系统配置1）配置hostname与/etc/hosts（所有节点）设置hostname设置/etc/hosts2）所有节点安装SSH
转载
2023-07-04 14:54:50
40阅读
闲在家中实在无聊，决定开始做毕业设计 hadoop：关于hadoop的资料网上有不少，但是书不多，只有本《hadoop权威指南》，我看过一点书评，据说翻译的很差，后来还是选择阅读原版书籍。（慢慢看还是看到懂的哈） 介绍：Hadoop got its start in Nutch. A few of us were attempting to build an ope
转载
2023-07-24 14:25:17
34阅读
文件下载Java 8ZooKeeper 3.6.3Kafka 3.0.0下载到本地。使用Xftp或其他工具上传到虚拟机。Java解压：[root@M
原创
2022-11-10 00:04:31
393阅读
spark默认会使用基于derby数据库存储元数据的hive，数据文件存储位置由spark.sql.warehouse.dir参数指定（默认为当前目录）。 比如当我们在/spark/目录下调用spark-shell，并且用Dataset的saveAsTable方法持久化一个表后。会发现在/spark目录下多出了：一个文件：derby.log，记录了derby数据库相关日志信息；一个目录：metas
转载
2023-08-24 19:25:45
184阅读
基于虚拟机搭建hdp集群,以下是我搭建集群的虚拟机环境说明一.环境预配置参照官网配置步骤:1. 配置hosts与主机名vim /etc/hosts
# 添加以下内容(三台)
192.168.127.121 hadoop121
192.168.127.122 hadoop122
192.168.127.123 hadoop123
设置主机名
hostnamectl set-hostname had
转载
2023-07-12 10:11:33
159阅读
第1章 Hadoop概述第1章 Hadoop概述1.1 Hadoop是什么1.2 Hadoop优势（4高）1.3 Hadoop 组成（面试重点）1.3.1 HDFS架构概述1.3.2 YARN 架构概述1.3.3 MapReduce架构概述1.3.4 HDFS、YARN、MapReduce 三者关系1.4 大数据生态体系1.5 推荐系统框架图 第1章 Hadoop概述1.1 Hadoop是什么H
转载
2023-08-18 19:24:49
87阅读
centos7 Kafka部署（单机版）一、概念：Kafka主要应用场景是：日志收集系统和消息系统。 Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统）。 采用zookeeper对集群中的broker和comsumer进行管理；可以注册topic到zookeeper上，通过zookeeper的协调机
转载
2024-04-21 20:28:58
513阅读
kafka作为分布式日志收集或系统监控服务，我们有必要在合适的场合使用它。kafka的部署包括zookeeper环境/kafka环境，同时还需要进行一些配置操作.接下来介绍如何使用kafka. 我们使用3个zookeeper实例构建zk集群，使用2个kafka broker构建kafka集群. 其中kafka为0.
转载
2024-03-19 02:51:46
60阅读
导读： 本篇博客，笔者会介绍三种安装Kafka的方式，分别为：单节点单Broker部署、单节点多Broker部署、集群部署（多节点多Broker）。实际生产环境中使用的是第三种方式，以集群的方式来部署Kafka。 Kafka强依赖ZK，如果想要使用Ka
转载
2024-02-27 22:13:21
200阅读
java安装 1.java解压安装 cd /opt tar -zxvf jdk1.8.0_181.tar.gz 2.编辑环境变量配置 vim /etc
原创
2023-06-01 13:05:48
323阅读
kafka是一个分布式且基于发布/订阅的消息系统。#Kafka集群是把状态保存在Zookeeper中的，首先要搭建Zookeeper集群。需要注意的是：Zookeeper集群的工作是超过半数才能对外提供服务，3台中超过两台 超过半数，允许1台挂掉 1、producer：生产者，负责发布消息到kafka 2、broker：代表一台或多台服务器 3、topic：每条发
转载
2024-03-27 16:37:25
49阅读
本节内容：消息中间件消息中间件特点消息中间件的传递模型Kafka介绍安装部署Kafka集群安装Yahoo kafka managerkafka-manager添加kafka cluster 一、消息中间件消息中间件是在消息的传输过程中保存消息的容器。消息中间件在将消息从消息生产者到消费者时充当中间人的作用。队列的主要目的是提供路由并保证消息的传送；如果发送消息时接收者不可用，消息对列会保
转载
2024-06-19 17:36:34
93阅读
一、分别下载kafka和zookeeper的安装包并分发给各服务器，然后解压kafaka和zookeeper二、配置kafka的配置文件 解压后进入文件夹中的config文件夹, 修改红色框框内的配置文件每台机器上的broker.id都需要修改，且是不能重复的数字 存数据的文件夹 设置每台机器的zookeeper地址，端口号2181三、启动每台机器的zookeeper 先给每台机器的zoo.cfg
转载
2024-03-17 00:07:57
65阅读
Spark是一个通用的大规模数据快速处理引擎，一个大数据分布式处理框架。Spark之所以能被迅速的应用到各种大数据处理场景下，与其为Batching processing,Streaming Processing,Ad-hoc Query等三大大数据处理问题提供了近乎完美的解决方案息息相关。在Spark中，使用Spark SQL,Spark Streaming,MLlib,Graphx很好的解决了
