hadoop安装路径：/usr/local/src集群的三台linux主机（主机配置是本博客的所使用的）master：192.168.139.10 slave1：192.168.139.11 slave2：192.168.139.12首先，安装包可以本地下载好，通过与linux共享文件 ，将其拷贝到linux主机内，或者通过 Xftp 6 工具，将其传送到linux主机内，总之方法多种多
由于公司连续两个月月底Tableau服务器过载崩溃,因此有了搭建Tableau服务器群集的想法.目前还在测试阶段,所以做一步写一步了. 目录:一.安装和配置工作服务器二.其他参考文档 一. 安装和配置工作服务器在做操作之前可以先看官方的相关文档了解一下概念.Improve Server Performancehttp://onlinehelp
文章目录Flink四大基石一、Flink的四大基石1. Checkpoint2. State3. Time4. Window二、案例1.需求2.代码实现3.运行，查看结果4.增加需求2的实现5.重启程序，查看结果 Flink四大基石一、Flink的四大基石Flink之所以能这么流行，离不开它最重要的四个基石：Checkpoint、State、Time、Window。1. Checkpoint这是
之前我的 hexo 博客都是部署在 github 上，但是偶尔会访问不到，并且会有访问速度慢等问题，在前几天学完 docker 和 nginx 之后呢，自己尝试了一下部署到自己的服务器，发现成功了，特分享一下操作流程我们知道 hexo 挂在 Github 的仓库中，仓库里有如下内容 这个目录结构和 hexo 编译出来的 public 文件夹其实是一样的 我们只需要把这个目录上传到我们的服务器即可，
# 如何解决“Exception in thread "main" java.lang.ClassNotFoundException: org.hadooop.hiv”
## 简介
在Java开发中，经常会遇到类找不到的异常。当我们调用一个类时，如果类不存在，就会抛出ClassNotFoundException。本篇文章将教会刚入行的小白如何解决这个异常。下面是整个解决过程的步骤表格。
##
原创
2023-08-29 14:21:00
436阅读
使用3台服务器，恢复yarn快照。1 NameNode故障处理 出现NameNode进程挂了并且存储的数据也丢失了，怎么恢复NameNode。故障模拟：（1）kill掉NameNode的进程：kill -9 进程ID（2）删除NameNode的数据：/opt/module/hadooop-3.3.1/data/dfs/namerm -rf /opt/module/hadooop-3.3.1/da
【注】该系列文章以及使用到安装包/測试数据 能够在《[倾情大奉送–Spark入门实战系列] (http://blog..net/yirenboy/article/details/47291765)》获取 1 编译Hadooop 1.1 搭建好开发环境 1.1.1 安装并设置maven 1.下
转载
2017-08-20 10:33:00
131阅读
2评论
前言：在按照自己之前的文档搭建Hadoop和hive时遇到不少的问题，特此记录。CentOS7下搭建Hadoop分布式集群Hadooop集群规划服务器IPhadoop01hadoop02hadoop03HDFSNameNodeHDFSSecondaryNameNodeHDFSDataNodeDataNodeDataNodeYARNNodeManagerNodeManagerNodeManagerY
转载
2023-09-09 22:52:20
0阅读
前言：在按照自己之前的文档搭建Hadoop和hive时遇到不少的问题，特此记录。CentOS7下搭建Hadoop分布式集群Hadooop集群规划服务器IPhadoop01hadoop02hadoop03HDFSNameNodeHDFSSecondaryNameNodeHDFSDataNodeDataNodeDataNodeYARNNodeManagerNodeManagerNodeManagerY
转载
2023-09-09 22:54:22
0阅读
hadooop.apache.org ：hadoop下载页面
https://archive.apache.org/dist/hadoop/common/hadoop-2.6.0/192.168.159.130:50070 ：hadoop系统页面访问端口
192.168.159.130:8088windows无法访问节点域名时，需要进行域名映射：
c/WINDOWS/SYSTEM32/driv
搭建Spark运行环境：可以自搭建Hadoop的standalone版，主要配置在于JDK和Hadooop的环境变量设置。在此基础上搭建Spark的standalone版，下载“Hadoop Free”版本，主要配置在于Scala和Spark的环境变量设置。如果使用到之前的Hadoop，需要在Spark下的conf/spark-env.sh添加Hadoop的classpath，以便支持Hadoop
2.Flink的运行必须依赖Hadoop组件吗？Flink 可以完全独立于 Hadoop， 在不依赖 Hadoop 组件下运行。 但是做为大数据的基础设施， Hadoop 体系是任何大数据框架都绕不过去的。 Flink 可以集成众多Hadooop 组件， 例如 Yarn、 Hbase、 HDFS 等等。 例如， Flink 可以和 Yarn 集成做资源调度， 也可以读写 HDFS， 或者利用 HD
转载
2023-08-01 15:49:24
240阅读
此文是针对小白。如有不对，请大神们指教。。。。
配置环境系统：Ubuntu16.04
配置版本分别为：hadooop 2.7.3、java "1.7.0_79"、Scala2.11.6、spark-2.0.1-bin-hadoop2.7
本实验主要配置三个节点的小集群：
配置节点分为一个master、两个worker
原创
2016-11-16 14:19:37
925阅读
点赞
hadooop提供了一个设置map个数的参数mapred.map.tasks，我们可以通过这个参数来控制map的个数。但是通过这种方式设置map的个数，并不是每次都有效的。原因是mapred.map.tasks只是一个hadoop的参考数值，最终map的个数，还取决于其他的因素。 为了方便介绍，先来
转载
2018-02-03 17:06:00
634阅读
2评论
PySpark（Spark3.0）PySpark简单来说就是Spark提供的Python编程API，包括交互式的PySpark shell和非交互式的Python程序。1.环境Spark3.0Hadooop3.2Centos7Python3.6.8PycharmWindos10其中值得注意的是Python的版本必须是3.6+，以下是Spark官网的说明前提 Spark3.0的集群已经搭建完毕，本文
转载
2023-07-04 17:46:39
932阅读
HBase 对比 Redishttps://db-engines.com/en/system/HBase%3BRedis二者都属于NoSQL,但又有很大不同:HBase是一个分布式的、面向列的开源数据库，它是Apache的Hadooop项目的子项目。最初来源于Fay Chang所撰写的Google论文"Bigtable:一个结构化数据的;分布式存储系统"。一般和HDFS一起结合使用...
原创
2022-06-08 05:45:58
278阅读
hadoop节点间通信是通过ssh协议进行的，所以想要实现hadoop节点之间的无密码登录通信就要设置ssh无密码登录。 hadooop设置ssh无密码登录的命令：ssh -keygen -t rsa ssh和telnet是两个进行远程连接的通信协议。 ssh 是加密的，基于 SSL 。
telnet 是明码传输的，发送的数据被监听后不需要解密就能看到内容。 ==以下为引用==
安全套接层（S
1、编译Hadooop1.1 搭建环境1.1.1 安装并设置maven1. 下载maven安装包，建议安装3.0以上版本，本次安装选择的是maven3.0.5的二进制包，下载地址如下http://mirror.bit.edu.cn/apache/maven/maven-3/ 2. 使用ssh工具把maven包上传到/home/hadoop/upload目录 3. 解压缩apache-maven-
转载
2017-12-14 09:34:00
156阅读
2评论
配置系统是复杂软件必不可少的一部分，org.apache.hadoop.conf.Configuration在Hadooop各个子项目中发挥着重要作用。 windows系统广泛使用一种特殊批的ASCII文件.ini作为其主要配置文件标准，被称为（Initialization File）或概要文件（profile）；java中JDK提供了java.util.Properties类处理简单的配置
Kylin启动失败||启动成功但Web界面显示4040.写在前面1.原因一：环境变量配置问题2.原因二：Kylin兼容性问题没有得到解决3.原因三：hive-site.xml配置文件的问题0.写在前面实验背景：离线数仓项目Kylin版本：Kylin3.0.2Hadooop版本：Hadoop-3.1.3Zookeeper版本：zookeeper-3.5.7Hive版本
原创
精选
2023-03-04 08:04:44
260阅读
