1、安装环境vmware、centos 7、jdk 1.8、scala 2.12.11、hadoop 3.1.3、spark 3.0.0（spark 版本对 jdk、scala 版本有要求，详见官方文档）2、运行环境搭建该部分主要是 vmware的安装、centos 7 的安装和配置、 jdk、sdk 的安装以及系统变量的配置。 对于centos 7的配置主要是设置静态 IP 地址。在虚
转载
2024-02-26 20:45:37
133阅读
目录实验环境：实验步骤：一、解压二、配置环境变量： 三、修改配置文件 1.修改spark-env.sh配置文件：2.修改配置文件slaves:3.分发配置文件：四、测试：五、网页测试： 六、解决能启动Spark Shell但是报错：七、安装python3.6八、Jupyter Notebook1.安装pip2.安装jupyter3.配置环境变量4.创建Jupyter默
转载
2024-02-26 20:28:36
69阅读
大数据开发环境无外乎是离线和实时两套开发环境，不过目前已经流行实时数仓体系的搭建了，但是底层主要还是Hadoop集群环境，给予Hadoop集群的spark集群，以及hive、flink等中间件的搭建。本篇文章主要是搭建伪分布式的hadoop集群以及spark集群，并安装hive、flink等离线和实时的开发中间件，并测试demo。Hadoop伪分布式集群搭建环境与依赖 JDK：1.8
转载
2023-11-13 22:02:47
97阅读
文章目录前言一、spark简介二、Spark2.2编译1.下载maven2.配置maven环境遍量3.配置resolv.com4.下载spark2.2.0并编译5.进入界面总结 前言本来是不想写这篇博客的，但是我找了好久都是直接使用spark的，没有编译spark的，所以还是觉得写一篇如何编译spark的文章以供参考，本次采用的spark2.2.0版本的，需要jdk1.8，详细安装看我前面文章。
转载
2023-12-07 10:23:48
51阅读
大数据平台搭建（hadoop+spark） 一.基本信息 1. 服务器基本信息 2. 软件基本信息 3.环境变量汇总 4. 基本环境配置（master、slave相同操作） 4.1 配置jdk 4.2 配置java环境变量 添加如下信息 4.3 刷新配置文件： 4.4 配置hosts 4.5 配置免
转载
2018-03-22 11:54:00
186阅读
目录Spark的安装与部署Spark概述Spark特点Spark与MapReduce对比Spark体系结构Spark部署 伪分布式部署完全分布式Spark的安装与部署Spark概述Spark是一种快速、通用、可扩展的大数据分析引擎，2009年诞生于加州大学伯克利分校AMPLab，2010年开源，2013年6月成为Apache孵化项目，2014年2月成为Apache顶级项目。目前，Spar
转载
2023-12-07 06:39:10
111阅读
1摘要利用虚拟机实现Spark环境搭建，理解掌握大数据分析集群工作原理。2题目解析面对海量的各种来源的数据，如何对这些零散的数据进行有效的分析，得到有价值的信息一直是大数据领域研究的热点问题。大数据分析处理平台就是整合当前主流的各种具有不同侧重点的大数据处理分析框架和工具，实现对数据的挖掘和分析，一个大数据分析平台涉及到的组件众多，如何将其有机地结合起来，完成海量数据的挖掘是一项复杂的工作。 在搭
转载
2024-03-12 13:53:28
114阅读
在当今大数据时代，构建一个稳定高效的大数据平台已经成为许多企业追求的目标。Kubernetes（K8S）作为一种开源容器编排引擎，能够为大规模部署的容器化应用提供自动化部署、扩展和管理。通过Kubernetes，我们可以轻松地构建一个高可用的、弹性的大数据平台。本文将教您如何使用Kubernetes构建自己的大数据平台。
**构建大数据平台的步骤如下：**
| 步骤
原创
2024-04-30 10:57:01
103阅读
大家好，我是脚丫先生 (o^^o)最近比较肝，与小伙伴负责一个小型大数据平台项目。之前自己一直是做离线开发。突然有一个实时流的托拉拽模块，又爽又刺激。爽点是终于可以玩实时流，刺点是如何玩转实时流Flink。言归正传，我们接着分享上期的从0到1搭建大数据平台。让小伙伴们又爽又刺激。把快乐给大家，痛苦留给自己。 文章目录一、架构总览1.1 数据来源层1.2 数据传输层1.3 数据存储层1.4 资源管理
转载
2024-07-18 14:03:09
28阅读
搭建平台：hadoop+hdfs+mapreduce+hive+derby;软件：前端+后端数据库;构思：hadoop+hdfs+mapreduce负责分布式存储和并行计算；hive负责处理数据库访问操作；derby负责存储元数据问题1：不清楚这几个模块如何架设,如何联系起来,甚至不知道各个模块是否配置成功。问题2：不知道这几个模块的文件如何存放，以及如何相互访问。问题3：不知道对这类问题怎么入手
转载
2023-09-20 10:52:28
109阅读
一 、Spark概述官网：http://spark.apache.org1. 什么是spark Spark是一种快速、通用、可扩展的大数据分析引擎，2009年诞生于加州大学伯克利分校AMPLab，2010年开源，2013年6月成为Apache孵化项目，2014年2月成为Apache顶级项目。项目是用Scala进行编写。目前，Spark
转载
2023-08-03 15:15:49
236阅读
创建spark用户组，组ID1000groupadd-g1000spark在spark用户组下创建用户ID2000的spark用户获取视频中文档资料及完整视频的伙伴请加QQ群：947967114useradd-u2000-gsparkspark设置密码passwdspark修改sudo权限chmodu+w/etc/sudoersvi/etc/sudoers找到rootALL=(ALL)ALL添加s
原创
2018-12-01 14:41:23
623阅读
1.Hadoop集群搭建及使用(1).集群规划；(2).虚拟机准备；1、创建虚拟机（具体步骤不再展示）；2 、配置网络；ping外网：ping baidu.com如果ping不通#修改如下文件：
vi /etc/sysconfig/network-scripts/ifcfg-ens-33重启网络服务：service network restart配置静态IP：打开VMware->编辑->
转载
2024-05-28 10:07:29
103阅读
点赞
1评论
创建spark用户组，组ID1000groupadd -g 1000 spark在spark用户组下创建用户ID 2000的spark用户 获取视频中文档资料及
原创
2024-02-22 17:41:27
19阅读
讨论一：先来谈谈企业搭建大数据分析平台的背景。1、搭建大数据平台离不开BI。在大数据之前，BI就已经存在很久了，简单把大数据等同于BI，明显是不恰当的。但两者又是紧密关联的，相辅相成的。BI是达成业务管理的应用工具，没有BI，大数据就没有了价值转化的工具，就无法把数据的价值呈现给用户，也就无法有效地支撑企业经营管理决策；大数据则是基础，没有大数据，BI就失去了存在的基础，没有办法快速、实时、高效地
转载
2023-10-20 07:41:18
298阅读
大数据是以互联网为基础的。数据仓库、数据挖掘、云计算等互联网技术的发展为大数据的应用奠定了基础。对于任何一个大数据从业者来说，新的接触，或者会有一种共同的感觉：大数据是非常有用的！那么如何构建大数据分析平台已经成为当前研究的焦点。 大数据并不是一场市场炒作。对于许多跨多个垂直的组织而言，大数据是真实存在的，而且它正在改变数据中心的架构。随着数据量、数据处理速度和数据类型的复杂度以
转载
2023-11-01 23:01:57
195阅读
转载
2019-08-22 09:41:00
256阅读
2评论
转载
2019-08-22 09:39:00
369阅读
2评论
如何搭建大数据平台
随着大数据技术的不断发展，越来越多的企业开始关注大数据平台的搭建。在当前的大数据生态系统中，Kubernetes（简称K8S）已经成为了一个广泛应用的容器编排平台，可以帮助我们更好地管理大数据应用程序的部署和运行。下面将详细介绍如何使用K8S搭建一个大数据平台。
### 流程概览
以下是搭建大数据平台的整体流程：
| 步骤 | 操作 |
| ---- | ---- |
|
原创
2024-04-30 10:56:22
58阅读
# 搭建Hadoop大数据平台教程
近年来，大数据技术越来越受到重视，其中Hadoop作为大数据处理的一个重要工具。在本教程中，我们将一步步教你如何搭建Hadoop大数据平台。首先，让我们看一下整个流程：
| 步骤 | 操作 |
|------|------|
| 1. | 安装JDK |
| 2. | 安装Hadoop |
| 3. | 配置Hadoop集群 |
| 4. |
原创
2024-04-30 10:56:46
34阅读
