PIE-SDK 二次开发PIE-SDK是一套PIE的可重用的通用的二次开发组件集，基于PIE-SDK我们可以进行组件式和插件式的二次开发，下面我将分别介绍如何使用PIE-SDK进行组件式和插件式的二次开发注：需要安装好vs2015以及PIE-SDK组件式二次开发为支持组件式二次开发，PIE-SDE为我们提供了MapControl、TOCControl、PageLayoutControl三个控件使用
转载
2024-09-24 11:28:17
59阅读
大数据平台搭建（hadoop+spark） 一.基本信息 1. 服务器基本信息 2. 软件基本信息 3.环境变量汇总 4. 基本环境配置（master、slave相同操作） 4.1 配置jdk 4.2 配置java环境变量 添加如下信息 4.3 刷新配置文件： 4.4 配置hosts 4.5 配置免
转载
2018-03-22 11:54:00
186阅读
二、Hadoop集群搭建2.1、Hadoop安装将Hadoop安装包导入hadoop102的/opt/software文件夹下将Hadoop安装包解压至/opt/module文件夹下[atguigu@hadoop102 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/配置Hadoop的环境变量在/etc/profile.d/my_en
转载
2023-11-11 20:41:10
83阅读
在当前大数据领域，Apache Spark 和 Hadoop 是两个非常流行的开源框架，可以帮助我们处理和分析海量数据。本文将通过一系列步骤来向刚入行的小白介绍如何实现“大数据 spark hadoop”。
### 步骤概览
| 步骤 | 描述 |
| ---- | ---- |
| 1 | 安装 Hadoop |
| 2 | 安装 Spark |
| 3 | 准备数据 |
| 4 | 使用
原创
2024-05-30 10:00:26
78阅读
Elasticsearch大规模数据的检索1、存储数据时按有序存储； 2、将数据和索引分离； 3、压缩数据；ES数据架构的主要概念（与关系数据库Mysql对比）（1）关系型数据库中的数据库（DataBase），等价于ES中的索引（Index） （2）一个数据库下面有N张表（Table），等价于1个索引Index下面有N多类型（Type） （3）一个数据库表（Table）下的数据由多行（ROW）多列
转载
2023-12-25 10:44:50
46阅读
大数据从概念走向落地，得益于大数据技术的成熟，尤其是以Hadoop为代表的第一代大数据系统框架，为大数据在企业当中的现实落地，提供了稳固的技术支持，而随着大数据的发展，大数据技术也在更新迭代。今天我们来聊聊大数据技术从Hadoop到Spark的发展概况。大数据技术产生背景大数据的应用和技术起源于互联网，首先是网站和网页的爆发式增长，搜索引擎公司最早感受到了海量数据带来的技术上的挑战，典型的就是Go
转载
2023-10-24 01:25:52
45阅读
搭建平台：hadoop+hdfs+mapreduce+hive+derby;软件：前端+后端数据库;构思：hadoop+hdfs+mapreduce负责分布式存储和并行计算；hive负责处理数据库访问操作；derby负责存储元数据问题1：不清楚这几个模块如何架设,如何联系起来,甚至不知道各个模块是否配置成功。问题2：不知道这几个模块的文件如何存放，以及如何相互访问。问题3：不知道对这类问题怎么入手
转载
2023-09-20 10:52:28
109阅读
大家好，我是脚丫先生 (o^^o)最近比较肝，与小伙伴负责一个小型大数据平台项目。之前自己一直是做离线开发。突然有一个实时流的托拉拽模块，又爽又刺激。爽点是终于可以玩实时流，刺点是如何玩转实时流Flink。言归正传，我们接着分享上期的从0到1搭建大数据平台。让小伙伴们又爽又刺激。把快乐给大家，痛苦留给自己。 文章目录一、架构总览1.1 数据来源层1.2 数据传输层1.3 数据存储层1.4 资源管理
转载
2024-07-18 14:03:09
28阅读
在大数据方兴未艾之际，越来越多的技术被引进大数据领域。从多年前的mapreduce到现在非常流行的spark，spark自从出现以来就逐渐有替代mapreduce的趋势。既然如此，spark到底有什么过人之处？这么备受青睐?一、Spark是什么？Spark是一种通用的大数据计算框架，和传统的大数据技术MapReduce有本质区别。前者是基于内存并行计算的框架，而mapreduce侧重磁盘计算。Sp
转载
2023-07-12 12:33:02
158阅读
Hadoop学习笔记01一、大数据概念大数据 大数据(Big Data)：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。主要解决问题海量数据的采集存储和分析计算问题特点大量(Volume)高速(Velocity)：处理效率多样(Variety)：结构化(数据库、文本)/非结构化(音频、视频)低价值密度(Value)：数据总量越大，价值密度越低。有用数据提纯二、Hadoop入门
转载
2023-07-24 11:03:43
138阅读
04 | 移动计算比移动数据更划算那么如何解决 PB 级数据进行计算的问题呢？这个问题的解决思路其实跟大型网站的分布式架构思路是一样的，采用分布式集群的解决方案，用数千台甚至上万台计算机构建一个大数据计算处理集群，利用更多的网络带宽、内存空间、磁盘容量、CPU 核心数去进行计算处理。既然数据是庞大的，而程序要比数据小得多，将数据输入给程序是不划算的，那么就反其道而行之，将程序分发到数据所在的地方进
转载
2024-07-30 16:00:24
45阅读
列举Hadoop生态的各个组件及其功能、以及各个组件之间的相互关系，以图呈现并加以文字描述。hadoop生态圈中包含很多组件，有HDFS、Mapreduce、Hive、Hbase、Yarn、Pig、Zookeeper、Avro和Chukwa。组件名功能及作用优势局限应用场景相关功能组件HDFS分布式文件系统。存储是大数据技术的基础（1）高吞吐量访问； （2）高容错性； （3）容量扩充（1）不适合低
转载
2023-07-14 14:29:58
60阅读
我们此处使用的是VM虚拟机，centOS6.5的系统，初学者建议装中文版的系统，方便查看，我这边也是先装中文版的系统，本文章主要讲解如何在搭建大数据平台之前要对虚拟机进行环境配置工作，我会在重要的步骤截图上传，方便大家学习讨论，同时，对于一些拓展知识我会进行注释解释，一些其他相关知识也会在文章末尾写出来的，以下便具体的讲解如何进行配置
一、系统环境准备工作：
①
** 首先查看
转载
2024-07-22 12:47:21
28阅读
1、安装环境vmware、centos 7、jdk 1.8、scala 2.12.11、hadoop 3.1.3、spark 3.0.0（spark 版本对 jdk、scala 版本有要求，详见官方文档）2、运行环境搭建该部分主要是 vmware的安装、centos 7 的安装和配置、 jdk、sdk 的安装以及系统变量的配置。 对于centos 7的配置主要是设置静态 IP 地址。在虚
转载
2024-02-26 20:45:37
133阅读
目录实验环境：实验步骤：一、解压二、配置环境变量： 三、修改配置文件 1.修改spark-env.sh配置文件：2.修改配置文件slaves:3.分发配置文件：四、测试：五、网页测试： 六、解决能启动Spark Shell但是报错：七、安装python3.6八、Jupyter Notebook1.安装pip2.安装jupyter3.配置环境变量4.创建Jupyter默
转载
2024-02-26 20:28:36
69阅读
一、准备环境1.ubuntu16（使用虚拟机实现集群搭建） 2.jdk1.8二、安装包准备由于不同版本之间存在兼容问题，本次搭建使用的是hadoop2.7.1+hbase2.1.4+zookeeper3.6.2 安装包见云盘：链接: 安装包 提取码: 2b5a三、安装前准备1、节点主机名-IP映射（1）修改主机名（三台都需要修改）vim /etc/hostname 这里对三台主机的名字进行修改：n
转载
2023-11-09 09:44:56
73阅读
创建spark用户组，组ID1000groupadd-g1000spark在spark用户组下创建用户ID2000的spark用户获取视频中文档资料及完整视频的伙伴请加QQ群：947967114useradd-u2000-gsparkspark设置密码passwdspark修改sudo权限chmodu+w/etc/sudoersvi/etc/sudoers找到rootALL=(ALL)ALL添加s
原创
2018-12-01 14:41:23
623阅读
创建spark用户组，组ID1000groupadd -g 1000 spark在spark用户组下创建用户ID 2000的spark用户 获取视频中文档资料及
原创
2024-02-22 17:41:27
19阅读
环境服务器配置：CPU型号：CPU核素：内存：操作系统版本：CentOSLinuxrelease7.5.1804(Core)主机列表：192.168.0.101node1192.168.0.102node2192.168.0.103node3192.168.0.104node4192.168.0.105node4软件路径：/data/toolsjdk版本：1.8JAVA_HOME路径：/opt/j
原创
2018-05-30 14:47:43
7445阅读
# 搭建Hadoop大数据平台教程
近年来，大数据技术越来越受到重视，其中Hadoop作为大数据处理的一个重要工具。在本教程中，我们将一步步教你如何搭建Hadoop大数据平台。首先，让我们看一下整个流程：
| 步骤 | 操作 |
|------|------|
| 1. | 安装JDK |
| 2. | 安装Hadoop |
| 3. | 配置Hadoop集群 |
| 4. |
原创
2024-04-30 10:56:46
34阅读
