博主介绍：✌在职Java研发工程师、专注于程序设计、源码分享、技术交流、专注于Java技术领域和毕业设计✌项目名称基于Hadoop和SparkSQL大数据日志分析与可视化设计系统说明编号功能名称功能描述输入内容输出内容1数据清洗将数据进行清洗，从大量的数据中筛选出重要的字段原始日志文件需要的数据格式2数据格式转换对数据格式进行转换，转换成格式文件第一次清洗后的日志Parquet格式文件3数据分析对
转载
2024-07-23 11:34:44
17阅读
1、根据需求，为公司规划搭建集群的具体方案。规划（7台服务器为例）：NameNodeDataNodeZookeeperZKFCJournalNodeRMNodeManagerMysqlHiveHbaseFlumeAzkaban1Y YYYY(管理日志)YYYYYY2YY YYYYYY 3 YYY Y YY4YY&n
转载
2023-09-27 12:18:08
656阅读
Linux基础入门练习题（四）1. (单选题)Linux系统中,对一个文本文件执行head命令默认显示的文件行数是A. 5B. 10C. 20D. 30正确答案:Bhead用于显示文件的开头部分内容，默认情况下head指令显示文件的前10行内容。2. (单选题)Linux系统中,在ps命令中什么参数是用来显示所有用户的进程?A. aB. bC. uD. x正确答案: Aps -a: 显示当前终端的
转载
2024-05-05 17:55:21
355阅读
Hadoop是一个由Apache基金会所开发的分布式系统集成架构，用户可以在不了解分布式底层细节情况下，开发分布式程序，充分利用集群的威力来进行高速运算与存储，具有可靠、高效、可伸缩的特点1、Hadoop生态概况Hadoop是一个由Apache基金会所开发的分布式系统集成架构，用户可以在不了解分布式底层细节情况下，开发分布式程序，充分利用集群的威力来进行高速运算与存储，具有可靠、高效、可伸缩的特点
转载
2024-05-17 12:55:21
70阅读
文章目录第1关：配置开发环境 - JavaJDK的配置任务描述相关知识下载JDK解压配置环境变量测试编程要求实现代码第2关：配置开发环境 - Hadoop安装与伪分布式集群搭建任务描述相关知识下载Hadoop配置Hadoop环境设置SSH免密登录hadoop-env.sh 配置yarn-env.sh 配置core-site.xml配置hdfs-site.xml文件配置mapred-site.xm
转载
2023-08-29 21:04:02
1961阅读
实验环境说明我使用的实验环境是：Hadoop2.7.7 + Hive3.1.2 + ZooKeeper3.6.1 + HBase1.4.13 + Sqoop1.4.6之前一直是按照林子雨老师的博客进行学习的，他里面安装的是hadoop3.1.3，Hbase2.2.2，在本次实验中，hadoop的版本和hbase的版本是不能满足需求的，原因是Sqoop1.4.6的数据互导不能支持hbase2.x，需
转载
2024-05-09 13:28:03
325阅读
学习时间：20130701知识点积累：数据的存储和分析：为了实现数据读取的高效，可从多个磁盘并行读取数据，需要解决2个问题：硬件故障，避免数据丢失大部分分析任务需要通过某种方式把数据合并起来相较于其他系统：关系型数据库管理系统：网格计算：高性能计算（High Performance Computing）的方法是将作业分配给一个机器集群，这些机器访问共享文件系统，由一个存储区域网络（Storage
转载
2024-07-30 15:50:25
307阅读
黑马大数据分析课程---1、大数据分析介绍一、总结一句话总结：大数据为机器学习、人工智能等提供了数据依据 1、数据清洗包括哪些方面？去掉脏数据使数据格式化 2、数据挖掘是什么？高级的数据分析方法：数据挖掘是一种高级的数据分析方法，侧重解决四类数据分析问题：分类、聚类、关联和预测寻找有价值信息：数据分析和数据挖掘的本质是一样的，都是从数据里面发现关于业务的知识。 3、常
要搭建hadoop，首先要要有一台linux的机器，可以是虚拟机，服务器… 有了Linux环境，接着就可已安装相应的hadoop环境了; 说一下我自己的环境： ubuntu18.0.4(虚拟机） jdk14 hadoop2.10 下面的命令，如果不是root用户，请自觉加上sudo更新应用执行命令：sudo apt-get install update
sudo apt-get install u
转载
2023-12-27 10:41:17
508阅读
# 探索大数据——Hadoop在电商中的应用
在当今数字化时代，大数据的应用已成为各个行业提升竞争力的关键。电商行业更是大数据应用的典范之一，利用数据分析可以优化用户体验、库存管理和市场宣传。本文将通过Hadoop框架，结合一些代码示例，探讨它在电商大数据处理中的应用。
## 一、Hadoop简介
Hadoop是一个开源的分布式计算框架，能够处理大规模的数据。它主要由两个核心部分组成：Had
1、虚拟机环境准备1、准备一台虚拟机2、配置网络设置静态IP 具体参考：Linux网络配置3、修改主机名vim /etc/sysconfig/network4、关闭防火墙#1:查看防火状态
systemctl status firewalld
service iptables status
#2:暂时关闭防火墙
systemctl stop firewalld
service iptable
转载
2024-04-19 17:11:11
332阅读
系列文章全国大学生大数据技能竞赛（Hadoop集群搭建）全国大学生大数据技能竞赛（数仓部署） 文章目录系列文章前言资料链接Spark on Yarn安装3.1安装Scala3.2安装Spark 前言本篇博客根据往年全国大学生大数据技能竞赛资料搭建，每一个步骤都有相应的执行的截图。以下博客仅作为个人搭建过程的记录~如有不足之处欢迎指出，共同学习进步。附上资料链接。资料链接青椒课堂（红亚）网站链接：h
转载
2024-06-03 10:26:02
296阅读
1.安装虚拟机1.1 设置主机NAT网络 1.2 修改IP地址vim /etc/sysconfig/network-scripts/ifcfg-eth0
#系统启动的时候网络接口是否有效(yes/no)
ONBOOT=yes
# IP的配置方法[none|static|bootp|dhcp](引导时不使用协议|静态分配IP|BOOTP协议|DHCP协议)
BOOTPROTO=static
#
转载
2024-06-19 19:38:50
584阅读
目录03-01-Hadoop的目录结构和本地模式解压安装包环境变量/etc/profileHadoop的目录结构.png本地模式：测试本地模式MapReduce程序查看结果.png03-02-配置Hadoop的伪分布模式解压安装包环境变量/etc/profile配置文件.png03-01-Hadoop的目录结构和本地模式解压安装包tar -zxvf hadoop-2.7.3.tar.gz -C /
转载
2024-03-01 20:02:01
187阅读
第1关：HDFS的基本操作任务描述本关任务：使用 Hadoop 命令来操作分布式文件系统。编程要求在右侧命令行中启动 Hadoop ，进行如下操作。在 HDFS 中创建 /usr/output/ 文件夹；在本地创建 hello.txt 文件并添加内容：“ HDFS 的块比磁盘的块大，其目的是为了最小化寻址开销。”；将 hello.txt 上传至 HDFS 的 /usr/output/ 目录下；删除
转载
2024-04-10 17:46:13
296阅读
第1关：栈操作及数进制转换的实现1.头文件：#ifndef _STACK_H_
#define _STACK_H_
#include <iostream> //C++语言
#include <malloc.h>
using namespace std; //C++语言
typedef int DataType;结点结构体+结点结构体指针PNode：top//
转载
2024-04-11 14:43:14
941阅读
第1关：快递费用计算本关任务：编写一个计算机快递费的程序。上海市的某快递公司根据投送目的地距离公司的远近，将全国划分成5个区域：快递费按邮件重量计算，由起重费用、续重费用两部分构成：（1） 起重（首重）1公斤按起重资费计算（不足1公斤，按1公斤计算），超过首重的重量，按公斤（不足1公斤，按1公斤计算）收取续重费； （2） 同城起重资费10元，续重3元/公斤； （3） 寄往1区（江浙两省）的邮件，起
转载
2024-04-30 20:11:19
545阅读
# Hadoop环境搭建指南
## 概述
在开始搭建Hadoop环境之前，我们需要先了解Hadoop的基本概念和工作原理。Hadoop是一个开源的分布式计算框架，主要用于处理大规模数据集的存储和分析。它基于Google的MapReduce论文提出的分布式计算理论，并融合了Google的GFS（Google文件系统）的思想。Hadoop环境搭建需要准备一台或多台服务器，并进行相关配置和安装，下面是
原创
2023-07-31 05:20:11
1088阅读
文章目录基础数据渲染封装接口数据渲染支付功能实现支付携带参数支付宝沙箱账号信息支付结果页展示模版代码绑定路由渲染数据倒计时逻辑函数封装 支付页有俩个关键数据，一个是要支付的钱数，一个是倒计时数据（超时不支付商品释放)。基础数据渲染封装接口在 src\apis\pay.js 文件中添加获取订单信息的接口，参数为订单 id：import request from '@/utils/http'
ex
转载
2024-07-17 12:54:18
99阅读
word上面一拷过来就乱了。
1 Hadoop 环境搭建
1.1 Java环境安装
1. 从Oracle官网下载JDK1.6Linux版本.
下载地址为:
http://download.oracle.com/otn-pub/java/jdk/6u32-b05/jdk-6u32-linux-i586.bin
2. 下载的文件为jdk-6u32-
转载
2023-12-20 18:56:22
292阅读
