1. 匹配主机名 2.下载安装hadoop 3. 配置Hadoop环境 4. 启动Hadoop环境 5. Hadoop初体验 建议先整体浏览一遍再做 （关于创建虚拟机的操作日后有需要的话我再补上）1. 匹配主机名 先查看主机名： 修改主机名（永久）： 接下来修改两个克隆机的主机名：2.下载安装Hadoop下载好Hadoop后，在software中用rz命令上传压缩包，再到servers文
转载
2023-09-14 14:00:10
591阅读
本文主要介绍了如何在Ubuntu16.04上安装scala和spark，其中的注意事项有哪些，以及一些简单的官网上的例子的运行。
在Hadoop集群的基础上搭建Spark一、环境准备在搭建Spark环境之前必须搭建Hadoop平台，尽管以前的一些博客上说在单机的环境下使用本地FS不用搭建Hadoop集群，可是在新版spark的安装之中，我们必须确定SPA
Hadoop 目录Hadoop一、大数据概论1、什么是大数据2、大数据特点4、大数据的起源5、大数据的数据来源6、大数据目前面临问题二、Hadoop引言1、解决问题2、Hadoop诞生3、Hadoop的发现版本4、Hadoop的特点6、Hadoop的生态圈三、HDFS1、简介2、优缺点3、HDFS的核心设计3.1数据块3.2数据块复制3.3数据块副本的存放策略3.4负载均衡3.4 心跳机制3.4机
转载
2023-10-23 06:31:57
346阅读
实验四 Hive实践实验四 Hive实践介紹1.实验目的2.实验原理3.实验准备4.实验内容项目1：Hive安装配置【准备工作】1. 安装好hadoop2.7.3（Linux环境）；2. 安装好MySQL5.7（macOS系统下），推荐使用3. 并新建一个名为hive的数据库（可以自拟）4.实验内容【大致步骤】项目2：Hive操作实践——员工工资信息统计【参考链接】【准备工作】实验内容【大致步骤
转载
2023-09-17 21:26:49
886阅读
这里写目录标题一、实验介绍1.1 实验内容1.2 实验知识点1.3 实验环境1.4 实验资源1.5 实验步骤清单二、实验架构三、实验环境准备四、实验步骤4.1 查看环境4.2部署Hadoop集群4.2.1安装hadoop(master)4.2.2创建hdfs数据文件存储目录(master)4.2.3修改配置文件(master)4.2.4主从节点同步(master)4.3测试Hadoop集群4.3
实习第一周一些简单的指令Hadoopalias hls="hadoop fs -ls" 列出指定目录的内容 alias ht="hadoop fs -text" 查看文件 hadoop fs -text /d1/core-site.xml alias hcat="hadoop fs -text" &nbs
Hadoop实验报告目录 文章目录Hadoop实验报告目录一、在Linux上安装并运行Hadoop实验目的、要求及环境实验步骤第一步：下载Hadoop压缩包第二步：安装OpenJDK第三步：解压Hadoop压缩包并修改配置文件第四步：安装OpenSSH-server并配置无密码信任关系第五步：格式化HDFS第六步：启动NameNode Daemon和DataNode Deamon第七步：在HDFS
转载
2023-08-30 22:10:35
398阅读
1.模板虚拟机操作1.新建一个虚拟机,内存4G,磁盘50G2.ping www.baidu.com 检查是否可以正常联网3.关闭防火墙,关闭防火墙开机自启systemctl stop firewalld
systemctl disable firewalld4.创建一个atguigu用户,并修改用户密码useradd atguigu
passwd atguigu5.配置atguigu用户具有roo
转载
2023-07-20 23:57:12
128阅读
Hadoop安装笔记
1.本次安装的是hadoop集群环境，使用的是vmware虚拟机和centos等，安装步骤在博客内这篇文件中：
我使用同网段不同集群安装的虚拟机，保证每个虚拟机如图本机一样可以相互通信。
由于我安装了一次centos，所以其他机器的虚拟机是复制这个centos的，密码账号相同
1）安装ssh和sshd
sshd是centos中提供
转载
2023-08-09 09:22:06
168阅读
服务器基础配置本次Hadoop平台搭建采用伪分布式文件储存方式，使用三台liunx系统虚拟机，版本为centOS8.0以上，Hadoop版本为3.3.0.x64位，VimWare版本为16pro。 集群环境搭建 在windows系统中确认VimWare的网络服务都完全启动 任务管理器→服务： 确认VimWare生成的网关地址 在VW窗口菜单栏：编辑→虚拟网络编辑器→选择VMnet8→NAT设置查看
Hadoop HA 集群搭建 Hadoop HA 集群搭建Hadoop 完全分布式环境搭建集群规划集群部署前提Hadoop伪分布式环境搭建配置IP映射安装 Java 与 Hadoop配置 Hadoop配置 MapReduce 与 YARN集群配置配置基本参数配置 SSH 免密登录格式化 HDFS启动 Hadoop 服务测试测试访问Hadoop HA 高可用高可用简介HDFS 高可用** **故障
转载
2023-10-15 18:54:24
36阅读
在大数据时代，分布式文件处理系统目前是我们的必然选项。作为Hadoop核心组件之一的HDFS，整个大数据处理技术的学习中，占有主导地位。上一节内容总结开源计算框架Hadoop的相关基本理论。其中就提到了分布式文件处理系统HDFS这一重要组件。在Hadoop生态系统中，位于底层数据位置，可以看出，HDFS的重要性。本节内容将围绕HDFS理论基础，即计算机集群和HDFS结构、HDFS相关基本概念、文件
转载
2023-10-18 21:22:35
333阅读
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 目录文章目录前言一、VMware和相关辅助软件的安装二、创建第一个虚拟机Hadoop1001.创建虚拟机，首先需要下载一个系统2.创建虚拟机3.配置虚拟机4.配置网络和IP地址5.配置主机名称，6.XShell远程访问工具的连接7.最后完善虚拟模板机8.克隆虚拟机9.安装JDK前言本文主要是记录了从安装VMware到配置H
转载
2023-09-01 08:43:08
390阅读
1、数据采集1.1、创建scrapy爬虫项目scrapy startproject qcwy_spider1.2、创建爬虫文件scrapy genspider job51 51job.com1.3、编写items.py文件# -*- coding: utf-8 -*-
# Define here the models for your scraped items
#
# See document
总结一、HadoopHadoop是一个分布式的用来存储海量数据和分析计算的虚拟机基础架构 Hadoop里面包含hadoopHdfs、hadoopYaen、hadoopMapReduce、HadoopCommon  
转载
2023-09-01 08:50:48
2098阅读
Hadoop能干嘛？目前我能知道的就是数据统计，比如说日志分析，数据分析，以前用数据库进行的统计，因为数据量越来越大，分析就越来越慢。Hadoop则是解决这样的问题，将一些一次写入多次读取的数据进行分布式计算统计，不但速度更快，而且能力更强（因为统计过程可以用代码逻辑，而SQL则弱得多）大数据与Hadoop说得很玄乎，从上面的概念来说，其实就是规模庞大的一次写入多次读取的数据，这些数据按照统计
转载
2023-10-25 12:39:34
141阅读
一、Hadoop优势高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失 高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点（在执行时可以动态增加节点与删除节点） 高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度 高容错性：能够自动将失败的任务重新分配二、Hadoop组成HDFS：主要解决海量数据
转载
2023-06-02 10:22:12
1831阅读
1．下载解压hadoop2.6tar -zxvf hadoop-2.6.0.tar.gz2．修改hadoop-env.shexport JAVA_HOME=/usr/local/jdk1.7.0_80
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/usr/local/hbase-0.98.15/lib/*3．修改yarn-env.sh、export J
数据库原理及应用实验报告一、实验目的与要求使学生加深对数据安全性与完整性的理解。并掌握SQL Server中有关用户、角色及操作权限的管理方法。熟悉通过SQL语句对数据进行完整性控制。 二、实验内容题 目：专 业：班 级：学 号：姓 名：数据库安全性与完整性实验 软件工程数据库的安全性实验，在SQL Server企业管理器中，设置SQL Server的安全认证模式，实现对SQL Server的用户
转载
2023-07-01 13:39:03
522阅读
操作系统 实 验 报 告 课程名称 操作系统实验 课程编号 201406412 实验项目名称 实验环境的使用 学号 2017201212 班级 20172012 姓名 李博浩 专业 软件工程 学生所在学院 计算机科学与技术学院 指导教师 关键 实验室名称地点 21B476哈尔滨工程大学第一讲 实验环境的使用 一、实验概述实验名称 实验环境的使用实验目的 熟悉操作系统集成实验环境 OS Lab 的基
