shell脚本运行的环境：shell 脚本，就是把多条命令，有组织的编写到一个文件中，来实现一系列动作，方便的执行的一个文件。Shell脚本主要应用在shell环境中，我们使用的rhel6，主要使用的bash shell解释工具来完成人机的交互。在日常的操作系统中还有其他的shell解释工具，如csh,tcsh,dash,zsh等等。Shell脚本可以实现一系列的动作的自动化运行。是自动
文章目录一、实验环境二、实验内容0．安装Linux操作系统（虚拟机）1．熟悉常用的Linux操作出现的问题 一、实验环境操作系统：Linux（Centos8.4）；Hadoop版本：3.3.1二、实验内容0．安装Linux操作系统（虚拟机）要求：主机名设置为”自拟主机名_Master001”，在实验内容第一行中写明自拟主机名。1．熟悉常用的Linux操作1）cd命令：切换目录 （1）切换到目录“
转载
2023-08-10 16:31:10
510阅读
学习hadoop有几天了，记录一下心得。初期的目标是：１：数据采集的方式，以shell脚本为主，系统配置某一些文件夹，每个文件夹是一个采集器，这样的话，一旦发现有对应的文件，那么就调用shell去进行文件上传。２：map reduce计算，也是以shell为主。当有数据时，就自动对该数据进行计算，汇总成对应的批量入库文件。３：调用批量入库脚本，将数据批量执行到数据库中。安装的过程：先
转载
2023-12-12 19:47:38
206阅读
Liunx系统目录├── bin -> usr/bin # 用于存放二进制命令
├── boot # 内核及引导系统程序所在的目录
├── dev # 所有设备文件的目录（如磁盘、光驱等）
├── etc # 配置文件默认路径、服务启动命令存放目录
├── home # 用户家目录，root用户为/root
├── lib -> usr/lib # 32位库文件存放目录
├── lib
一、实验内容Linux基础入门二、实验过程（一）Linux基本概念及操作Linux是一个操作系统物理机系统上可以通过使用[Ctrl]+[Alt]+[F1]～[F6]进行终端和图形界面切换，在线实验环境中按下[Ctrl]+[Alt]+[F7]来完成切换。普通意义上的 Shell 就是可以接受用户输入命令的程序，Unix/Linux 操作系统下的 Shell&n
转载
2023-10-10 06:23:03
77阅读
《HBbase原理与实践》读书笔记第五章 RegionServer的核心模板RegionServer 是HBase 的最核心组件，主要负责 用户数据的读写等IO操作。
一个RS由默认由一个HLog、一个BlockCache 以及多个Region组成。
一个Region由一个 多个store 组成 （有多少column 就有多少 store）
一个store 由 一个MemStore 和 多
转载
2024-09-13 18:42:50
68阅读
1、实验目的 搭建 Hadoop 运行环境，了解其基本操作。 2、实验内容 一、搭建 Hadoop 在个人电脑上搭建 Hadoop，操作系统 Linux/Windows 都可以，可使用虚拟机，单节点（如果时间充裕，可以搭建多节点）。 2、更改了计算机名为node1 node2 node3，方便操作。 3、三者的ip地址 4、更改三者的hosts文件（名称和ip对应），这里是因为hadoop规定必
转载
2023-08-04 12:26:22
72阅读
实验03 ArcGIS基本操作与数据表示 实验目的ArcGIS的基本操作及ArcGIS中空间数据的不同表示方法 实验内容在ArcGIS中，创建地图或打开已有的底图，进行数据加载、数据显示、地图布局与地图输出等方面的基本操作认识ArcGIS中的集中数据格式，创建新的Shapefile数据 实验原理ArcGIS最基本的造作，包括新建或打开地图、数据加载、数据显示和浏览、地图布局与输出等空间数据是GIS
转载
2024-04-26 18:42:24
39阅读
Linux系统基本操作实验报告
本次实验我们学习了Linux系统的基本操作，掌握了一些基本的命令和操作技巧。Linux操作系统作为一种开源系统，具有稳定性高、安全性强、灵活性大的优点，被广泛应用于服务器等领域。
首先，我们学习了如何在Linux系统中进行文件和目录的管理。我们通过使用命令行工具来新建文件夹、复制文件、移动文件等操作，掌握了如何查看文件和文件夹的权限、大小、类型等信息。这些都是管
原创
2024-05-08 11:37:03
103阅读
在本文中，我们将深入探讨Hadoop实验报告的编写过程。通过逐步解读环境准备、集成步骤、配置详解、实战应用、排错指南以及性能优化六个部分，您将获得对Hadoop实验的全面理解。让我们开始吧！
### 环境准备
在准备Hadoop的实验环境中，我们需要安装一些依赖项，以确保我们的系统能够顺利运行。下面是相关的依赖安装指南。
| 依赖项 | 版本 | 兼容性 |
# Hive的基本操作
## 简介
Hive是一个建立在Hadoop之上，用于处理大规模数据的数据仓库工具。它提供了类似于SQL的查询语言——HiveQL，可以方便地进行数据分析和处理。本文将介绍Hive的基本操作，包括创建表、插入数据、查询以及删除表等。
## 安装与配置
首先，我们需要在Hadoop集群上安装Hive。可以从Hive的官方网站下载最新的稳定版本，并解压到指定的目录。然后
原创
2023-08-26 11:29:17
429阅读
1.实验目的建立伪分布式（有条件的可以建立分布式环境）的Hadoop环境，并成功运行示例程序。2.Hadoop简介2.1 Hadoop项目基础结构在其核心，Hadoop主要有两个层次，即：加工/计算层(MapReduce)存储层(Hadoop分布式文件系统)除了上面提到的两个核心组件，Hadoop的框架还包括以下两个模块：Hadoop通用：这是Java库和其他Hadoop组件所需的实用工具Hado
转载
2023-11-15 11:50:10
320阅读
1.hdfs：靠谱：有备份写入hdfs系统时，生成一个校验和，传输数据时再生成一个校验和，传输完成时又生成一个校验和。对比上传前后校验和。每个datanote运行一个守护线程datablockscanner数据块扫描器。2.namenode刚启动工作过程： 进入安全模式，加载fsimage和edit日志（镜像和编辑日志）。如果满足最小副本
转载
2024-05-15 15:42:33
65阅读
1> 关于load 数据的时候，如果数据不是在本地，那么是不需要加上local关键字；此时，表示的是数据在HDFS上，可能会问：数据本来就是在HDFS上，那为什么还要load呢？load的目的就是将数据的目录修改，修改指向到/usr/hive/warehouse下面。因此，如果考虑和规划不当，那么会导致HDFS上目录的很大变化。 关于over
转载
2023-11-07 15:10:12
199阅读
hadoop 两大组件 mapreduce和hdfs用HDFS的目标避免硬件故障硬件故障是常态，而不是例外。一个HDFS实例可能包括数百或数千个服务器，存储文件系统的部分数据。事实上，有大量的组件，每个组件都有一个非平凡的失效概率意味着HDFS的一些组件总是非功能。因此，故障的快速检测，从自动的恢复是HDFS的一个核心构架目标。流式数据访问应用程序运行在HDFS需要流媒体访问他们的数据集。它们不是
转载
2023-07-13 17:58:18
819阅读
Hadoop实施已经有快一个月了，对Hadoop(1.0.3)的概念理解、使用，Linux 与 Shell脚本，甚至对 Mysql 都有了更多的理解。项目背景：用于互联网信息收集后的关键词匹配与内容提取。主要系统架构分为互联网爬虫、分析、业务应用三块： 简单架构描述
由于我在当中的角色主要负责分析架构的搭建，所以其他两块都画得简单，下面也不会过多的描述。 Hadoop理解
转载
2023-12-11 22:56:15
158阅读
一、实验目的 （1）掌握在 Linux 虚拟机中安装 Hadoop 和 Spark 的方法； （2）熟悉 HDFS 的基本使用方法； （3）掌握使用 Spark 访问本地文件和 HDFS 文件的方法。 二、实验平台 操作系统：centos6.4； Spark 版本：1.5.0； Hadoop 版本：2.7.3。 三、内容实验一：1．安装 Hadoop 和 Spark 进入
转载
2023-07-11 22:36:00
465阅读
实验四 Hive实践实验四 Hive实践介紹项目1：Hive安装配置项目2：Hive操作实践——员工工资信息统计项目3：MapReduce+Hive综合实践——搜狗日志查询分析 实验四 Hive实践介紹1.实验目的2.实验原理3.实验准备4.实验内容 时长：4次课（4周） 1.实验目的熟悉Hive命令，通过编写HiveQL脚本初步掌握更高层次的ETL操作。联合使用MapReduce+Hive，计
转载
2023-12-20 20:39:19
535阅读
所谓“万事开头难”，Hadoop集群实验环境的安装放倒了不少新手，没有安装好实验环境导致后面的内容没法学习，于是乎只有放弃了。Hadoop的运行模式主要有三种： • 单机模式。默认情况下，Hadoop被配置成以非分布式模式运行的一个独立Java进程。这对
转载
2023-11-21 15:40:10
91阅读
在本篇博文中，我将介绍如何熟悉Hive的基本操作，为大家提供一份详细的实验报告。我们会一一探讨环境准备、分步指南、配置详解、验证测试、排错指南以及扩展应用等内容。通过这些步骤，你将能够顺利部署并操作Hive，享受大数据处理的乐趣。
## 环境准备
在搭建Hive环境之前，确保你的硬件和软件符合要求。
### 软硬件要求
| 项目 | 要求 |
| -
