1 面试题1.1 简述Hadoop小文件弊端过多的小文件会加重 namenode 负担，增加寻址成本，降低处理效率，最终导致集群整体性能下降。1.2 HDFS中DataNode挂掉如何处理？HDFS namenode 与 HDFS datenode 具有周期性心跳通信机制，检查发现某个数据的副本数量小于冗余因子时，说明有 datanode 节点宕机，HDFS 就会启动数据冗余复制，为它生成新的副本
转载
2024-02-22 23:28:49
38阅读
一，什么是分布式文件系统，分布式文件系统能干什么在学习一个文件系统时，首先我先想到的是，学习它能为我们提供什么样的服务，它的价值在哪里，为什么要去学它。以这样的方式去理解它之后在日后的深入学习中才能够对它有一个更深层次的理解。1. 什么是分布式文件系统所谓的分布式文件系统，我的个人理解是管理网络中把数据存储在不止一台机器上的系统，这样的存储方式被称为分布式存储。（管理网络中跨多台计算机存储的文件系
最近某hadoop集群多次出现机器宕机，现象为瞬间机器的sys cpu增长至100%，机器无法登录。只能硬件重启，ganglia cpu信息如下：首先怀疑有用户启动了比较奇葩的job，导致不合理的系统调用出现的问题。随后加了ps及pidstat信息收集job信息（公共集群蛋疼的地方），然后出现问题的时候，各类脚本已经无法工作，一直没有抓到现场。终于在某一次看到一台机器sy
转载
2023-07-11 22:45:43
145阅读
前言本次作业是在《爬虫大作业》的基础上进行的，在《爬虫大作业》中，我主要对拉勾网python岗位的招聘信息进行的数据爬取，最终得到了2641条数据存在一个名为lagoupy.xls中。本次作业的任务主要有以下三点：1.对CSV文件进行预处理生成无标题文本文件，将爬虫大作业产生的csv文件上传到HDFS2.把hdfs中的文本文件最终导入到数据仓库Hive中，在Hive中查看并分析数据3.用Hive对
转载
2023-07-11 22:18:52
194阅读
目录引言API实操1、连接hdfs（一）2、连接hdfs（二）3、创建文件夹4、上传文件5、遍历文件夹6、下载文件7、重命名文件或者文件夹8、删除文件或者文件夹9、小文件合并 引言HDFS在生产应用中主要是客户端的开发，其核心步骤是从HDFS提供的API中构造一个HDFS的访问客户端对象，然后通过该客户端对象操作（增删改查）HDFS上的文件。API介绍： 1. API（Application
转载
2023-09-19 21:41:21
91阅读
一 、配置Windows下的
Hadoop环境 导入依赖与插件<dependencies>
<dependency>
<groupId>org.apache.
hadoop</groupId>
<artifactId>
hadoop-common</artifactI
转载
2023-07-13 17:53:55
50阅读
利用Hadoop API使用Java开发程序学习-文件夹操作 学习目标：熟悉Java开发掌握Hadoop API操作创建文件夹和删除文件夹的方式软件版本信息工具名称说明VMware-workstation-full-15.5.1-15018445.exe虚拟机安装包MobaXterm_Portable_v20.3.zip解压使用，远程连接Centos系统远程访问使用，支持登录和上传文件CentOS
转载
2023-07-12 12:19:23
100阅读
一、Hadoop综合大作业 要求：1.将爬虫大作业产生的csv文件上传到HDFS爬取的数据总共有10个表格（分别是不同类别）2.对CSV文件进行预处理生成无标题文本文件对字段进行预处理：查看生成的table.txt：3.把hdfs中的文本文件最终导入到数据仓库Hive中启动hdfs：4.在Hive中查看并分析数据5.用Hive对爬虫大作业产生的进行数据分析，写一篇博客描述你的分析过程和
转载
2024-01-16 18:11:23
55阅读
大数据第二次作业操作大家好，我是【豆干花生】，这次我带来了大数据的第二次实践作业~ 主要内容为hadoop编程，使用GraphLite进行同步图计算 可以说十分具体了，包含了具体操作、代码指令、各个步骤截图。 文章目录大数据第二次作业操作一.作业内容二.第一个作业--hadoop编程1.具体代码如下：2.准备工作:3.具体操作三.第二个作业--同步图计算，SSSP1.具体代码2.准备工作3.具体操
转载
2024-03-14 05:44:43
92阅读
作业要求1.对CSV文件进行预处理生成无标题文本文件，将爬虫大作业产生的csv文件上传到HDFS2.把hdfs中的文本文件最终导入到数据仓库Hive中，在Hive中查看并分析数据3.用Hive对爬虫大作业产生的进行数据分析（10条以上的查询分析） 作业题目：爬取电影《何以为家》影评并进行综合分析大数据案列：1.准备本地数据文件对CSV文件进行预处理生成无标题文本文件，将爬虫大
转载
2023-12-13 12:02:55
244阅读
一、从Hadoop URL 中读取数据使用java.net.URL对象打开一个数据流InputStream in = new URL("hdfs://host/path").openStream();二、FileSystem 对象取得FileSystem实例有两种静态方法：（1）public static FileSystem get（Configuration conf) //Configura
转载
2023-09-14 13:06:25
53阅读
目标通过Java API来操作HDFS，完成的操作有：文件上传、文件下载、新建文件夹、查看文件、删除文件。前提条件1.Windows下安装好jdk1.82.Windows下安装好maven，这里使用Maven3.6.33.Windows下安装好IDEA，这里使用IDEA20214.Linux下安装好hadoop2，这里使用hadoop2.7.3操作步骤1.新建一个Maven工程打开IDEA--&g
转载
2023-07-03 20:31:41
141阅读
Gitee仓库Hadoop项目下载地址Gitee仓库地址：Hadoop实战项目源码集合: 首先，启动Hadoop集群服务然后在浏览器访问Hadoop，点击Browse the file system 查看HDFS文件系统的目录 可以看到目前HDFS文件系统的目录是空的，没有任何的文件和文件夹，下面开始今天的API操作 一、创建Maven项目首先，打开IDEA，点击新
转载
2023-08-02 19:33:48
116阅读
1、Flink DataStreamAPI 获取执行环境-Environment getExecutionEnvironment 创建一个执行环境，表示当前执行程序的上下文。 如果程序是独立调用的，则此方法返回本地执行环境；如果从命令行客户端调用程序以提交到集群，则此方法返回此集群的执行环境，也就是说，getExecutionEnvironment会根据查询运行的方式决定返回什么样的运行
转载
2023-10-27 00:16:22
73阅读
第一步 提交图片file1) 请求地址https://plat-miniapp.zuoyebang.com/miniapp/api/questions/upload2) 调用方式：HTTP post3) 接口描述：提交图片file4) 请求参数:POST参数:字段名称字段说明类型必填备注Content-Disposition: form-data; namestringY-5) 请求返回结果:{
转载
2023-07-13 12:41:36
1478阅读
Hadoop入门教程：Java API实现，对Java程序员来讲，直接调用Hadoop的Java API来实现是最为方便的，要使用Java API至少需要实现三个重要组件：Map类、Reduce类、驱动Driver。下面将具体实现Java API的词频统计程序。(1)实现Map类：WordcountMapper.java，核心代码如下：
import java.io.IOException;
转载
2023-07-08 16:15:04
61阅读
文章目录Java客户端操作HDFS使用Java客户端创建目录上传和下载删除和重命名判断路径是否存在判断是文件还是目录获取块的位置信息 Tip:本节内容均是在我之前搭建的完全分布式上进行！！ Java客户端操作HDFS服务端： 启动NN,DN
客户端： 使用shell客户端 hadoop fs
使用java客户端
使用python客户端我在windows也要配
转载
2023-07-05 13:49:56
88阅读
文章目录HDFS Java API操作零、启动hadoop一、HDFS常见类接口与方法1、hdfs 常见类与接口2、FileSystem 的常用方法二、Java 创建Hadoop项目1、创建文件夹2、打开Java IDEA1) 新建项目2) 选择Maven三、配置环境1、添加相关依赖2、创建日志属性文件四、Java API操作1、在HDFS上创建文件2、在Java 上创建包1) 编写`creat
转载
2023-11-18 23:12:29
243阅读
1. 首先我们新建一个java工程，这个java工程所使用的JRE要与我们在Hadoop环境所使用的版本一致，避免一些不必要的错误。我这里用的jdk是1.8版本的。
转载
2023-05-24 23:16:08
129阅读
# Hadoop Java API 科普指南
## 引言
在大数据领域中，Hadoop是一个广泛使用的开源框架，用于处理大规模数据集。Hadoop的核心是分布式文件系统（Hadoop Distributed File System）和MapReduce计算模型。Hadoop提供了一系列的API来让开发者能够使用Java编写自己的Hadoop应用程序。
本篇文章将介绍Hadoop Java A
原创
2023-08-06 22:22:42
84阅读
