最近新购置的电脑到货~ 准备从环境的搭建开始记录下我编程学习和工作成长的全过程. 废话不多说,开始搭建windows下的大数据开发环境. 1.java jdk的安装以及环境变量的配置下载链接
转载
2023-12-12 23:29:47
57阅读
Hadoop：设置单节点群集。目的先决条件支持的平台必备软件安装软件下载准备启动Hadoop集群独立操作伪分布式操作组态设置passphraseless ssh执行YARN在单个节点上全分布式操作目的本文档介绍如何设置和配置单节点Hadoop安装，以便您可以使用Hadoop MapReduce和Hadoop分布式文件系统（HDFS）快速执行简单操作。先决条件支持的平台支持GNU / Linux作为
# Hadoop Java 客户端 HDFS 使用指南
Hadoop 是一个开源框架，允许分布式处理大数据集。Hadoop 的核心组件之一是 Hadoop 分布式文件系统（HDFS），它为分布式存储提供了高效的方式。在本文中，我们将深入探讨如何使用 Java 客户端与 HDFS 进行交互。我们将通过示例代码演示如何上传、下载文件，并管理 HDFS 中的数据。
## HDFS 概述
HDFS
本篇博客介绍使用Java API操作HDFS的方法。为本人的学习笔记。 学习参考视频教程：https://coding.imooc.com/class/301.html方法我们想要使用Java 来操作HDFS，就要先连接到HDFS文件系统，好在Hadoop 已经有了官方的jar包可以直接使用里面的类和方法。使用下面的定义的方法要首先创建一个maven项目，导入hadoop的依赖和junit的依赖。
转载
2023-07-12 14:36:49
26阅读
问题分析本题主要是考察学员对mapreduce的熟悉程度核心答案讲解（1）reduce side joinreduce side join是一种最简单的join方式，其主要思想如下： 在map阶段，map函数同时读取两个文件File1和File2，为了区分两种来源的key/value数据对，对每条数据打一个标签 （tag），比如：tag=0表示来自文件File1，tag=2表示来自文件File2。
转载
2023-07-12 13:20:03
52阅读
1.导入pom依赖<properties>
......
<hadoop.version>3.1.2</hadoop.version>
</properties>
<dependencies>
<dependency>
<groupId>org.apache.had
转载
2023-08-31 23:25:12
54阅读
大数据hadoop学习【6】-----通过JAVA编程实现对HDFS文件操作的JAVA整体项目目录一、JAVA项目的整体结构介绍1、项目目录展示2、项目中类的功能的解释3、项目文件数据准备二、题目要求内容的分步讲解1、 向HDFS上传任意文本文件，如果指定的文件在HDFS中已经存在，由用户指定是追加到原有文件末尾还是覆盖原有的文件2、从HDFS中下载指定文件，如果本地文件与要下载的文件名称相同，
转载
2023-07-12 18:26:04
1206阅读
我们学习hapood，需要在系统中配置JAVA和Hadoop环境，今天我们就来使用Xshell配置对应环境。一个hadoop服务器需要这些东西，我们今天的文章只配置java和hadoop环境。
服务器hadoop102
硬件
IP网络
主机名称
转载
2023-07-12 13:08:54
74阅读
通过API操作之前要先了解几个基本知识一、hadoop的基本数据类型和java的基本数据类型是不一样的，但是都存在对应的关系如下图如果需要定义自己的数据类型，则必须实现Writablehadoop的数据类型可以通过get方法获得对应的java数据类型而java的数据类型可以通过hadoop数据类名的构造函数，或者set方法转换二、hadoop提交作业的的步骤分为八个，可以理解为天龙八步如下：map
转载
2023-09-14 08:19:56
213阅读
大数据作为一个新兴且高端的词，受到来自己各个领域的追捧，除了各大企业对大数据侧目之外，一大批转行者和待业者也纷纷将目光聚焦在了大数据开发。对于这些想要进入大数据开发领域的人而言，在学习的过程中对于hadoop的学习就不可或缺，因此，关于hadoop的的基础知识你就更应该清楚。对于hadoop，我们可以首先了解一下其核心，这个核心大体包括两个方面。其一是hdfs，它是一个高度容错性的系统，适合部署在
转载
2023-07-12 13:19:51
108阅读
大数据hadoop学习【11】-----根据要求，编写JAVA程序，实现对Hbase表中数据进行操作目录一、JAVA编程实现对Hbase数据库的操作1、进行Hbase的访问及关闭访问2、列出HBase所有的表的相关信息，例如表名3、在终端打印出指定的表的所有记录数据4、向已经创建好的表添加指定的列族或列5、向已经创建好的表删除指定的列族或列6、删除指定的表中的某一行的所有数据7、统计表的行数8、
转载
2023-08-11 09:27:34
45阅读
问题导读：1.遇到问题该如何排除错误？2.看不到namenode的可能原因是什么？3.地址占用该如何解决？4.could only be replicatied to 0 nodes, instead of 1的可能原因是什么，该如何解决？5.通过localhost.localdomain根本无法映射到一个IP地址，会报什么错误？遇到问题以后先查看日志，以下是常见的错误情况及解决方法，希望对大家有
转载
2023-07-24 12:59:58
86阅读
本文主要是对数据倾斜的一些问题以及前面的一些常见案例做一些汇总： 1、 解决数据倾斜思路MapReduce本身是分布式程序，比如：一个程序在某个服务器上运行，将其中的一部分jar文件放在另一个服务器上，可以进行运行；Wc.jar文件放在客户端，然后通过socket直接传给其他的服务器，然后再客户端运行wc.jar文件，让各个wc.jar文件在各个服务器上独立运行，
转载
2023-09-13 23:22:23
157阅读
Android SDK：Android SDK提供了你的API库和开发工具构建，测试和调试应用程序，Android。简单来讲，Android SDK 可以看做用于开发和运行Android应用的一个软件。SDK官方地址下载：http://developer.android.com/sdk/index.html （无法保证可以访问）Android-s
转载
2023-06-02 13:15:46
114阅读
ubuntu 环境配置与软件安装ubuntu系统安装好后的环境配置1.切换清华源2.安装nvidia显卡驱动3.pycharm下载4.anaconda下载5.google chrome下载6.cuda和cudnn7.壁纸qq 安装wps 安装安装录屏工具qt安装安装cmake增加swap空间安装opencv新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入
1、windows 下Java 环境的安装和配置： 下载jdk并安装 配置环境变量： (1) 新建JAVA_HOME环境变量，赋值为JDK的安装目录： (2) 新建CLASSPATH环境变量，赋值为.;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;
转载
2018-07-31 19:38:00
1139阅读
2评论
一 本人遇到一些fedora的基本问题
1.sudo -s这个命令最初是不能使用。（命令行操作）
1）使用$ su -进入root权限（$:代表是在用户操作态，#:表示root态。这是不用写的）
&
转载
精选
2012-07-24 13:25:27
459阅读
说到环境变量，大家可能都很熟悉，但是对于开始学 java 的人，甚至到学了一段 java 时间的人，都可能不是很懂，为啥要配置环境变量，怎么配置环境变量。下面，我将为大家讲到为啥要配环境变量，已经该怎么配，环境变量到底是个什么东西？一、环境变量是什么东西？环境变量到底在哪里？1.1 右键单击我的电脑1.2 选择属性之后会打开一个名叫系统新的窗口，之后我们选择新窗口中的高级系统设置1.3 单击高级
转载
2024-01-11 13:43:39
65阅读
java环境配置
原创
2022-06-29 23:06:37
102阅读
PyCharm+Miniconda3安装配置教程PyCharm是Python著名的Python集成开发环境（IDE）conda有Mi
原创
2023-05-24 14:50:32
73阅读
