学习感悟（1）配置环境最费劲（2）动手写，动手写，动手写WordCountpackage wordcountimport org.apache.spark.{SparkConf, SparkContext}/** * @author CBeann * @create 2019-08-10 18:02 */object WordCount { def main(args: Array[Str
原创
2022-09-13 11:44:57
145阅读
package mydemo
import org.apache.spark.{SparkConf, SparkContext}
object MyWordCountDemo {
def main(args: Array[String]): Unit = {
原创
2018-02-28 10:18:01
1697阅读
HDFS读写流程一、写流程二、读流程三、总结 一、写流程（1）客户端通过Distributed FileSystem（我翻译成分布式文件系统？）模块向NameNode请求上传文件（会给定一个路径），然后NameNode检查目标文件是否存在，以及父目录是否存在。 （2）NameNode返回是否可以上传。 （3）客户端向NameNode请求上传第一个Block，向NameNode请求可以上传到哪几个
转载
2023-07-12 12:12:35
43阅读
文章目录1. HDFS写数据1.1 HDFS写数据流程1.2 关于副本结点的选择流程2. HDFS读数据 1. HDFS写数据1.1 HDFS写数据流程 HDFS读写流程：HDFS客户端创建 DistributedFileSystem(分布式文件系统)类的对象实例。【该对象中封装了与HDFS文件系统操作的相关方法】调用DistributedFileSystem对象的create()方法，通过 R
转载
2023-08-21 10:29:09
42阅读
## 用K8S部署大数据框架Hadoop和Scala
欢迎来到这篇关于如何在Kubernetes（K8S）上部署大数据框架Hadoop和Scala的教程。本教程适合那些想要学习如何在容器化环境下管理和部署大数据框架的开发者。在本教程中，我们将分步骤介绍如何配置和部署Hadoop和Scala，同时利用K8S的弹性和自动化管理特性。
### 步骤概览
在下面的表格中，我们列出了本教程的大致步骤，
原创
2024-05-30 09:59:42
61阅读
## Hadoop写权限实现指南
### 1. 概述
在Hadoop中，为了实现写权限，需要进行一系列的配置和操作。本文将指导您了解整个过程，并提供每一步所需执行的代码。
### 2. 流程概览
下面的表格展示了实现Hadoop写权限的整个流程。
| 步骤 | 描述 |
| ---- | ---- |
| 1. 创建用户组 | 创建一个用户组，用于管理具有写权限的用户。 |
| 2. 创
原创
2023-12-07 09:16:13
27阅读
# 如何在简历中写Hadoop技能
在现代数据处理的世界中，Hadoop是一个重要的技术栈，因此在你的简历中强调它的经验能够使你在众多候选人中脱颖而出。本文将指导你怎样在简历中高效地描述Hadoop的相关技能与项目经验。同时，我们将为你提供一套可深度掌握的流程。
## 一、简历中加入Hadoop技能的流程
下面是将Hadoop技能融入到简历中的步骤：
| 步骤 | 描述 |
|------
原创
2024-09-21 07:06:36
101阅读
Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。 这里包含我们使用到的组件：HDFS, YARN, HBase, Hive, ZooKeeper: 组件节点默认端口配置用途说明HDFSDataNode50010dfs.datanod
转载
2023-08-18 21:13:31
109阅读
Mapreduce处理原则：将输入数据分割成块（称输入分片），在各台计算机上并行处理。HDFS按块存储文件，并分布在多台计算机上，如果每个分片/块都由它所驻留的机器处理，就实现了并行。HDFS再在多个节点上复制数据块，MapReduce可以选择任意一个包含分片/数据库副本的节点。
InputFormat
转载
2023-10-06 21:05:14
39阅读
一、函数 ### 函数 ~~~ 函数体中最后一句为返回值的话，可以将return 去掉； ~~~ 如果一个函数体只有一句代码，大括号可以去掉； ~~~ 如果一个函数没有返回值，其返回类型为Unit , 并且 “=” 号可以去掉，这样的函数被称为过程； ~~~ 可以不声明函数的返回类型，返回类型可通过
原创
2022-04-13 16:41:11
38阅读
在Hadoop中我们一定会使用hdfs的传输，那么，hdfs的读写流程究竟是什么，我利用了一点时间整理了一下 首先就是官网的图，介绍了HDFShdfs写流程 1，客户端client调用DistributedFileSystem这个对象的create方法去和NameNode这个节点进行rpc通信，然后NameNode来检查create这个方法所传输过来的hdfs_path这个路径是否已经存在以及是否
转载
2023-12-18 14:15:18
36阅读
hadoop+spark+scala环境--单实例版
原创
2019-04-03 18:00:51
969阅读
-------------------------------------------------
原创
2022-07-14 09:43:44
50阅读
Hystrix是Netflix开源的限流、熔断降级组件，去年发现Hystrix已经不再更新了，而在github主页上
原创
2022-07-08 08:12:40
521阅读
一、文件操作 ### 导入scala.io.Source后，可引用Source中的方法读取文本文件的内容 ~~~ 如果要将文件内容转数组，直接调用toArray。 import scala.io.{BufferedSource, Source} object FileDemo { def main(
原创
2022-04-13 16:41:10
78阅读
一、Scala基础 ### Scala语言概况：Scala语言起源 ~~~ 马丁·奥德斯基（Martin Odersky）是编
原创
2022-04-25 11:07:10
65阅读
# 使用 Java 在 Hadoop 中写文件的探索之旅
Hadoop 是一个开源的分布式计算框架，被广泛用于大数据的存储和处理。写文件到 Hadoop 的 HDFS（Hadoop Distributed File System）是使用 Hadoop 进行数据处理的基本操作之一。本文将通过一个简单的 Java 示例，带领你了解如何使用 Java API 在 Hadoop 中写文件，并附带一幅旅行
原创
2024-09-28 05:42:16
22阅读
1.背景介绍大数据处理是现代数据科学和工程的核心技术，它涉及到处理海量、高速、多源、不确定性和不可靠性的数据。随着互联网、人工智能、物联网等领域的快速发展，大数据处理的重要性日益凸显。Hadoop 和 Spark 是目前最主流的大数据处理技术，它们各自具有不同的优势和应用场景。Hadoop 是一个开源的分布式文件系统(HDFS)和分布式计算框架(MapReduce)的集合，它可以处理海量数据并提供
转载
2024-10-12 11:37:44
25阅读
Hadoop（某人儿子的一只虚拟大象的名字）是一个复杂到极致，又简单到极致的东西。 说它复杂，是因为一个hadoop集群往往有几十台甚至成百上千台low cost的计算机组成，你运行的每一个任务都要在这些计算机上做任务的分发，执行中间数据排序以及最后的汇总，期间还包含节点发现，任务的重试，故障节点替换等等等等的维护以及异常情况处理。谁叫hadoop集群往往都是由一些平民计算机组成，没事儿罢个工什
一、项目介绍该系统基于Hadoop平台，利用Java语言、MySQL数据库，结合目前流行的 B/S架构，将物品租赁管理的各个方面都集中到数据库中，以便于用户的需要。在确保系统稳定的前提下，能够实现多功能模块的设计和应用。该系统由管理员功能模块和用户模块组成。不同角色的准入制度是有严格区别的。各功能模块的设计也便于以后的系统升级和维护。该系统采用了软件组件化、精化体系结构、分离逻辑和数据等方法。关键
转载
2024-10-28 15:21:06
24阅读
