文章目录1. 安装前说明2. 配置spark1. 上传解压2. 配置环境变量3.修改spark 的 配置1. 修改 spark-env.sh 文件2. 在spark-env.sh文件中添加如下内容3. 修改slaves 文件4. 在slaves 文件中添加要工作的节点(IP地址)5. 分发到其它节点(hadoop01执行)启动 和 关闭 spark 集群查看web界面4. 测试1. 创建word
转载
2023-11-28 10:54:36
457阅读
点赞
一：hbase介绍：1.介绍：hbase，hadoop家族一员，是一个开源的，分布式的，面向对象，非结构化数据的存储系统。hbase存储基于列而不基于行。而且存储的是松散型数据模式。Hbase 就是 NoSQL 中卓越的一员，Hbase 提供了键值 API，承诺强一致性，所以客户端能够在写入后马上看到数据。HBase 依赖 Hadoop 底层分布式存储机制，因此能够运行在多个节点组成的集群上，并对
转载
2023-09-14 08:25:17
94阅读
一、Seata的部署和集成1.1 下载首先我们要下载seata-server包，地址在http?/seata.io/zh-cn/blog/download.html1.2 解压在非中文目录解压缩这个zip包，其目录结构如下：1.3 修改配置修改conf目录下的registry.conf文件：内容如下：registry {
# tc服务的注册中心类，这里选择nacos，也可以是eureka、zo
转载
2024-07-09 21:26:42
160阅读
Kubernetes（也被称为k8s）是一个用于自动部署、扩展和管理容器化应用程序的开源平台。在使用Kubernetes之前，我们需要先了解一些基本概念和相关知识。首先，Kubernetes是一个用于构建和管理多个容器的集群管理系统，所以在一定程度上，Kubernetes确实需要一个集群来运行。在接下来的文章中，我将为您介绍如何在本地环境中搭建一个简单的Kubernetes集群。
Kuberne
原创
2024-02-07 12:50:02
40阅读
Hadoop是一个能够对大量数据进行分布式处理的软件框架。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop 还是可伸缩的，能够处理 PB 级数据。此外，Hadoop 依赖于社区服务，
转载
2023-09-14 08:23:46
153阅读
安装HadoopSpark默认使用HDFS充当持久化层,所以需要安装Hadoop,当然也可以不安装。最好下载和spark对应的版本。 spark单机环境安装
{linux下的安装，windows上也类似}
安装jdk依赖[java环境配置：安装jdk]下载spark相应hadoop2.*版本选择Spark最新发布版，一个预构建的Hadoop 2.*包，直接下载。Download Apac
转载
2024-05-24 19:11:33
196阅读
1.安装2.shell操作3.python操作Hbase1）本地操作 a、创建表格 b、写数据 c、读数据2）集群操作4.Java操作Hbase（和Storm集合做实时推荐）1）本地操作1.安装1)打开配置文件bashr
转载
2023-08-16 18:20:30
111阅读
Shuffle机制所谓shuffle就是把不同节点上的数据按相同key值拉取到一个节点上,在这过程中会涉及到IO,所以执行速度会受到影响.shuffle发生在map 和reduce之前(也可以说是两个stage之间)分为shuffleWrite 和shuffleRead两个过程 shuffle 过程: 前一个stage进行shuffle write 把数据存在blockManage, 下一个sta
# 如何在Hadoop中实现“一定不用root安装”
## 1. 事情流程
```mermaid
journey
title 整件事情的流程
section 开始
开发者->小白: 介绍Hadoop不用root安装的方法
section 中间步骤
小白->开发者: 实施每一步骤
section 结束
小白: 成功实
原创
2024-02-24 05:03:30
45阅读
启动Spark集群之前需要先启动Hadoop集群
随着大数据技术的快速发展，Spark和Hadoop已经成为了分布式计算和存储领域的两个最重要的工具。在使用Spark进行数据处理之前，我们一定要确保Hadoop集群已经正确启动，否则Spark无法正常运行。本文将介绍启动Spark集群之前需要先启动Hadoop集群的步骤和代码实例。
首先，让我们来看一下整个流程的步骤：
| 步骤 | 内容 |
原创
2023-12-28 11:25:08
455阅读
安装环境：win vista 32位 nvidia公司的显卡安装前提：visual studio 2010Visual Assist X安装步骤：1. CUDAToolkit4.1下载地址 在该地址下一次下载CUDA Toolkit，DeveloperDrivers，GPU Computing SDK后，进行安装。2.首先安装 Developer D
python一定需要mysql吗？这个问题引发了许多开发者的讨论。Python作为一门强大的编程语言，确实可以与多种数据库搭配使用，MySQL只是其中的一种选择。在这篇博文中，我们将深入探讨Python与数据库的关系，并进行详细的配置与实战演练。
## 环境准备
在准备环境时，首先确保你的系统具备Python和相应的数据库。
```markdown
| 软件 | 版本
文章目录Zookeeper和Dubbo-Admin的安装使用Dubbo进行原远程过程调用Dubbo整合spring-boot配置解释启动时检查超时设置重试次数多版本Zookeeper宕机与Dubbo直连负载均衡Random LoadBalanceRoundRobin LoadBalanceLeastActive LoadBalanceConsistentHash LoadBalance服务端服务
本章名称的原文是Master Scheduling,直接翻译应该是主排程或者其他什么，不过感觉叫编制主计划更顺一下。概述
在生产计划后，MPC的下一步就是MPS了(master production schedule).本章分析在编制和管理MPS是要考虑的基本内容。MPS是销售和制造之间沟通的一个非常重要的计划工具。MPS是生产计划系统中一个很重要的连接点：
1.它连接了生产计划和实际要生产的东东
本文将从五个方面解读CVRP2016目标检测论文YOLO:Unified,Real-Time Object Detection 1.创新 2.网络结构 3.损失函数 4.缺点 5.效果1、创新 改革了区域建议框式检测框架: RCNN系列均需要生成建议框，在建议框上进行分类与回归，但建议框之间有重叠，这会带来很多重复工作。YOLO将全图划分为SXS的格子，每个格子负责中心在该格子的目标检测，采用一
转载
2024-09-13 22:22:37
57阅读
Hadoop和Apache Spark都是当今蓬勃发展的开源大数据框架。尽管Hadoop和Spark并没有做同样的事情，但是它们是相互关联的。大数据处理无处不在Hadoop的需求。但是，尽管Hadoop具有许多重要的功能和数据处理优势，但它仍存在一个主要缺点。Hadoop的本地批处理引擎MapReduce不如Spark快。这就是Spark超越Hadoop的优势。除此之外，当今大多数大
转载
2023-09-21 07:35:35
193阅读
其中，init 表示构造函数，意即一个对象生成时会被自动调用的函数没有init构造函数呢？class Document(): # def __init__(self): # pass d...
转载
2020-05-10 16:53:00
109阅读
2评论
在主函数中,如果不使用join()方法等待T1线程，那么得到的i很可能是0或者一个非常小的数字。但在使用join()方法后,表示主线程愿意等待T1执行
原创
2023-05-13 01:12:26
217阅读
# OpenStack 是否需要双网卡的实现指南
## 概述
OpenStack 是一个开源的云计算管理平台，通常用于部署和管理大规模云计算资源。随着技术的发展，关于网络配置的选择成为了搭建 OpenStack 环境时的一个重要考虑因素。本文旨在指导入门者理解 OpenStack 是否需要双网卡，以及如何进行配置。
## 是否需要双网卡？
在搭建 OpenStack 时，使用双网卡（通常为
原创
2024-09-10 06:08:15
90阅读
## Java Switch语句为何一定需要default
### 1. 流程图
下面是解决这个问题的流程图：
```mermaid
pie
"问题描述" : 40
"理解switch语句" : 10
"了解default语句" : 10
"讲解为何需要default" : 40
```
### 2. 步骤和代码示例
#### 2.1 问题描述
首先，我
原创
2024-01-16 09:09:48
386阅读
