1.准备安装软件OS：centos7 Hadoop：hadoop-2.7.3 HBase：hbase-1.2.6 JDK：jdk-8u121-linux-x64 集群机器：主机IP地址系统软件进程nn1192.168.150.181centos7jdk1.8+,hadoop,HBaseNameNode、DFSZKFailoverController(zkfc)、ResourceManage
一、为什么使用Mapreduce?MapReduce是为了解决传统HPC框架在面对海量数据时扩展困难而产生的。MapReduce致力于解决大规模数据处理的问题，利用局部性原理将整个问题分而治之。 MapReduce集群由普通PC机构成，为无共享式架构。在处理之前，将数据集分布至各个节点。处理时，每个节点就近读取本地存储的数据处理(Map)，将处理后的数据进行合并(Combine)、排序(Shuff
导读：本文从设计理念的角度将Flink 与主流计算引擎 Hadoop MapReduce和Spark进行对比，并从宏观上介绍Flink的基本架构。01Flink与主流计算引擎对比1. Hadoop MapReduceMapReduce 是由谷歌首次在论文“MapReduce: Simplified Data Processing on Large Clusters”（谷歌大数据三驾马车之一）中提出
转载
2023-08-28 20:29:02
194阅读
认识一门新技术首先从该技术解决什么问题开始，探讨该技术为解决问题提供了什么特性，是如何实现该特性的，最后探讨在真是环境的应用。 1. 为什么会有hadoop？ 随着公司业务发展，数据会逐渐增多，格式也越来越复杂，而这些数据是存在潜在价值的，当数据量达到P级别时，传统数
转载
2023-09-20 12:04:20
102阅读
# Docker一定要用Linux吗？
## 引言
在软件开发和运维领域，Docker已经成为一种流行的容器化技术，广泛用于打包、部署和运行应用程序。许多开发者和运维人员在使用Docker时会问：“Docker一定要用Linux吗？”本文将围绕这个问题展开，探讨Docker与操作系统之间的关系，并通过实例代码和图表来加深理解。
## Docker的本质
Docker是一种轻量级的虚拟化技术
前段时间，有个人吐槽自己的同事是上古程序猿，一直坚持反对使用Redis。那位上古程序猿设计公司的业务系统时候，始终坚持永远不要用缓存（其他人想用redis），例如做个接口防重复，一定要用数据库来实现，包括定期失效之类的功能。对此你怎么看呢？我们在工作中也经常会用到Redis，但是为什么要用Redis？关于Redis的一些场景和实战问题，90%以上的人都没有真正理解Redis。为什么要用Redis？
转载
2020-04-21 15:51:00
344阅读
2评论
# YOLO一定要用PyTorch吗？
## 介绍
目标检测是计算机视觉中的一个重要任务，而YOLO（You Only Look Once）是一种广泛使用的目标检测算法，它的特点是实时性和准确性。在实现YOLO算法时，选择合适的深度学习框架对算法的效果和开发效率都有重要影响。PyTorch作为一种流行的深度学习框架，具有简洁明了的API和强大的计算能力，因此它成为了很多人选择实现YOLO算法的首
原创
2023-08-26 07:17:48
537阅读
Hhase 集群部署使用的软件
hadoop-2.7.4
hbase-1.2.6
jdk-8u144
zookeeper-3.4.10
Hbase 自带的有zookeeper，在这里使用自己部署的zookeeperzookeeper 集群部署安装jdk
下载zookeeper 程序
修改zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
d
在Kubernetes中，要使用NAS存储，必然需要使用网络。NAS（Network Attached Storage）是一种在网络上实现数据存储和访问的技术，它提供了一个共享的文件系统，可以被多个客户端访问。在Kubernetes中，我们可以通过PersistentVolume和PersistentVolumeClaim来使用NAS存储，并且需要通过网络进行访问和挂载。
下面我们来详细介绍一下
使用代理IP可以帮助爬虫隐藏真实IP地址，防止被网站封禁或限制访问。此外，使用代理IP还可以帮助爬虫绕过一些地区或国家的访问限制，获取更多的数据。因此，对于一些需要频繁爬取数据的爬虫，使用代理IP是一个不错的选择。
原创
2023-06-14 10:19:45
101阅读
【项目管理一定要用甘特图吗】——从PMP考试看项目管理的工具与方法
在项目管理领域，PMP认证无疑是最具权威性的认证之一。为了维持这一认证的有效性，持证者每三年需要获得60个PDU（专业发展单元），这一要求反映了项目管理领域对于持续学习与发展的重视。PMP考试本身也是一场严谨的考验，230分钟的考试时间，180道选择题，考试费用3900元，补考费用2500元，这些都体现了PMP认证的高标准和严要
在Kubernetes中搭建nacos集群时，是否一定要用nginx呢？这是一个常见的疑问，让我们来一一解答。
#### 为什么要使用Nginx？
在Kubernetes环境下搭建nacos集群时，通常使用Nginx作为反向代理器，主要有以下几个原因：
1. **负载均衡**：Nginx可以根据负载情况，均衡地分发用户请求给多个nacos实例，保证高可用性和稳定性。
2. **安全性**：
# 微服务是否一定要用Docker？
作为一名刚入行的开发者，你可能听说过微服务架构，也听说过Docker容器技术。那么，微服务是否一定要用Docker呢？这个问题并没有绝对的答案，但是使用Docker可以带来许多好处。下面，我将为你详细解释微服务与Docker的关系，以及如何使用Docker实现微服务。
## 微服务与Docker的关系
微服务是一种架构风格，它将应用程序分解为一组小型、独
文章目录Scala部分2.Hbase部分2.1 简介什么是HBase与其他部分的关系Hbase的数据模型HBase架构Hbase访问接口Hbase存储格式2.2 安装与运行2.3 一些基本操作其他增加的小知识点 Scala部分 var 是 variable(变量,可变物)或者是variation的简写。2.Hbase部分2.1 简介什么是HBase是一个NoSQLHadoop项目中的一部分基于H
HBase 依赖于 Hadoop，讲HBase优化，不得不讲Hadoop优化，此处Hadoop优化，不仅仅针对HBase，对于依赖Hadoop生态的都有相对优化帮助1、NameNode元数据备份使用SSDSSD2、定时备份NameNode上的元数据每小时或者每天备份，如果数据极其重要，可以5~10分钟备份一次。备份可以通过定时任务复制元数据目录即可。3、为NameNode指定多个元数据目录使用df
# MySQL聚合函数一定要用GROUP BY吗？
MySQL是一个流行的关系型数据库管理系统，广泛应用于各种Web应用和数据分析场景中。在MySQL中，聚合函数是一种非常常用的函数，用于对某个列或表达式进行计算并返回一个单一的结果。常见的聚合函数包括SUM、COUNT、AVG、MIN和MAX等。
在使用聚合函数时，我们经常会遇到一个问题：是否一定要使用GROUP BY语句？本文将对这个问题进
原创
2023-08-17 04:22:06
1265阅读
在当今云原生领域，Kubernetes（简称K8S）已经成为了一个非常流行的容器编排工具。对于许多企业和开发团队来说，“一定要用K8S吗”这个问题似乎已经不再是一个问题，而是一个必然选择。那么，让我们来探讨一下为什么一定要用K8S以及如何使用K8S。
首先，我们来看一下使用K8S的一般流程。下表显示了使用K8S的基本步骤：
| 步骤 | 描述
目录前言项目使用项目结构环境部署测试代码参数补充总结前言什么是OCR?光学字符识别（Optical Character Recognition, OCR），是指对文本资料的图像文件进行分析识别处理，获取文字及版面信息的过程。简而言之，检测图像中的文本资料，并且识别出文本的内容。那么有哪些应用场景呢？其实我们日常生活中处处都有ocr的影子，比如在疫情期间身份证识别录入信息、车辆车牌号识别、自动驾驶等
如何在Hive SQL中使用SUM函数进行数值计算？
## 流程图
```mermaid
graph TD
A[开始]
B[连接到Hive数据库]
C[编写SQL语句]
D[执行SQL语句]
E[获取结果]
F[结束]
A --> B
B --> C
C --> D
D --> E
E --> F
```
## 步骤
下面是使用Hive SQL进行数值计算的步骤：
| 步骤
## Python大漠findpic一定要用偏色吗
在使用Python进行图像处理时，我们经常会用到大漠的findpic模块来实现图像的查找和识别功能。在使用findpic时，很多人会遇到一个问题，就是是否一定要用偏色才能识别图像呢？本文将介绍findpic的基本原理以及偏色的作用，帮助大家更好地理解这个问题。
### findpic基本原理
findpic是一个图像识别模块，它可以在屏幕上
