1.准备安装软件OS：centos7 Hadoop：hadoop-2.7.3 HBase：hbase-1.2.6 JDK：jdk-8u121-linux-x64 集群机器：主机IP地址系统软件进程nn1192.168.150.181centos7jdk1.8+,hadoop,HBaseNameNode、DFSZKFailoverController(zkfc)、ResourceManage
一、为什么使用Mapreduce?MapReduce是为了解决传统HPC框架在面对海量数据时扩展困难而产生的。MapReduce致力于解决大规模数据处理的问题，利用局部性原理将整个问题分而治之。 MapReduce集群由普通PC机构成，为无共享式架构。在处理之前，将数据集分布至各个节点。处理时，每个节点就近读取本地存储的数据处理(Map)，将处理后的数据进行合并(Combine)、排序(Shuff
导读：本文从设计理念的角度将Flink 与主流计算引擎 Hadoop MapReduce和Spark进行对比，并从宏观上介绍Flink的基本架构。01Flink与主流计算引擎对比1. Hadoop MapReduceMapReduce 是由谷歌首次在论文“MapReduce: Simplified Data Processing on Large Clusters”（谷歌大数据三驾马车之一）中提出
转载
2023-08-28 20:29:02
194阅读
# Docker一定要用Linux吗？
## 引言
在软件开发和运维领域，Docker已经成为一种流行的容器化技术，广泛用于打包、部署和运行应用程序。许多开发者和运维人员在使用Docker时会问：“Docker一定要用Linux吗？”本文将围绕这个问题展开，探讨Docker与操作系统之间的关系，并通过实例代码和图表来加深理解。
## Docker的本质
Docker是一种轻量级的虚拟化技术
# YOLO一定要用PyTorch吗？
## 介绍
目标检测是计算机视觉中的一个重要任务，而YOLO（You Only Look Once）是一种广泛使用的目标检测算法，它的特点是实时性和准确性。在实现YOLO算法时，选择合适的深度学习框架对算法的效果和开发效率都有重要影响。PyTorch作为一种流行的深度学习框架，具有简洁明了的API和强大的计算能力，因此它成为了很多人选择实现YOLO算法的首
原创
2023-08-26 07:17:48
534阅读
前段时间，有个人吐槽自己的同事是上古程序猿，一直坚持反对使用Redis。那位上古程序猿设计公司的业务系统时候，始终坚持永远不要用缓存（其他人想用redis），例如做个接口防重复，一定要用数据库来实现，包括定期失效之类的功能。对此你怎么看呢？我们在工作中也经常会用到Redis，但是为什么要用Redis？关于Redis的一些场景和实战问题，90%以上的人都没有真正理解Redis。为什么要用Redis？
转载
2020-04-21 15:51:00
344阅读
2评论
在Kubernetes中，要使用NAS存储，必然需要使用网络。NAS（Network Attached Storage）是一种在网络上实现数据存储和访问的技术，它提供了一个共享的文件系统，可以被多个客户端访问。在Kubernetes中，我们可以通过PersistentVolume和PersistentVolumeClaim来使用NAS存储，并且需要通过网络进行访问和挂载。
下面我们来详细介绍一下
使用代理IP可以帮助爬虫隐藏真实IP地址，防止被网站封禁或限制访问。此外，使用代理IP还可以帮助爬虫绕过一些地区或国家的访问限制，获取更多的数据。因此，对于一些需要频繁爬取数据的爬虫，使用代理IP是一个不错的选择。
原创
2023-06-14 10:19:45
101阅读
【项目管理一定要用甘特图吗】——从PMP考试看项目管理的工具与方法
在项目管理领域，PMP认证无疑是最具权威性的认证之一。为了维持这一认证的有效性，持证者每三年需要获得60个PDU（专业发展单元），这一要求反映了项目管理领域对于持续学习与发展的重视。PMP考试本身也是一场严谨的考验，230分钟的考试时间，180道选择题，考试费用3900元，补考费用2500元，这些都体现了PMP认证的高标准和严要
在Kubernetes中搭建nacos集群时，是否一定要用nginx呢？这是一个常见的疑问，让我们来一一解答。
#### 为什么要使用Nginx？
在Kubernetes环境下搭建nacos集群时，通常使用Nginx作为反向代理器，主要有以下几个原因：
1. **负载均衡**：Nginx可以根据负载情况，均衡地分发用户请求给多个nacos实例，保证高可用性和稳定性。
2. **安全性**：
# 微服务是否一定要用Docker？
作为一名刚入行的开发者，你可能听说过微服务架构，也听说过Docker容器技术。那么，微服务是否一定要用Docker呢？这个问题并没有绝对的答案，但是使用Docker可以带来许多好处。下面，我将为你详细解释微服务与Docker的关系，以及如何使用Docker实现微服务。
## 微服务与Docker的关系
微服务是一种架构风格，它将应用程序分解为一组小型、独
简单介绍一下Flume:agent:flume运行的最小单元，独立运行在一个JVM中。一个agent里面包括一个或多个sources,channels,sinkssource 和 channels可以有一对多的关系sink 和 channel 是一对一的关系client : 相当于数据产生的位置source ：从客户端产生数据的位置收集数据channel：数据管道（缓存）用于接收source的数据
# MySQL聚合函数一定要用GROUP BY吗？
MySQL是一个流行的关系型数据库管理系统，广泛应用于各种Web应用和数据分析场景中。在MySQL中，聚合函数是一种非常常用的函数，用于对某个列或表达式进行计算并返回一个单一的结果。常见的聚合函数包括SUM、COUNT、AVG、MIN和MAX等。
在使用聚合函数时，我们经常会遇到一个问题：是否一定要使用GROUP BY语句？本文将对这个问题进
原创
2023-08-17 04:22:06
1265阅读
在当今的软件开发行业中，Agile（敏捷开发）已经成为一种备受推崇的开发方法论，而DevOps（开发运维一体化）则是一种在软件开发过程中相对较新且备受瞩目的方法。然而，对于企业是否需要同时采用敏捷开发和开发运维一体化这个问题引起了争议。在我看来，无论企业的规模大小，敏捷和DevOps是相辅相成的，可谓“Agile一定要用DevOps”。
首先，我们来解释一下什么是敏捷开发和开发运维一体化。敏捷开
在当今云原生领域，Kubernetes（简称K8S）已经成为了一个非常流行的容器编排工具。对于许多企业和开发团队来说，“一定要用K8S吗”这个问题似乎已经不再是一个问题，而是一个必然选择。那么，让我们来探讨一下为什么一定要用K8S以及如何使用K8S。
首先，我们来看一下使用K8S的一般流程。下表显示了使用K8S的基本步骤：
| 步骤 | 描述
## Python大漠findpic一定要用偏色吗
在使用Python进行图像处理时，我们经常会用到大漠的findpic模块来实现图像的查找和识别功能。在使用findpic时，很多人会遇到一个问题，就是是否一定要用偏色才能识别图像呢？本文将介绍findpic的基本原理以及偏色的作用，帮助大家更好地理解这个问题。
### findpic基本原理
findpic是一个图像识别模块，它可以在屏幕上
如何在Hive SQL中使用SUM函数进行数值计算？
## 流程图
```mermaid
graph TD
A[开始]
B[连接到Hive数据库]
C[编写SQL语句]
D[执行SQL语句]
E[获取结果]
F[结束]
A --> B
B --> C
C --> D
D --> E
E --> F
```
## 步骤
下面是使用Hive SQL进行数值计算的步骤：
| 步骤
目录前言项目使用项目结构环境部署测试代码参数补充总结前言什么是OCR?光学字符识别（Optical Character Recognition, OCR），是指对文本资料的图像文件进行分析识别处理，获取文字及版面信息的过程。简而言之，检测图像中的文本资料，并且识别出文本的内容。那么有哪些应用场景呢？其实我们日常生活中处处都有ocr的影子，比如在疫情期间身份证识别录入信息、车辆车牌号识别、自动驾驶等
Drone 简介Drone 是一个基于Docker容器技术的可扩展的持续集成引擎，由GO语言编写，可用于自动化测试与构建，甚至发布。每个构建都在一个临时的Docker容器中执行，使开发人员能够完全控制其构建环境并保证隔。相对于常见的Jenkins，选中 Drone的原因在于它非常简洁，不像Jenkins那样复杂，同时它拥有可以满足基本需求的能力，并且提供了许多实用的插件，如GitHub，Email
Hhase 集群部署使用的软件
hadoop-2.7.4
hbase-1.2.6
jdk-8u144
zookeeper-3.4.10
Hbase 自带的有zookeeper，在这里使用自己部署的zookeeperzookeeper 集群部署安装jdk
下载zookeeper 程序
修改zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
d
