步骤即把压缩包放入Linux环境里 /home/hadoop/下解压3.4.9.tar.gz包tar -zxvf zookeeper-3.4.9.tar.gz -C /home/hadoop/hadoop_home 然后配置环境变量export ZOOKEEPER_HOME=/home/hadoop/hadoop_home zookeeper-3.4.9
转载
2024-08-01 16:31:07
20阅读
在上个月 30 号， confluent 发布了一篇文章，文章上说在 Kafka 2.8 版本上将支持内部的 quorum 服务来替换 ZooKeeper 的工作。ZooKeeper 的作用 ZooKeeper 是一个开源的分布式协调服务框架，你也可以认为它是一个可以保证一致性的分布式(小量)存储系统。特别适合存储一些公共的配置信息、集群的一些元数据等等。它有持久节点和临时节点，而临时节
转载
2024-07-18 08:32:17
618阅读
# Spark 不需要 HDFS
Apache Spark 是一款快速、通用的集群计算系统，它提供了丰富的API来支持大规模数据处理。许多人误以为 Spark 必须依赖于 HDFS（Hadoop Distributed File System），但实际上，Spark 并不需要依赖于 HDFS。
## Spark 的存储模型
Spark 的存储模型主要包括两部分：**RDD（Resilient
原创
2024-05-11 07:20:41
103阅读
# Django 可以不需要JavaScript吗
在Web开发中，JavaScript通常被用来增强用户体验，实现动态交互等功能。但是对于一些简单的网站或者后端渲染的网站来说，是否可以完全不使用JavaScript呢？本文将探讨在使用Django框架的情况下，是否可以不需要JavaScript来实现基本的网站功能。
## Django简介
Django是一个开放源代码的Web应用程序框架，
原创
2024-06-18 06:01:11
132阅读
Moss(莫斯)-Spring Cloud体系的服务治理平台1.什么是Moss1.1 什么是服务治理服务治理，我也称之为微服务治理，是指用来管理微服务的整个生命周期。包括应用的创建，服务名的规范，服务的上下线，服务的迁移，整个服务的生老病死等方方面面的治理。1.2 Moss概述Moss(莫斯)是服务治理平台的代号，取名灵感来自电影《流浪地球》中的莫斯(Moss),Moss是电影《流浪地球》中领航员
kafka跟activemq，rocketmq类似，也是其中一种消息中间件。Step1:下载kafka包https://kafka.apache.org/downloads 下载 kafka_2.11-1.1.0.tgz >tar -zxvf kafka_2.11-1.1.0.tgz
>cd kafka_2.11-1.1.0Step2:启动kafkakafka需要用到zookeeper
转载
2024-03-27 16:27:33
303阅读
## HBase 存储不需要 HDFS
HBase 是一个分布式的、面向列的开源数据库，它是在分布式文件系统 Hadoop HDFS 的基础上构建的。但是，HBase 存储并不需要 HDFS，这是因为 HBase 使用了一种称为 HFile 的数据存储格式。
在这篇文章中，我们将介绍 HBase 存储不需要 HDFS 的原因，并通过代码示例来说明这个过程。
### HBase 存储架构
H
原创
2024-02-16 03:44:38
128阅读
部署环境Linux（Centos 6.5），JDK 1.8.0，zookeeper-3.4.12，kafka_2.11-2.0.0。1. 单机环境 官方建议使用JDK 1.8版本，因此本文使用的环境都是JDK1.8。如果小于1.8版本，请看我的博客： 将环境的JDK更新到1.8版本。（PS：我开始使用机器默认安装的JDK 1.7，在启动kafka时会报错）。&n
转载
2024-03-20 09:56:20
82阅读
作者 | 丁威我在使用kafka时发现客户端可以不依赖Zookeeper的情况下完成消息发送、消息消费，众所周知早期的Kafka，所有的元信息(topic、消费组、集群)等信息都存储在Zookeeper中，原先的消息发送客户端、消息消费客户端都需要依赖Zookeeper。温馨提示：Kafka逐步开启了去zookeeper化，到kafka2.8之前实现了消息发送者、消息消费者的去zookeeper化
转载
2024-03-12 10:04:04
1020阅读
目录一.Zookeeper 概述1.Zookeeper定义2.Zookeeper工作机制3.Zookeeper特点4.Zookeeper数据结构5.Zookeeper应用场景6.Zookeeper选举机制二.部署Zookeeper集群1.环境准备2.安装准备2.安装Zookeeper3.启动 Zookeeper三 .Kafka概述1.为什么需要消息队列（MQ）2.使用消息队列的好处3.消息队列的
Dubbo一、基础知识1. 分布式基础理论1.1 什么是分布式系统《分布式系统原理与范型》定义: “分布式系统是若干独立计算机的集合,这些计算机对于用户来说就像单个相关系统” 分布式系统(distributed system)是建立在网络之上的软件系统. 随着互联网的发展,网站应用的规模不断扩大,常规的垂直应用架构已无法应对,分布式服务架构以及流动计算架构势在必行,亟需一个治理系统确保架构有条不紊
一、编译型vs解释型编译型 优点：编译器一般会有预编译的过程对代码进行优化。因为编译只做一次，运行时不需要编译，所以编译型语言的程序执行效率高。可以脱离语言环境独立运行。 缺点：编译之后如果需要修改就需要整个模块重新编译。编译的时候根据对应的运行环境生成机器码，不同的操作系统之间移植就会有问题，需要根据运行的操作系统环境编译不同的可执行文件。解释型 优点：有良好的平台兼容性，在任何环境中都可以运行
转载
2023-09-18 10:36:56
113阅读
tomcat 介绍tomcat 是 web容器（servlet 容器），不管请求是访问静态资源HTML、JSP还是java接口，对tomcat而言，都是通过servlet访问：访问静态资源，tomcat 会交由一个叫做DefaultServlet的类来处理。访问 JSP，tomcat 会交由一个叫做JspServlet的类来处理。访问 Servlet ，tomcat 会交由一个叫做 Invoker
转载
2024-06-18 08:26:14
102阅读
一、前言 SpringBoot内置tomcat使用很方便，打包成可执行jar文件后可以直接运行，然后内置Tomcat配置终究没有外部独立Tomcat方便，并且如果有多个web应用，使用外部独立Tomcat管理起来也更加方便。因此，这边文章介绍一下本人将myblog应用部署到外部Tomcat的过程以及其中遇到的一些问题与解决方法。二、打包成可部署到
转载
2024-06-27 20:29:37
169阅读
1.创建zookeeper容器（直接创建容器时如果没有镜像会自动拉取最新版本的镜像）docker run -d --name zookeeper -p 2181:2181 -v /etc/localtime:/etc/localtime wurstmeister/zookeeper2.创建kafka容器## KAFKA_ZOOKEEPER_CONNECT 需要修改成zookeeper所在容器IP，
转载
2024-06-07 13:43:40
62阅读
本安装方法目前已在ubuntu 16.04进行测试，其他ubuntu版本应该也适用。安装所需依赖项在Linux下我们需要编译安装，而编译OpenCV需要必要的软件包。下面是必要的软件包：GCC 4.4.x或者更高GTK+2.x或者更高，包括它的头文件(libgtk2.0-dev)pkg-config带有开发包的Python 2.6或者更高和Numpy 1.5或者更高(python-dev, pyt
转载
2024-04-16 05:28:44
54阅读
# Flink 集群可以在没有 Hadoop 的环境中运行吗？
Apache Flink 是一个强大的流处理框架，它支持实时和批处理数据处理。在开发 Flink 应用时，不少人会问：“Flink 集群是否必须依赖 Hadoop 环境进行部署？”答案是：不，Flink 集群可以独立于 Hadoop 运行，当然这也基于特定的需求和使用场景。
## Flink 独立运行的优势
1. **简洁性**
**pyd文件可以不需要Python环境吗**
在Python开发中，我们常常使用`.py`文件来编写和运行代码。然而，有时我们会遇到`.pyd`文件，这是一种特殊的Python扩展模块文件。那么，`.pyd`文件与Python环境到底有什么关系呢？是否可以在没有Python环境的情况下使用`.pyd`文件呢？本文将对这些问题进行详细解答，并提供相应的代码示例。
首先，我们需要了解`.pyd`
原创
2023-08-22 08:26:27
776阅读
Hibernate等ORM问题
现在使用Hibernate人也不少，但是他们发现Hibernate性能缓慢，所以寻求解决方案，其实并不是 Hibernate性能缓慢，而是我们使用方式发生错误：
“最近本人正搞一个项目，项目中我们用到了struts1.2+hibernate3, 由于关系复杂表和表之间的关系很多，在很多地方把lazy都设置fals
HDFS HA配置的完整步骤部分内容参考了这篇文章： 。其中配置文件时基于我的集群信息做的，还增加了配置中遇到的问题和解决办法。 最近了解了Hadoop后，又开始涉及Hadoop 2.0相关的知识，所以后续我会陆陆续续把2.0相关的一些知识和学习总结整理上来。 这里是QJM方式的HA配置，众所周知，HDFS HA一般是基于NFS公共存储的，这里不采用NFS。主要步骤： 1. zookeeper集
转载
2023-11-03 06:10:11
93阅读
