一，为什么要使用caffeine做本地缓存？1,spring boot默认集成的进程内缓存在1.x时代是guava cache在2.x时代更新成了caffeine,功能上差别不大，但后者在性能上更胜一筹，使用caffeine做本地缓存，取数据可以达到微秒的级别，一次取数据用时经常不足1毫秒，这样可以及时响应请求，在高并发的情况下把请求拦截在上游，避免把压力带到数据库，所以我们在应用中集成它对于系统
转载
2024-03-08 09:24:16
67阅读
# 如何在集群环境中使用Python
作为一名经验丰富的开发者，我们经常需要在集群环境中使用Python来进行开发。在这篇文章中，我将教会刚入行的小白如何在集群环境中使用Python。首先，我们需要了解整个流程，然后详细说明每一步需要做什么以及需要使用的代码。
## 整个流程
下面是在集群环境中使用Python的整个流程：
| 步骤 | 描述 |
|------|----
原创
2024-03-29 04:22:23
147阅读
快速入门：Slurm资源管理与作业调度系统 导读 本文将介绍slurm，一个 Linux服务器中的集
快速入门：Slurm资源管理与作业调度系统导读本文将介绍slurm，一个 Linux服务器中的集群管理和作业调度系统。并对其基础命令和运行方式进行实战演练。1. 简介Slurm （doc：Simple Linux Utility for Resource
转载
2023-10-17 15:20:05
514阅读
1.配置机器1在演示中，192.168.12.107为当前ubuntu机器的ip在192.168.12.107上进入Desktop目录，创建redis目录在redis目录下创建文件7000.conf，编辑内容如下port 7000 bind 192.168.12.107 daemonize yes pidfile 7000.pid cluster-enabled yes cluster-confi
转载
2024-07-19 09:27:18
60阅读
parallel python作为轻量级的python分布式框架，为用python做简单的分布式计算提供了很大的方便，而且使用也简单。
主要分为单机模式和集群模式：单机模式单机模式就是本机上进行多进程，这与multiprocess的多进程类似，甚至表现不是那么好（主要是体现在速度上面，比multiprocess还是要慢一些），其代码如下：import pp
import time
def tim
转载
2023-09-06 13:26:31
86阅读
k8s生产环境
原创
2020-04-23 19:28:54
2386阅读
edis源码分析（八）：集群--clusterredis集群我们可以使用sentinel的模式（详情点击这里），这个模式有几个缺点1.sentinel是用来监控redis的，这个进程本该对客户端隐藏，但是sentinel模式下，master如果down了，某个slave成为master后，客户端无法感知，因此需要客户端还需要连接sentinel来获取master的地址。2.sentinel部署方式
首先大家要明确一个问题，就是Java开发所需要的组件和工具，在没有安装之前我们需要做好准备工作，下载JDK和eclipse(我比较喜欢用eclipse，其实你也可以使用其他的开发工具开发也可以，这里就不推荐其他的)。下载JDK地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html下
转载
2024-02-03 11:12:46
37阅读
一、背景说明 单机执行pyspark（python on spark）非常简单，只要在脚本所在服务器上部署个python环境或Anaconda这种集成运行环境，再通过python3命令执行就完了。 而想将python提交到spark集群中运行，则有两种方法，一种是在每个spark结点上部署python环境，在spark低版本与python集成没那么完善的时候，集群结点数又不多的情况下，的确可以
转载
2023-08-26 15:53:29
449阅读
1
、安装集群数据库系统，在安装之前，要先配置各个节点的
IP
地址，分别配置好
public IP, private IP
，
Virtual IP
以及他们共享的
scan IP
。然后将各节点网卡修改，将指定
IP
写入网卡配置中。 IP
配置好后要测试一下他们的连通性。 2
、在各个节点分别建立
ointall,db
转载
2024-10-12 14:06:40
18阅读
# 集群如何安装Python环境
随着大数据和机器学习的快速发展，许多研究和应用中都需要使用Python来处理数据和训练模型。在集群环境中安装Python，并配置好相关库，能够有效提高分析效率和模型训练的速度。本文将通过一个具体的例子，介绍如何在集群上安装Python环境。
## 目标
我们的目标是通过在HPC（高性能计算）集群环境中安装Python，并确保可以使用`NumPy`和`Pand
原创
2024-09-15 04:49:56
272阅读
# Spark集群默认Python环境
在大数据处理领域，Apache Spark因其高效的计算能力而受到广泛欢迎。Spark支持多种编程语言，其中Python是一种特别流行的选择。了解Spark集群默认的Python环境对于我们有效利用其强大功能至关重要。
## 何为Spark集群默认Python环境？
Spark集群默认的Python环境指的是在Spark作业运行时所使用的Python解
原创
2024-10-23 04:07:46
54阅读
一、环境介绍zookeeper下载地址：https://zookeeper.apache.org/releases.html
kafka下载地址：https://kafka.apache.org/downloads192.168.142.129 apache-zookeeper-3.8.4-bin.tar.gz kafka_
Redis集群为什么要搭建集群通常，为了提高网站响应速度，总是把热点数据保存在内存中而不是直接从后端数据库中读取。Redis是一个很好的Cache工具。大型网站应用，热点数据量往往巨大，几十G上百G是很正常的事儿。Redis作为缓存数据库。但是如何保证数据存储的一致性呢,这时就需要搭建redis集群.采用合理的机制,保证用户的正常的访问需求.采用redis集群,可以保证数据分散存储,同时保证数据存
转载
2024-03-15 05:20:28
45阅读
Jwt会话技术①cookie 缺点：app端无法使用，存储在客户浏览器中不安全。 ②session 缺点：服务器集群的状态下无法直接使用session。 ③jwt（存在于客户端。可存在于集群中）Jwt实现执行流程： 浏览器发出请求，登录成功后，生成jwt，判断身份是否合法。响应数据时，将jwt发给前端。 在后续的每一次请求中，都需要将令牌携带到服务端。如果令牌有效就证明已经登录，失效未登录。 同一
转载
2024-05-25 21:59:43
56阅读
当前版本：spark 2.4.61. 声明当前内容主要用于本人学习Spark ML的知识，了解决策树和决策森林，当前内容主要参考Spark高级数据分析的第4章用决策树算法预测森林植被，由于原内容使用scala编写，这里转换为java方式实现数据准备：数据下载地址抽掉最后两行数据作为预测数据2384,170,15,60,5,90,230,245,143,864,0,0,1,0,0,1,0,0,0,0
转载
2024-10-22 08:27:52
3阅读
KETTLE完全分布式集群搭建和示例
原创
2020-05-29 15:00:00
2842阅读
点赞
进入安装sparkclient的节点hdfs准备一个文件su - hdfsvi text.txt随便写几行东西#创建目
原创
2023-05-17 11:36:00
217阅读
Hadoop笔记基本思想分布式存储如果有1T数据需要存储？1.先将整个数据按照一定规则进行切分2.将切分的数据存放在多台电脑上3.记录存储位置以及相应的数据的信息4.考虑后续使用时，快速加载并能够正常使用 5.Hadoop版本为2.7.6HADOOP组件HDFS：主要用于做数据存储mapreduce：主要用于分布式计算yarn：主要用于做资源调度（1.X中和MapReduce融合在一起，
转载
2023-07-26 15:58:35
48阅读
python安装与环境变量配置
打开www.python.org下载安装包
下载完毕后，打开安装包
选择路径
安装成功后，微软键+R输入cmd然后回车，然后输入python查询是否安装成功
如遇报错需配置环境变量，复制python的安装路径
然后右键我的电脑→属性→高级系统设置→高级→环境变量，点开在系统变量里面找到Path,然后编辑→新建
6.再次win+R cmd
转载
2023-06-21 23:56:20
192阅读
