一、引入依赖<!-- 引入dubbo依赖 -->
    <dependency>
         <groupId>com.alibaba</groupId>
         <artifactId>dubbo</artifactId>
         <version>2.6.2</version&            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-04-03 10:36:39
                            
                                0阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            一:什么是dubbo框架Dubbo是一个分布式服务的框架,致力于提供高性能和透明化PRC远程服务调用方案,以及SOA服务治理方案。一句话来说dubbo就是远程服务调用的分布式框架二:dubbo作用:1.透明化的远程方法调用,就像调用本地方法一样调用远程方法,只需简单配置,没有任何API侵入。       2.软负载均衡及容错机制,可在内网替代F5等硬件负载均衡器,降低            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-03-28 11:07:40
                            
                                60阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            Kryo是什么?Kryo是用于Java的快速高效的二进制对象图序列化框架。该项目的目标是高速,小尺寸和易于使用的API。不管是将对象持久保存到文件、数据库还是通过网络传输时,都可以尝试Kryo。Kryo还可以执行自动的深浅复制/克隆。这是从对象到对象的直接复制,而不是从对象到字节的复制。具体可以参考Kryo官网在Dubbo中使用Kryo本文基于Dubbo版本2.7.8Dubbo支持非常多的序列化方            
                
         
            
            
            
            Dubbox 是一个分布式服务框架,其前身是阿里巴巴开源项目Dubbo ,被国内电商及互联网项目中使用,后期阿里巴巴停止了该项目的维护,当当网便在Dubbo基础上进行优化,并继续维护,为了与原有的Dubbo区分,故将其命名为Dubbox。
    Dubbox简介Dubbox 是一个分布式服务框架,其前身是阿里巴巴开源项目Dubbo ,被国内电商及互联网项目中使            
                
         
            
            
            
            终于要开始进入正题了,但是越接近内部,越接近代码的部分,往往问题越多!以此文警示后来者,坑多,慎踩!1.搭建dubbo管理平台首先,到官网去下载dubbo的包,但是管理平台只会用到其中的dubbo-admin的包。官网的现在最新版本并没有dubbo-admin这个包,你得去找找它的历史版本。最后一个有这个的是2.5版本。传送门:dubbo-admin那么,现在拿到包了,将dubbo-admin的那            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-04-15 12:13:16
                            
                                50阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            前面写过一篇关于dubbo2.5-spring4-mybastis3.2-springmvc4-mongodb3.4-redis3.2整合(九)之 spring中定时器quartz的整合。今天主要来继续总结quartz在集群中的使用。1、说明quartz可以通过jdbc直连连接到MYSQL数据库,读取配置在数据库里的job初始化信息,并且把job通过java序列化到数据库里,这样就使得每个job信            
                
         
            
            
            
            不久前,我们讨论过Nginx+tomcat组成的集群,这已经是非常灵活的集群技术,但是当我们的系统遇到更大的瓶颈,全部应用的单点服务器已经不能满足我们的需求,这时,我们要考虑另外一种,我们熟悉的内容,就是分布式,而当下流行的Dubbo框架,不容我们忽视,这里,咱们一起来探讨一下这个框架的使用。 一,背景 以前我们需要远程调用他人的接口,我们是这么做的:我们遇到的问题:(1) 当            
                
         
            
            
            
             任务计划第51天:kNN 分类器第52天:kNN 分类器 (续)第53天:kNN 分类器 (续)第54天:基于 M-distance 的推荐第55天:基于 M-distance 的推荐 (续)第56天:kMeans 聚类第57天:kMeans 聚类 (续)第58天:符号型数据的 NB 算法第59天: 数值型数据的 NB 算法第60天:小结 第51天:kNN 分类器什么是kNN? 邻近算法,或者说            
                
         
            
            
            
             Spark RDD算子(五)键值对聚合操作combineByKeycombineByKey简要介绍Scala版本Java版本 combineByKey聚合数据一般在集中式数据比较方便,如果涉及到分布式的数据,就比较繁琐了。这里介绍一下combineByKey,是各种聚合操作的鼻祖简要介绍def combineByKey[C](createCombiner: (V) => C,  
                
                
         
            
            
            
            Dubbo 中的序列化
Dubbo RPC 是 Dubbo 体系中最核心的一种高性能、高吞吐量的远程调用方式,可以称之为多路复用的 TCP 长连接调用:
长连接:避免了每次调用新建 TCP 连接,提高了调用的响应速度
多路复用:单个 TCP 连接可交替传输多个请求和响应的消息,降低了连接的等待闲置时间,从而减少了同样并发数下的网络连接数,提高了系统吞吐量
Dubbo RPC 主要用于两个 Du            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2021-08-17 22:37:43
                            
                                621阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            # 如何实现spark使用kryo
## 一、整体流程
```mermaid
journey
    title 使用kryo优化spark
    section 确定使用kryo的需求
        开发者 ->> 新手开发者: 目标:使用kryo优化spark
    section 开启kryo支持
        开发者 ->> 新手开发者: 步骤1:设置spark.seriali            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2024-05-04 04:55:46
                            
                                62阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            # 教你如何使用Kryo Java
## 1. 流程图
```mermaid
erDiagram
    开始 --> 步骤1: 导入相关依赖
    步骤1 --> 步骤2: 创建Kryo实例
    步骤2 --> 步骤3: 注册需要序列化的类
    步骤3 --> 步骤4: 序列化对象
    步骤4 --> 结束
```
## 2. 步骤及代码示例
### 步骤1: 导入相关依赖            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2024-04-06 04:46:15
                            
                                97阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            # 使用Kryo进行Java对象序列化与反序列化
Kryo是一个快速高效的序列化框架,可以用于在Java中执行对象的序列化和反序列化操作。本文将详细介绍如何在Java中使用Kryo,并为刚入行的小白提供一份实用的入门指南。
## 整体流程
我们在使用Kryo进行序列化和反序列化时,可以将流程简单地总结为以下几个步骤:
| 步骤  | 描述 |
|-------|------|
| 1            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2024-08-30 06:05:28
                            
                                101阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            Shiro反序列化漏洞漏洞介绍然而,Shiro对rememberMe的cookie做了加密处理,shiro在CookieRememberMeManaer类中将cookie中rememberMe字段内容分别进行:序列化、AES加密、Base64编码,三个操作。而在识别身份的时候,则需要对Cookie里的rememberMe字段进行逆操作:1.Base64解码 2.AES解密 3.反序列化由于AES加            
                
         
            
            
            
            K-Means算法是最古老也是应用最广泛的聚类算法,它使用质心定义原型,质心是一组点的均值,通常该算法用于n维连续空间中的对象。 
 
 
   
 K-Means算法流程 
  
 step1:选择K个点作为初始质心 
  
 step2:repeat 
  
  将每个点指派到最近的质心,形成K个簇 
  
  重新计算每个簇的质心 
  
  unt            
                
         
            
            
            
            1、知道什么是 RPC 么?答:RPC 就是 Remote Procedure Call,远程过程调用,它相对应的是本地过程调用。2、那为什么要有 RPC,HTTP 不好么?因为 RPC 和 HTTP 就不是一个层级的东西,所以严格意义上这两个没有可比性,也不应该来作比较,而题目问的就是把这两个作为比较了。HTTP 只是传输协议,协议只是规范了一定的交流格式,而且 RPC 是早于 HTTP 的,所            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-09-17 11:54:43
                            
                                22阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            Dubbo注意当启动服务时,该服务会占用本机一个端口号,故在一台电脑启动多个服务时需要在配置文件中更占用本机的端口号<!--服务占用本机的端口-当本机启动多个服务时须保持不同-->
    <dubbo:protocol port=""/>
    <!--dubbo的配置-->
    <!--1.配置项目的名称,唯一-->
    <dub            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-03-06 18:10:06
                            
                                77阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            dubbo客户端泛化调用服务端接口时,客户端程序分配2G内存,但是服务最多运行1小时就会内存溢出,异常信息如下(异常显示SendThread这个线程出出现了内存溢出):[rpc_dubbo_call_thread_1_1-SendThread(127.0.0.1:2182)] WARN  org.apache.zookeeper.server.ZooKeeperThread - Exception            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-04-24 11:33:33
                            
                                157阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            一、spark所在目录cd usr/local/spark二、启动spark/usr/local/spark/sbin/start-all.sh启动Hadoop以**及Spark:bash ./starths.sh浏览器查看:172.16.31.17:8080停止Hadoop以及Sparkbash ./stophs.sh三、基础使用1.运行Spark示例(SparkPi)在 ./examples/            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-06-25 13:12:52
                            
                                55阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            本文主要梳理Kryo序列化基本实现。重点剖析Kryo#writeClassAndObject、Kryo#readClassAndObject方法。   1、源码分析Kryo#writeClassAndObject代码@1:开始序列化, 将dept自增,表示当前深度,因为在序列化一个对象时,该方法有可能会被递归调用,每递归调用增加1,一次调用结束后在finally字句中自减。   代码@2:如果对象            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2021-11-28 16:30:57
                            
                                239阅读