Linux process authority、the security risks in running process with high authority            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2023-07-21 10:13:19
                            
                                15阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            1. Spring Security 简介Spring Security 是一种基于 Spring AOP 和 Servlet 过滤器的安全框架。原名Acegi Security,最早于2003年起源于Spring社区。 2007年末正式归为Spring Framework的正式子项目,并改名为Spring Security 。此后, Spring Security有了长远发展,现已成为一款基于S            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-03-20 10:11:33
                            
                                91阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
             目录springSecurity 简介认证与授权整体架构默认配置原理springBoot对SpringSecurity的配置默认数据源存放位置默认用户信息位置自定义配置自定义资源权限规则自定义登录页面自定义登录成功后页面的跳转(传统web项目)自定义登录成功后返回的json(前后端分离)自定义显示登录失败信息自定义登录失败页面跳转(传统web开发)自定义登录失败后返回的json(前后端分离)自定            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-05-23 10:12:06
                            
                                2阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            简介Spring Security 是什么?spring security 是基于spring框架,提供了一套 Web 应用安全性的完整解决方案一般来说,Web 应用的安全性包括用户认证(Authentication)和用户授权(Authorization)两个部分。用户认证指的是验证某个用户是否为系统中的合法主体,也就是说用户能否访问该系统。用户认证一般要求用户提供用户名和密码。系统通过校验用户            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-03-29 15:36:48
                            
                                64阅读
                            
                                                                             
                 
                
                             
         
            
            
            
              前面介绍了jwt的使用,联合WebMvcConfigurer 并自定义过滤器进行token认证 。现在想使用spring security结合jwt进行认证和授权。spring security  企业应用级别的安全框架, 核心功能是用户认证Authentication和用户授权Authorization,认证就是登陆验证密码,授权就是不同用户的权限操作问题。 其            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-05-30 09:36:01
                            
                                284阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            Spark数据本地性分布式计算系统的精粹在于移动计算而非移动数据,但是在实际的计算过程中,总存在着移动数据的情况,除非是在集群的所有节点上都保存数据的副本。移动数据,将数据从一个节点移动到另一个节点进行计算,不但消耗了网络IO,也消耗了磁盘IO,降低了整个计算的效率。为了提高数据的本地性,除了优化算法(也就是修改spark内存,难度有点高),就是合理设置数据的副本。设置数据的副本,这需要通过配置参            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-05-12 19:42:36
                            
                                80阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            作者:JadePeng
Spring Security 主要实现了Authentication(认证,解决who are you? ) 和 Access Control(访问控制,也就是what are you allowed to do?,也称为Authorization)。Spring Security在架构上将认证与授权分离,并提供了扩展点。核心对象主要代码在spring-security-            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-03-23 10:50:06
                            
                                7阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            是因为 用了 企业的开发者账号 安装的时候需要 在 手机的设置中 找到 描述文件 然后点击信任这个对应的证书 才能使用这个由企业号发布的应用。            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2016-01-21 16:16:00
                            
                                77阅读
                            
                                                                                    
                                2评论
                            
                                                 
                 
                
                             
         
            
            
            
            spark的数据本地性(data locality)Spark其中一个特性就是数据本地性,简单的说就是“移动数据不如移动计算”。
因为数据在网络传输中会有不小的I/O消耗,并且传输距离越长消耗越大。
所以,数据本地性可以理解为数据传输距离,而我们的目的就是避免数据在网络中传输或尽量减少传输的距离。根据传输的距离,我们可以对数据本地性根据传输距离进行分级。
查看Spark Web UI任务信息,我们            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-06-19 11:41:52
                            
                                56阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            数据本地性数据计算尽可能在数据所在的节点上运行,这样可以减少数据在网络上的传输,毕竟移动计算比移动数据代价小很多。进一步看,数据如果在运行节点的内存中,就能够进一步减少磁盘的I/O的传输。在spark中,数据本地性优先级从高到低为PROCESS_LOCAL>NODE_LOCAL>NO_PREF>RACK_LOACL>ANY即最好是运行在节点内存中的数据,次要是同一个NODE            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-06-19 11:41:36
                            
                                93阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            spark 是计算追着数据走, storm 是数据追着计算走, 所以如果数据量比较小,要求延迟比较小, 就适合storm, 但是如果数据量比较大, 这个时候如果传输数据, 就会碰到很大的带宽占用和性能下降, 这个时候就比较适合让计算去找数据,但是在计算找数据的过程中, 是怎么让计算找到数据呢, 这个就是这篇文章谈的, spark 的计算本地性不同的 Locality LevelPROCESS_LO            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-12-28 18:57:57
                            
                                58阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            Spark在Driver上对Application的每个task任务进行分配之前,都会先计算出每个task要计算的对应的数据分片的位置。Spark的task分配算法优先考虑将task分配到分片数据所在的节点,以此来避免网络间数据传输带来的性能消耗。但是在实际的生产环境,有可能某些task没有机会分配到其所要计算的数据所在的节点;因为某些节点的计算资源都已经被占用完了;在这个时候,task会等待一段            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-07-03 15:11:35
                            
                                111阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            前置环节介绍: node1:hadoop NN DN RM NM ,hive node2:hadoop SNN DN NM node3:hadoop DN NMLocal模式local模式基本原理 本质:启动一个JVM Process进程(一个进程里面有多个线程),执行任务Task、 Local模式可以限制模拟Spark集群环境的线程数量,即local[a]或local[*]其中N代表可以使用N个            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-01-21 00:46:29
                            
                                26阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            Created by Jerry Wang, last modified on Jun 17, 2014如果使用ABAP 代码 upload或者download file到local laptop时,会遇到如下的pop up:如果想修改该默认的behavior, 可在Options->Security里,点击Open Security Configuration:将Default Actio            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2022-04-21 15:11:17
                            
                                160阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            Created by Jerry Wang, last modified on Jun 17, 2014如果使用ABAP 代码 upload或者download file到local laptop时,会遇到如下的pop up:如果想修改该默认的behavior, 可在Options->Security里,点击Open Security Configuration:将Default ...            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2021-07-15 15:09:40
                            
                                224阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            OSCP Security Technology - Local File Inclusion(LFI) PHP include and post exploitation https://www.vulnhub.com/entry/pentester-lab-php-include-and-pos ...            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2021-08-14 23:32:00
                            
                                871阅读
                            
                                                                                    
                                2评论
                            
                                                 
                 
                
                             
         
            
            
            
            authorizationtype--Oauth2.0 --getnewAccess Token完成上图连接需要http://193.168.1.103:9999/auth/oauth/token            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2019-03-08 17:24:53
                            
                                73阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            Spark安装地址官网地址http://spark.apache.org/
文档查看地址https://spark.apache.org/docs/2.1.1/
下载地址https://spark.apache.org/downloads.html
重要角色Driver(驱动器)Spark的驱动器是执行开发程序中的main方法的进程。它负责开发人员编写的用来创建SparkContext、创建RDD            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-12-10 18:10:29
                            
                                49阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            一、环境准备①准备三台虚拟机,查看ip ②先修改主机名(每个节点统一命名规范) 修改/etc/hosts文件:(如下) 172.18.96.1 master 172.18.96.2 slave1 172.18.96.3 slave3二、永久关闭防火墙systemctl stop firewalld
systemctl disable firewalld三、配置ssh免密登录三台机器都运行: ssh            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-01-02 06:17:57
                            
                                138阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            # 今天在将flink-ml程序集成到现有项目中报错如下所示Caused by: java.io.IOEx            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2023-03-21 16:21:36
                            
                                317阅读