Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ：MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 以上是对sqoop的一个简单说明，具体我就不再多赘述。日常企业开发过程中，我们可能面对增删改查的业
转载
2021-12-15 10:35:49
619阅读
1评论
Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ：MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 以上是对sqoop的一个简单说明，具体我就不再多赘述。日常企业开发过程中，我们可能面对增删改查的业
转载
2022-01-12 14:55:50
53阅读
cnanalClientAdapter – canal 1.1.1版本之后, 增加客户端数据落地的适配及启动功能, 目前支持功能:客户端启动器 同步管理REST接口 日志适配器, 作为DEMO 关系型数据库的数据同步(表对表同步), ETL功能 HBase的数据同步(表对表同步), ETL功能 (后续支持) ElasticSearch多表数据同步,ETL功能Canal Admin – canal-
转载
2024-04-05 13:38:59
92阅读
sqoop我就不再这里给大家介绍了，能来到这里应该都知道
sqoop了。目前我写了一个demo，
springboot操作
sqoop。废话不多说，直入主题。 pom文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="://maven.a
转载
2021-06-03 19:54:00
77阅读
2评论
设计模式的7大原则1.单一职责原则 SRP
2.里氏替换原则 LSP
3.依赖倒转原则 DIP
4.开闭原则 OCP
5.接口隔离法则 ISL
6.合成复合原则 CRP (CARP)
7.迪米特法则 LoD
————————————————————————————
(注意区分：单一职责 & 接口隔离)记忆方式： 一个【单身】的【里氏】拿着一本【倒转】又【半开半闭】的书，在思考： 如何实现
转载
2023-11-22 17:11:21
47阅读
一、简介(http://start.spring.io/) Spring Boot是由Pivotal团队提供的全新框架，其设计目的是用来简化新Spring应用的初始搭建以及开发过程。该框架使用了特定的方式来进行配置，从而使开发人员不再需要定义样板化的配置。通过这种方式，Spring Boot致力于在蓬勃发展的快速应用开发领域(rapid appl
转载
2024-06-18 13:17:18
50阅读
一、Linux下安装ElasticSearch 1、检测是否安装了Elasticsearch 2、安装JDK 3、下载Elasticsearch 解压Elasticsearch 移动Elasticsearch到/usr/local/elasticsearch 4、修改配置文件 进入/usr/loca
原创
2021-07-29 16:38:56
584阅读
SpringBoot2.0如何集成fastjson？在网上查了一堆资料，但是各文章的说法不一，有些还是错的，可能只是简单测试一下就认为ok了，最后有没生效都不知道。恰逢公司项目需要将JackSon换成fastjson，因此自己来实践一下SpringBoot2.0和fastjson的整合，同时记录下来方便自己后续查阅。 一、Maven依赖说明 2.1.4.RELEASE</version&
转载
2024-05-10 14:58:37
62阅读
今天给各位同学带来的是如何搭建多Module的springboot项目的实现步骤。这篇文章会比基础篇相对复杂，如果是第一次接触springboot的同学建议先阅读 java 搭建基于springboot的ssh(spring + springmvc + hibernate)的gradle项目(基础篇) 或java 搭建基于springboot的ssm(spring + springmvc + m
转载
2023-12-15 14:16:05
152阅读
SpringBoot整合Nacos2.3.1 文章目录SpringBoot整合Nacos2.3.1前言一、nacos是什么？二、前期准备工作三、项目依赖四、配置nacos数据库五、开启鉴权总结 前言提示：这里可以添加本文要记录的大概内容：例如：最近正在根据自己这些年学到的东西整合项目，记录一下整合过程。一、nacos是什么？Nacos /nɑ:kəʊs/ 是 Dynamic Naming and
转载
2024-07-18 15:40:21
135阅读
目录1.前言2.流程2.1导入依赖2.2用户实体类实现UserDetails2.3用户业务层实现UserDetailsService2.4编写SpringSecurity的配置类SecurityConfig3.效果演示 1.前言之前项目用的是SSM框架,所以我们选用的安全框架是shiro,但是因为技术主管把我们分散做的模块整合到一起做成微服务的形式,所以我们就用springboot重新将我们的项
转载
2024-03-18 09:53:27
116阅读
工程简介项目地址页面效果（前台）后台项目技术框架：springboot视图技术：thymeleaf数据库实现：mybatis缓存：redis任务管理：邮箱消息队列：rabbitMQ权限管理：springsecurity评论系统：LeanCloud 导出功能：easyexcel视频播放器：DPlayer2 | Powerful danmaku video player | NPlayer(可以尝试一
转载
2024-03-07 11:41:51
50阅读
前言：开发环境：IDEA+jdk1.8+windows10目标：使用springboot整合druid数据源+mysql+mybatis+通用mapper插件+pagehelper插件+mybatis-generator+freemarker+layui使用springboot开发web项目，尤其是web后台管理类项目，推荐使用上面的组合；原因：首先，druid数据源提供了方便的sql监控视图，而
转载
2024-03-15 09:46:20
93阅读
阿里sentinel已适配springboot，整合非常简单，只需要添加一些配置就可以了，不需要写任何代码。但是如果有一些特殊需求，需要更细粒度的控制限流，就需要自己写些代码，比如对外的接口需要根据请求者ip，header中的user-agent或者其他信息限流，来防止恶意刷接口，或者爬虫，本人的项目就遇到了有人使用sqlmap工具来寻找sql注入漏洞和爬虫扫描接口，于是研究了一下sentinel
转载
2024-03-26 15:45:14
20阅读
一、准备工作
本地准备cas服务端（https://github.com/apereo/cas），下载cas代码并build成war包
本地准备Tomcat,并将打包好的cas包放至tomcat的webapps目录下,启动Tomcat
打开WEB-INF下application.proper
转载
2024-04-05 00:03:20
191阅读
1.简介Shiro 是一个强大、简单易用的 Java 安全框架，可使认证、授权、加密，会话过程更便捷，并可为应用提供安全保障。本节课重点介绍下 Shiro 的认证和授权功能。2.Shiro的三大组件Shiro 有三大核心组件，即 Subject、SecurityManager 和 Realm。先来看一下它们之间的关系。2.1 Subject 为认证主体包含 Principals 和 Credent
转载
2024-03-26 21:25:38
115阅读
前言该文章会先简单的介绍一下阿里云的OSS存储，然后演示如何在SpringBoot项目中集成OSS，每一步都有记录，保证初学者也能看懂。 文章目录前言1、阿里云存储OSS是什么？2、SpringBoot项目集成OSS2.1、新建一个SpringBoot项目，引入阿里云和swagger依赖2.2、配置application.propertiese文件2.3、编写Java代码3、Swagger中测试文
转载
2024-02-08 07:18:00
95阅读
springboot结合dubbo使用dubbo结合spring需要在配置文件中配置，结合springboot时就可以使用application.yml配置文件或者application.properties。个人更喜欢结合springboot的使用。 不说那么多了，从代码中得到的才是最深沉的。 创建一个maven项目创建一个springboot提供者的modulestep0:创建好后pom.xm
转载
2024-02-29 20:31:54
55阅读
一、场景简介 最近在做公众号关键词回复方面的智能问答相关功能，发现用户输入提问内容和我们运营配置的关键词匹配回复率极低，原因是我们采用的是数据库的Like匹配。这种模糊匹配首先不是很智能，而且也没有具体的排序功能。为了解决这一问题，我引入了分词器+Lucene来实现智能问答。二、功能实现本功能采用springboot项目中引入Lucene相关包，然后实现相关功能。前提大家对springboot要
转载
2024-02-04 07:36:08
64阅读
说明:这里是在springboot已经整合了mybatis 实现了数据的增删查改的基础上再与shardingsphere进行整合. springboot与mybatis的整合 这里不再做介绍.关于shardingsphere这里也不做过多的介绍,可以去官网自行查看,官网地址:shardingsphere官方文档介绍读写分离产生的背景介绍: 面对
转载
2024-03-19 20:58:02
97阅读
