springBoot+webMagic 实现网站爬虫前端时间公司项目需要抓取各类数据，py玩的不6，只好研究Java爬虫方案，做一个总结。开发环境：springBoot 2.2.6、jdk1.8。1、导入依赖<!--WebMagic核心包-->
<dependency>
<groupId>us.codecraft</
转载
2024-09-19 18:53:38
47阅读
反爬虫策略1、封IP：网页的运维人员通过分析日志发现最近某一个IP访问量特别特别大，某一段时间内访问了无数次的网页，则运维人员判断此种访问行为并非正常人的行为，于是直接在服务器上封杀了此人IP。2、封USERAGENT：很多的爬虫请求头就是默认的一些很明显的爬虫头python-requests/2.18.4，诸如此类，当运维人员发现携带有这类headers的数据包，直接拒绝访问，返回403错误3、
转载
2024-06-03 09:58:25
53阅读
习惯优于配置Spring Boot 项目的重要思想就是“习惯优于配置”，这也是为什么该项目诞生的原因，让开发者免于 Spring 生态中各种项目的配置。尽管如此，但项目中完全零配置还是很难做到的，因此本篇文章就来讲解一下 Spring Boot 中的配置。分析默认项目先从默认创建的项目开始分析，Spring Boot 默认创建的项目会有一个如下所示的入口类，该类被标注了 @SpringBootAp
转载
2024-06-24 17:59:56
70阅读
Scheduled 只适合处理简单的计划任务，不能处理分布式计划任务。优势：是spring框架提供的计划任务，开发简单，执行效率比较高。且在计划任务数量太多的时候，可能出现阻塞，崩溃，延迟启动等问题。 Scheduled定时任务是spring3.0版本之后自带的一个定时任务。其所属Spring的资源包为：spring-context-support。所以需要使用Scheduled定时任务机制时
转载
2023-06-19 04:53:02
146阅读
前言 使用缓存可以使应用更快的获取数据，避免频繁的数据库交互，尤其是在查询越多、缓存命中率越高的情况下，使用缓存的作用就越明显。MyBatis作为持久化框架，提供了非常强大的查询缓存特性，可以非常方便地配置和定制使用。一般提到MyBatis缓存的时候，都是指二级缓存，一级缓存默认会启用，并且不能控制，因此很少会提到。不过，知道一级缓存的存在可以避免产生一些难以发现的错误。一级缓存SqlSessi
在使用Spring Boot开发微服务架构时，合理策略的应用是提升应用性能、维护可扩展性和增强系统健壮性的关键。本文将详细探讨在Spring Boot中遇到的策略问题，并给出具体的解决过程。
### 问题背景
在某大型电商平台的项目中，团队采用Spring Boot框架构建了微服务架构，希望实现灵活调用及负载均衡。用户场景如下：
- **服务上线前**:
- 需求分析和系统设计阶段，团队
在使用redis时，一般会设置一个过期时间，当然也有不设置过期时间的，也就是永久不过期。当设置了过期时间，redis是如何判断是否过期，以及根据什么策略来进行删除的。设置过期时间expire key time(以秒为单位) 这是最常用的方式setex(String key, int seconds, String value) 字符串独有的方式除了字符串自己独有设置过期时间的方法外，其他方法都需要
转载
2024-06-07 10:20:18
45阅读
一.阿里云服务器上下载和安装采用 docker-compose方法安装 一个很不错的小白运维工具# 安装git命令： yum install -y git
git clone https://gitee.com/zhengqingya/docker-compose.git
cd docker-compose/Linux
cd mongodb/docker-compose -f dock
转载
2023-12-01 16:17:48
44阅读
策略模式：介绍定义一系列算法，然后将每一个算法封装起来，并将它们可以互相替换。也就是将一系列算法封装到一系列策略类里面。策略模式是一种对象行为型模式。详细介绍可参阅：[策略模式Strategy]()适用性用于处理相同场景下不同对象（类型）不同而具体处理业务逻辑有差异。我们往往会使用if...else或者switch-case语句，会造成代码可读性变差。所以将这些处理方式，组合构成算法策略族，它们的
基于 spring-boot 开发(spring-boot1.x, spring-boot2.x均可)需要使用 redis工作流程kk-anti-reptile 使用基于 Servlet 规范的的 Filter 对请求进行过滤，在其内部通过 spring-boot 的扩展点机制，实例化一个 Filter，并注入到 Spring 容器 FilterRegistrationBean 中，通过 Spri
kk-anti-reptile 是适用于基于spring-boot开发的分布式系统的反爬虫组件系统要求基于 spring-boot 开发 (spring-boot1.x, spring-boot2.x 均可)需要使用 redis工作流程kk-anti-reptile 使用基于 Servlet 规范的的 Filter 对请求进行过滤，在其内部通过 spring-boot 的扩展点机制，实例化一个 F
一个简单的爬虫程序主要分为两部分:1、抓取网站资源，也就是我们通过浏览器看到的页面资源（HTML源码）。2、制定筛选规则，筛选出我们想要的数据。 这里就以爬取首页的文章信息为例实现一个简单的Java爬虫。我这里是个spring boot项目，jdk版本1.8。不得不说新版eclipse自带maven，自己再安装个STS组件构建srping boo
这里写目录标题一、SpringBoot的两大特性1. 依赖管理2. 自动配置2.1 配置内容2.2 配置原理 一、SpringBoot的两大特性1. 依赖管理SpringBoot2使用父项目做依赖管理，我们的每个Spring项目都依赖于spring-boot-starter-parent，而spring-boot-starter-parent又依赖于spring-boot-dependencie
转载
2023-11-24 19:59:59
82阅读
java爬虫篇：springboot+jpa下实现爬取网页数据
Springboot+JPA下实现简易爬虫--爬取豆瓣电视剧数据 前言：今天听到产品那边讨论一些需求，好像其中一点是用户要求我们爬虫，在网页上抓取一些数据然后存到我们公司数据库中，众所周知，爬虫的实现对于python语言可是专家，而对于我们使用的Java语言，我也不确定可不可以，趁着无事，
转载
2024-01-16 21:45:22
39阅读
文章目录前言一、策略模式二、主要角色三、示例代码四、优缺点1. 优点2. 缺点3. 适用场景五、策略模式在Spring源码中应用参考文档 前言完成一项任务，往往可以有多种不同的方式，每一种方式称为一个策略，我们可以根据环境或者条件的不同选择不同的策略来完成该项任务。在软件开发中也常常遇到类似的情况，实现某一个功能有多个途径，此时可以使用一种设计模式来使得系统可以灵活地选择解决途径，也能够方便地增
转载
2023-12-25 12:01:10
167阅读
**SpringBoot的基本配置：**主程序入口：XxxApplication,使用@SpringBootApplication注解修饰类加载路径Resource： **配置文件：**以application命名，结尾可以是yml、yaml或properties,配置文件的配置作用就是替换SpringBoot自动装配的默认配置，在配置文件中配置的属性，可以通过配置类使用@Configuratio
转载
2023-07-04 13:10:27
357阅读
一、前言策略模式可能是在工作中使用最多的，也是在面试中最常提到的，代码重构和优化的必备！
小编之前也是一直说，其实没有真正的实战；最近有了机会实战了一下，来分享一下使用心得和在企业级的使用！二、策略模式1. 什么是策略模式策略模式，英文全称是 Strategy Design Pattern。在 GoF 的《设计模式》一书中，它是这样定义的：定义一族算法类，将每个算法分别封装起来，让它们可以互相替换
转载
2023-11-06 12:52:04
31阅读
本文对应的代码都会放在 GitHub 仓库 WebMagic-aizhan-java-spider 下，如果你觉得本文以及这个项目对你有用，麻烦在 GitHub 上给我 start 一下！感激不尽！ 文章目录1、本文所用技术介绍2、整体项目搭建以及代码解析2.1 数据库的创建2.2 MVC架构的搭建以及配置2.3 详细代码编写及分析3 项目测试以及相关问题的解决3.1 项目测试3.2 可能出现的问
转载
2023-12-18 22:29:19
212阅读
Spring Cloud 微服务架构学习记录与示例一、认识Ribbon首先咱们需要认识下负载均衡，一般分为服务器端负载和客户端负载均衡。 服务器端负载均衡：比如Nginx、F5，请求达到服务器后由负载均衡根据算法将请求转发到目标服务器进行处理。 客户端负载均衡：比如Ribbon，服务消费者会获取一个服务器地址列表，调用前根据负载均衡的算法进行选择某个服务器，然后进行调用。Ribbo
转载
2023-11-29 10:03:19
100阅读
注意：如果我们使用spring-boot-starter-jdbc 或 spring-boot-starter-data-jpa “starters”坐标,Spring Boot将自动配置HikariCP连接池， 因为HikariCP在性能和并发性相比其他连接池都要好。 一、默认连接池策略 1.如果
原创
2021-07-20 10:10:14
4520阅读
