jvm垃圾收集器（新生代）serial收集器serial收集器是最基本、发展历史最悠久的收集器，jdk1.3.1之前是新生代收集的唯一选择。采用复制算法。这个收集器是单线程收集器，它在进行垃圾收集时，必须暂停其他所有的工作线程，直到它收集结束（stop the world）。它依然是虚拟机允许在client模式下的默认新生代收集器。它有着优于其他收集器的地方：简单而高效，对于限定单个cpu的环境来
前言：话接上篇讲了垃圾收集器的几大算法，本篇主要讲对应算法的一些实现。话不多说，先看一张图。 图中主要介绍了目前主流的几款垃圾收集器（图中连线表示可以组合收集，不过CMS到Serial Old除外，我标为了红色）。其中Serial，ParNew，Parallel主要负责对年轻代的垃圾回收，CMS，Serial Old，Parallel Old，则是主要对老年代的垃圾回收，G1垃圾收集器就比较厉害，
转载
2024-10-27 15:24:41
18阅读
最近发现有人采集我们的网站就在服务器新部署了日志分析系统awstats。根据awstats分析结果快速定位了疑似采集器的IP xxx.xxx.xxx.200，在服务器上部署了iptables防火墙，对这个IP的80端口访问予以限制。
下面分享一下分析思路：
1. 如下图所示，xxx.xxx.xxx.200此IP每日访问量高达400MB以上，并且访问时间都是凌晨。
2. 如下图所示，在
原创
2010-11-19 11:47:13
1053阅读
点赞
# 网站人数采集与Redis的应用
随着互联网的快速发展，网站流量监控变得越来越重要。了解网站的访问人数，不仅可以帮助及时掌握用户行为，还可以为后续的决策提供参考。而Redis，因为其快速的内存存储能力，成为了流量统计的理想选择。本文将介绍如何使用Redis实现网站当前在线人数的采集，并提供示例代码和相关的类图及饼状图。
## Redis简介
Redis是一款开源的高性能键值对存储数据库，具
# Python采集 网站加密实现方法
## 整体流程
为了实现Python采集网站加密，我们需要经历以下步骤：
| 步骤 | 操作 |
| ---- | ---- |
| 1 | 获取目标网站的URL |
| 2 | 解析网页内容 |
| 3 | 处理加密数据 |
| 4 | 保存数据至本地文件或数据库 |
## 操作步骤及代码示例
### 步骤一：获取目标网站的URL
首先，我们需
原创
2024-04-27 05:08:58
42阅读
话不多出，直接写出实现过程。若是需要代理，就设置代理// // 设置代理上外网// System.getProperties().put("proxyS
原创
2023-03-19 02:02:34
86阅读
如何避免网站被采集一、robots.txt文件设置
robots.txt文件是用来告诉搜索引擎哪些页面可以被抓取，哪些页面不应该被抓取的。通过修改robots.txt文件，可以控制搜索引擎爬虫对网站的访问行为。
二、设置meta标签
在网页头部添加meta标签，可以告诉搜索引擎这个页面是否允许被索引、是否允许被跟踪等信息。通过设置meta标签，可以有效地控制搜索引擎对网站内容的抓取行为。
三、使用
原创
2024-01-15 16:30:00
212阅读
1.引言 项目背景 在互联网络的时代，信息如同大海般没有边际。甚至我们获取信息的方法已经发生改变：从传统的翻书查字典，继而变成通过搜索引擎进行检索。我们从信息匮乏的时代一下子走到了信息极大丰富今天。 在今天，困扰我们的问题不是信息太少，而是太多，多得让你无从分辨，无从选择。因此，提供一个能够自动在互联网上抓取数据，并自动分拣、分析的工具有非常重要的意义。 我们通过传统的搜索引擎所获得
简介Twisted是一个基于Reactor模式的异步IO网络框架，利用循环体来等待事件，从而实现异步编程和非阻塞IO，利用deferred来管理回调函数。应用举例使用DeferredList管理from twisted.web.client import getPage, deferfrom twisted.internet import reactordef all_done():
原创
2022-07-09 00:10:29
58阅读
通过对phpcms数据库字段的填充，实现自动发布文章，手动发布一篇文章并查看数据库中那些table发生变化，即可发现cms（如帝国cms等）文章自动化发布工具开发的突破口！
# coding=utf-8 '''功能：采集百度新闻(http://news.baidu.com/)内容,百度新闻聚合了许多行业网站的新闻,已经帮我们去重筛选了,采集自己行业的新闻数据很不错。
一、效果图 二、示例代码 1、items.py # -*- coding: utf-8 -*- # Define here the mod
原创
2023-01-08 00:16:36
90阅读
写在前面有小伙伴选题，简单整理理解不足小伙伴帮忙指正 对每个人而言，真正的职责只有一个：找到自我。然后在心中坚守其一生，全心全意，永不停息。所有其它的路都是不完整的，是人的逃避方式，是对大众理想的懦弱回归，是随波逐流，是对内心的恐惧 ——赫尔曼·黑塞《德米安》采集原理一般情况下可以通过 selenium 来批量获取图片，定位元素，获取URL ，逻辑相对简单:部分页面可能存在 翻页，懒加载的情况，一
原创
2023-12-11 11:35:34
257阅读
很久没有写过 Python 爬虫了，最近不是在拧螺丝，就是在拧螺丝的路上，手生的很了，很多代码用法也早已经殊生，因此
原创
2023-09-02 10:45:10
94阅读
目录一、项目结构描述二、截图三、关键代码四、总结一、项目结构描述GoPage.java，这是项目的入口，它的最终目的是打开一个页面，新闻首页或者管理员登陆后的后台管理页面。它的任务是获取所有新闻并存入链表，并将新闻链表存入session，方便其他页面获取。获取flag参数，如果获取到了flag=“showlist”，则说明是管理员登录，将新闻数据送入后台管理页面，否则是未登录状态，将数据送入新闻首
转载
2023-07-04 18:16:17
92阅读
总所周知，linux系统还是较为流畅，特别是运行php程序的时候，比windows快许多，而且对于配置没有太高需求，于是许多小说站长喜欢使用linux作为服务器系统，但是问题又在于关关采集器无法再linux下运行，这个造成了很大的困扰，而且网上的教程并不见得完善，所以今天我就稍微整理一下，解决站长的这些麻烦。如果不想远程，而是直接在linux服务器本地采集，参考这篇教程：点击进入目前发现了通过映射
一、谈火车头采集器的由来
火车头：我们的这个采集器最早是从05年底开始有这个想法的，当时也是和大家一样，个人站长，添加管理维护网站很辛苦，一篇篇修改复制发布最开始也是接触dede 然后发现他有个外部的c#采集器。不知道有多少人也记得，我的思路基本是从这个dedespider学来的，原来真的不懂什么，到后来学会php和.net,所以只要大家有兴趣，技术上的问题都可以克服，讲到现在的采集，其实采
转载
精选
2009-04-10 10:29:45
3229阅读
摘要网上有很多个人站来分享电影资源，其实有时候我们自己也想做这个一个电影站来分享资源。但是这个时候就有一个问题，电影的资源应该从哪里来呢？难道要自己一条条手动去从网络上获取，这样无疑是缓慢而又效率低下的。这个时候我们可以用自己掌握的知识去写一个小小爬虫程序，在网络上爬去电影资源。爬去对象---电影天堂首先打开电影天堂的链接，从下面的图片可以看出电影天堂的电影资源都是已列表页--详情页的方式展示得，
转载
2023-09-08 14:52:27
380阅读
文章目录[隐藏] 前言火车头软件安装网站分析总结 前言最近在使用火车头采集，在使用过程中还是遇到一些问题，于是想记录下。鉴于网上完整使用火车头采集的文章较少，于是我就想出一个从网站采集使用到数据发布的一系列文章。鉴于本人技术水平有限，难免有误导情况，如有问题欢迎留言讨论。火车头软件安装安装教程，我在此就不多做说明了吧，直接下一步下一步安装即可，没有特殊说明。
原创
2021-07-14 15:08:40
580阅读
# 使用 Python Flask 搭建网站服务器进行数据采集
## 引言
在当今信息爆炸的时代，数据采集变得尤为重要。通过从网站上自动提取数据，个人和企业可以获得有价值的信息。本文将介绍如何使用 Python 的 Flask 框架搭建一个简单的网站服务器，并实现数据采集功能。通过这篇文章，你将学习 Flask 的基本用法、创建一个简单的 Web 服务器以及如何进行数据采集。
## 环境准备
最近有个公司想要开发新产品，想要找到一些相关产品的功能以及工艺信息，之前有个负责人就通过传统的百度查询来查找，但是效率太慢，然后请教我问我有什么办法收集这类产品信息以及配套的产品书籍以及信息，这不，饭都请我吃了，我能说不么？
原创
2024-01-05 09:51:42
108阅读
