目录1. 准备环境2. 生成scrapy项目3. 爬取数据3.1 创建Item3.2 自定义input_processor3.3 写爬虫4. 保存爬取结果4.1 pipelines4.2 在settings.py中添加配置5. 动态网页爬取5.1 改写spider代码5.2 添加中间件5.3 配置settings文件6. 随机User-Agent6.1 添加中间件6.2 配置settings 1
转载
2024-06-16 12:25:56
75阅读
转载自[https://medium.com/@ali_oguzhan/how-to-use-scrapy-with-django-application-c16fabd0e62e]How to use Scrapy with Django ApplicationThere are couple of articles on how to integrate Scrapy in
转载
2018-08-30 13:11:10
2297阅读
说明：Django框架入门 当前项目环境：python3.5、django-1.11test1booktest 命令可简写为：python manager.py xxx => ./manager.py xxx 准备：已经安装python并加入环境变量 已安装 django 设计框架对比（引用，可自行搜索）： 1、MVC MVC框架的核心思想是：解
转载
2023-12-15 13:50:55
101阅读
Django REST framework JWT在用户注册或登录后，我们想记录用户的登录状态，或者为用户创建身份认证的凭证。我们不再使用Session认证机制，而使用Json Web Token认证机制。很多公司开发的一些移动端可能不支持cookie，并且我们通过cookie和session做接口登录认证的话，效率其实并不是很高，我们的接口可能提供给多个客户端，session数据保存在服务端，那
转载
2023-12-24 13:02:41
25阅读
# Python Scrapy 集成 Pyppeteer指南
## 介绍
在网络爬虫的世界中，Scrapy 是一个功能强大的爬虫框架，但在处理动态加载的网页时，难免会遇到一些挑战。为了解决这一问题，Python 的 Pyppeteer 库为我们提供了一个无头浏览器的解决方案。本文将指导您如何将 Scrapy 和 Pyppeteer 集成，通过实例来帮助您理解。
## Scrapy和Pyppe
原创
2024-09-04 05:27:32
169阅读
前言本文将演示如何使用Springboot（后端框架）和layui（前端框架）将数据库中的数据渲染到前端页面，以及对前端页面的数据实现增删改。效果图如下：完整项目已上传至GitHub，项目地址：https://github.com/ThinkMugz/mudemo1 项目搭建首先呢，把项目创建起来，后端项目结构就不说了，标准分层。然后，在resources目录下创建static文件夹，用来放置各种
转载
2024-03-16 00:07:06
66阅读
目标爬取Jobbole网站的所有文章，并对信息进行处理保存。分析打开网页http://blog.jobbole.com/all-posts/，分析网页内容。在文章列表页面我们需要抓取红框内的信息，并对文章详细页面进一步爬取，是的，这里也要对图片进行一个下载操作。在文章详细页面，我们要提取文章的类型和文章的标签，当然，如果有需要你也可以提取更多你需要的信息。这里要注意，如下图的文章。可能会有评论数，
1.jwt这里是打包的代码地址jwt代码包json web token：用于用户认证（前后端分离/微信小程序/app开发）
- 基于传统的token认证
用户登录，服务端给返回token，并将token(服务端不保存)
以后用户再来访问时，需要携带token，服务端获取token后，再去数据库中获取token
- jwt
用户登陆之后，服务端给用户返回一个token（服务器不保存）
转载
2023-12-11 10:27:49
43阅读
Json web token (JWT), 是为了在网络应用环境间传递声明而执行的一种基于JSON的开放标准（(RFC 7519).该token被设计为紧凑且安全的，特别适用于分布式站点的单点登录（SSO）场景。JWT的声明一般被用来在身份提供者和服务提供者间传递被认证的用户身份信息，以便于从资源服务器获取资源，也可以增加一些额外的其它业务逻辑所必须的声明信息，该token也可直接被用于认证，也可
转载
2023-12-10 12:02:28
194阅读
Python爬虫框架Scrapy，是一个基于Python语言的开源项目，用于快速构建爬虫程序。它提供了一套完整的爬虫工具，支持异步网络请求、数据分析和处理、反爬虫机制等，是爬取数据的优秀工具之一。本文将以Scrapy的基本结构、组件和工作原理为主，对其进行详细介绍。 文章目录一、Scrapy的基本结构二、Scrapy组件详解三、Scrapy工作原理四、总结 一、Scrapy的基本结构Scrapy的
转载
2023-09-03 14:10:17
187阅读
# 了解CGICGI（通用网关接口， Common Gateway Interface/CGI），定义客户端与Web服务器的交流方式的一个程序。# 什么是WSGIPythonWeb服务器网关接口（Python Web Server Gateway Interface，缩写为WSGI)是Python应用程序或框架和Web服务器之间的一种接口，已经被广泛接受, 它已基本达成它的可移植性方面
转载
2024-02-27 13:23:50
124阅读
Django-Scrapy生成后端json接口：
网上的关于django-scrapy的介绍比较少，该博客只在本人查资料的过程中学习的，如果不对之处，希望指出改正；
以后的博客可能不会再出关于django相关的点；
人心太浮躁，个人深度不够，只学习了一些皮毛，后面博客只求精，不求多；
希望能坚持下来。加油！
原创
2021-05-20 06:14:21
333阅读
Django 框架? 虚拟环境的创建！ 盘它 ? Django 项目的配置? 初始项目文件细分析? 如何增添 APP 及其内部文件分析? URL 和视图挂钩? URL 中添加参数? 模板文件及其引入顺序? 模板变量及标签? 模板常用过滤器? 模板自定义过滤器? 加载静态文件? 引入数据库? 利用视图给表格模型增添数据? 查询数据? 页面重定向? 模板继承? 管理器类 Manage? 404 和
转载
2024-07-15 08:31:07
22阅读
首先，场景是这样的：存在两个django web应用，并且两个应用存在一定的联系。某些情况下彼此需要获取对方的数据。但是我们的应用肯经都会有对应的鉴权机制。不会让人家随随便便就访问的对吧。好比上车要刷卡（滴，老人卡~~~）。我们知道在浏览器用户登陆后，每次请求都会对应的session，server可以根据对用的session判断用户的权限信息。但是我们不容易在server端使用，可能存在sessi
这篇文章主要讲解在 django3 的项目中，如何使用 websocket这是一个 代理IP 的小项目,当前为0.2版本，该版本分为三端，服务器端，代理IP端，用户端可以做到在任意一台服务器和任意内网电脑上一键部署，一键启动，使该服务器通过内网机器为你提供代理IP服务。可以做到在服务器数量有限的情况下，部署更多的代理IP该项目今后的发展方向是在手机上部署代理IP端，以获得更多的代理IP当前环境为：
转载
2024-09-23 19:41:40
41阅读
Django之rbac应用组件一、权限管理的访问控制 权限管理，一般指控制用户的访问权限，使得用户可以访问而且只能访问自己被授权的资源，不能多也不能少。现在的软件系统里基本上都用到了权限管理，只是控制的粒度、层面和侧重点会有所不同，比较完善的权限管理包括四个方面的访问控制： 1.功能（最基础）：以用户完成某一功能为准。如“添加用户”、“
转载
2024-07-13 07:13:12
45阅读
1.Django简介Django是一个开放源代码的Web应用框架，由Python写成。采用了MVC的软件设计模式，即模型M，视图V和控制器C。其核心包括：一个 面向对象 的映射器，用作数据模型（以Python类的形式定义）和关系性数据库间的媒介；一个基于正则表达式的URL分发器；一个视图系统，用于处理请求；以及一个模板系统。（wekipedia）2.创建hello world首先安装python，
Xadmin是django admin的替换方案，对admin做了一些扩展，支持添加插件，界面基于bootstrap开发，更加漂亮。非常适合用来做管理后台开发
原创
2018-08-15 17:55:18
10000+阅读
前言 单点登录（Single Sign On，SSO）是指在多个应用系统中，用户只需要登录一次就可以访问所有相互信任的应用系统。 有多种开源的单点登录方案，其中，CAS（Central Authentication Service）是Yale University开发的、应用比较广泛的一种实现。 C
转载
2020-08-10 10:43:00
441阅读
2评论
Django是一个强大的Web框架，Redis作为内存数据库则是高效的数据缓存解决方案。结合这两者，不仅能够提升应用的响应速度，还能有效管理会话和数据存取。接下来，我将详细记录“Django集成Redis”的过程，包括环境准备、集成步骤、配置详解、实战应用、排错指南以及性能优化。
### 环境准备
在开始之前，让我们先确认一下技术栈的兼容性。以下是一个版本兼容性矩阵，确保你的环境可以顺利集成D
