是否了解线程的同步和异步？ 线程同步：多个线程同时访问同一资源，等待资源访问结束，浪费时间，效率低 线程异步：在访问资源时在空闲等待时同时访问其他资源，实现多线程机制 是否了解网络的同步和异步？ 同步：提交请求->等待服务器处理->处理完毕返回 这个期间客户端浏览器不能干任何事 异步: 请求通过事件触发-
转载
2023-12-23 21:33:08
39阅读
一、什么是跨域（源）跨域指的是从一个域名下去请求另外一个不同的域名下的资源。说明：跨域和跨源可以看作相同，只是用词不一样二、为什么会有跨域（源）这个问题原因：浏览器的同源策略导致了跨域（源）同源策略说明：https://developer.mozilla.org/zh-CN/docs/Web/Security/Same-origin_policy举例：http://www.a.com:8080/i
本篇提供几个例子，从代码层面说明同源政策何时起作用，并尝试通过几种不同的方法解决跨域问题。同源下可Ajax成功先是第一版，一个简单的flask程序。自己请求自己，不会有什么问题。 打开浏览器输入：http://127.0.0.1:4000 会返回字符串回去，交给浏览器，其解析运行其中的javascript代码，发出ajax请求，至同服务下的/get_data路由，得到数据后渲染至页面。 代码如下：
转载
2024-08-01 15:35:12
161阅读
先收藏一下，有空再整理答案爬虫面试常见问题一、项目问题：1.你写爬虫的时候都遇到过什么反爬虫措施，你是怎样解决的2.用的什么框架。为什么选择这个框架二、框架问题：1.scrapy的基本结构（五个部分都是什么，请求发出去的整个流程）2.scrapy的去重原理（指纹去重到底是什么原理）3.scrapy中间件有几种类，你用过哪些中间件4.scrapy中间件在哪里起的作业（面向切片编程）三、代理问题：1.
转载
2024-05-09 23:19:26
43阅读
1、 健壮性。网络不稳定，网页格式有问题，这些情况都是会发生的。当发生了这些情况是，爬虫不能抛出异常，而后退出，应该做适当的异常处理。 2、 使用多线程下载技术。否则，一个一个也没下载，使用单线程，在爬取页面上浪费的时间会非常之多。 3、持久化问题。包括页面下载的持久化，还有链接的持久化问题。可以分批下载，使用文件存储，或者使用数据库存储，使用sqlite应该会是 一个比较好的选择。 4、登陆需要
转载
2024-08-17 10:50:23
51阅读
子域名不支持ajax直接提交，但支持form表单直接提交。
原创
2022-02-14 17:36:59
94阅读
# 解决axios跨域问题
## 简介
在前端开发过程中，我们经常会使用axios库来发送HTTP请求，但是在跨域请求时，可能会遇到一些问题。本文将介绍如何解决axios跨域问题，并提供详细的步骤和代码示例。
## 问题分析
在前后端分离的开发中，前端项目通常运行在 localhost:8080 端口上，而后端项目运行在 localhost:3000 端口上。由于浏览器的同源策略，当前端项目通
原创
2023-12-19 10:57:39
76阅读
# 解决Docker中Nginx接口跨域问题
在使用Docker容器部署Nginx作为静态资源服务器的过程中，经常会遇到前端页面访问后端接口存在跨域问题。跨域是由于浏览器的同源策略(Same Origin Policy)限制引起的，解决方法主要包括在Nginx配置中添加CORS头信息或者在后端接口服务中设置允许跨域访问。
## 什么是跨域问题
当前端页面通过Ajax请求后端接口时，如果请求的
原创
2024-04-21 06:20:50
319阅读
# Angular 与 Java 跨域问题解析
在现代 web 开发中，前后端分离的架构越来越普遍，Angular 被广泛用作前端框架，而 Java 则是后端开发的重要语言之一。但是，在前端与后端之间进行数据交互时，跨域（CORS）问题往往会给开发者带来困扰。本文将为您详细介绍 Angular 与 Java 之间的跨域问题，分析解决方案，并提供相关代码示例。
## 跨域是什么？
跨域是指浏览
原创
2024-09-05 05:30:35
38阅读
子域名不支持ajax直接提交，但支持form表单直接提交。
原创
2022-02-09 14:24:45
66阅读
python注重代码的阅读性，让代码看起来整洁美观，所以python是一门优雅的，简洁的，让人眼前一亮的高级语言. ‘’ import requests
‘’ url = “https://www.baidu.com”
‘’ response = requests.get(url) 代码意义简单明了，导入请求模块，利用请求库中的get请求向目标网站发送请求，获取目标网站的响应数据。这是爬虫的基
转载
2023-12-15 04:44:39
111阅读
在使用python爬虫的过程中，当我们掌握了爬虫的基本技术，然后开始我们的爬虫之旅的时候，各位小伙伴一定会遇到些许问题因而非常苦恼，现在我们就来探讨下这些在python爬虫的过程中可能遇到的问题，以及如何解决这些问题。第一个，JS加密技术。一般网页的开发者为了不让自己的js代码轻易被别人拷贝，所以会采取一些加密的手段，来保护自己的代码。但是，对于爬虫的用户来说，爬取到一些个乱码实在是不
转载
2023-09-24 19:21:29
75阅读
BeautifulSoup 爬虫 乱码
原创
2022-11-04 15:02:39
562阅读
很早就知道python了，但一直没拿来用，最近突然觉得需要爬一些小图片(=_=)了，就想到了python。python用起来确实方便快捷，很快就构建好了主要功能。模块分2部分，一个是爬图模块，另一个是登录模块。爬一般网站就直接调爬图模块，爬xxx网站(+_+)就执行登录模块（嵌入了爬图模块），爬不同的xxx网站需要构造不同的formdata。在陆续完善各种检测功能的时候遇到些问题，代码就不贴了比较
转载
2023-12-07 19:38:25
80阅读
最近在上学习嵩老师讲的Python网络爬虫，按照嵩老师所讲的以管理员权限打开cmd并使用pip install requests命令安装requests库出现了一个问题，系统无法识别pip命令。按道理安装Python开发环境IDLE时自带pip，可为什么无法识别pip命令？现就这一问题提出个人看法及解决思路。一.解决思路 第一种解决思路：直接输入py -m pip install requests
转载
2023-12-07 10:27:51
68阅读
最近在学习爬虫，但是关于解码和编码的问题上出现了一些问题，百度了一下，终于找
原创
2022-08-03 17:09:33
157阅读
提高爬虫效率的方法 协程。采用协程，让多个爬虫一起工作，可以大幅度提高效率。 多进程。使用CPU的多个核，使用几个核就能提高几倍。 多线程。将任务分成多个，并发（交替）的执行。 分布式爬虫。让多个设备去跑同一个项目，效率也能大幅提升。 打包技术。可以将python文件打包成可执行的exe文件，让其在后台执行即可。 其他。比如，使用网速好的网络等等。 限制请求头，即request header。解决
转载
2023-09-11 19:06:41
154阅读
1，编码问题：设置文件编码格式utf-8 出现问题的原因：程序中的编码错误，python默认是acii模式，没有支持utf8，代码的第3行中出现了“年 月 日”这几个汉字，所以出现了错误。
2
解决方法：源代码文件第一行添加：#coding:utf-8，这样就可以避免了。参考下图。
步骤阅读
转载
2023-10-18 17:09:20
77阅读
爬虫真是一件有意思的事儿啊，之前写过爬虫，用的是urllib2、BeautifulSoup实现简单爬虫，scrapy也有实现过。最近想更好的学习爬虫，那么就尽可能的做记录吧。这篇博客就我今天的一个学习过程写写吧。一 正则表达式正则表达式是一个很强大的工具了，众多的语法规则，我在爬虫中常用的有：.匹配任意字符（换行符除外）*匹配前一个字符0或无限次?匹配前一个字符0或1次.*贪心算法.*?非贪心算法
1.前置知识html一些知识python基本语法简单的一些爬虫库api调用2.所用到的包requestsbs4 import BeautifulSoup Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库(可以理解为 一个处理文本工具吧)ossyshttps://cn.python-requests.org/zh_CN/latest/https://beaut
转载
2023-12-28 07:05:26
49阅读
