异步爬虫异步爬虫初识异步爬虫方式li视频源码讲解协程异步编程什么是协程：实现携程的方法：事件循环单条时间启动多个事件启动（重要）await关键字（重要）回调函数（重要）协程中的requests—aiohttp（重要）基于协程的数据爬取 异步爬虫初识异步爬虫方式多线程，多进程（不建议）： - 优点：可以为相关堵塞（耗时间）的操作单独开启线程和进程，堵塞程序就会实现异步执行 - 缺点：无法限制多进程
从开始玩爬虫到现在差不多半年多了，写了不少爬虫，爬了不少网站，在博客里也分享了不少爬虫的教程。我的教程文章中，一般会附带完整的爬虫代码，大家只要搭建好环境，便可以直接运行使用。不少读者朋友在使用爬虫遇到问题时也会跟我讨论，交流过程中我发现了一些比较共性的问题。因此文章重点放在了思路分析上，具体如何编写代码爬取数据则简单略过。造成了一些读者，基于我的代码进行修改爬取其他相似网站时束手无策。由于写代码
原创
2021-04-27 12:20:15
2698阅读
从开始玩爬虫到现在差不多半年多了，写了不少爬虫，爬了不少网站，在博客
原创
2022-01-07 11:51:29
1737阅读
如果说写代码最害怕什么，那无疑是Bug。而对于新手来说，刚刚接触编程，在享受写代码的成就感时，往往也会被各式各样的Bug弄得晕头转向。今天，我们就做了一期Python常见报错的分享，拯救你的代码！01缩进错误（IndentationError）在Python中，所有代码都是通过正确的空格排列的。所以，无论是多出来的空格，还是缺少空格，整个代码都不会运行，并且仅返回一个错误函数。Python代码遵循
转载
2023-06-27 22:09:54
65阅读
摘要：Python 是一个简洁优雅的高级编程语言，它容易上手的同时，也隐藏了一些难以理解和甚至反人类直觉的坑。本文列出一些我们线上代码实际遇到过的一些编码问题。一、不要混用 Tab 和空格如上图中的代码，return n那行代码的是Tab缩进，而其他行是4 个空格，当编辑器设置Tab显示宽带为 4 个空格宽时，就会出现逻辑和直觉相悖的情况。解决办法：要求团队成员遵循 PEP 8 代码规范 ，统一采
转载
2023-07-06 13:26:37
54阅读
不可避免经常会碰到一些小问题，但会耽误自己很长时间，希望对大家有所帮助。1. SyntaxError:Non-UTF-8 code starting with '\xd7' in file 0807_multiprocessing实例.py on line 7, but no encoding declared; see http://python.org/dev/peps/pep-0263/ f
转载
2023-06-16 19:32:26
125阅读
我用 PHP 和 Python 都写过爬虫和正文提取程序。
最开始使用 PHP 所以先说说 PHP 的优点：
1.语言比较简单，PHP 是非常随意的一种语言。写起来容易让你把精力放在你要做的事情上，而不是各种语法规则等等。
2.各种功能模块齐全，这里分两部分：
1.网页下载：curl 等扩展库;
2.文档解析：dom、xpath、tidy、各种转码工具，可能跟题主的问题不太一样，我的爬虫需要提取正
# 如何实现Python爬虫小说遇到的问题
## 一、整个流程
首先，让我们来看一下整个实现Python爬虫小说的流程。可以用一个表格展示步骤：
| 步骤 | 描述 |
| ---- | ----------------------------------------- |
| 1 | 确定要爬取的小说网站
老猿在学习Python中爬虫知识时遇到了如下...
转载
2019-09-08 17:41:00
79阅读
2评论
1，编码问题：设置文件编码格式utf-8 出现问题的原因：程序中的编码错误，python默认是acii模式，没有支持utf8，代码的第3行中出现了“年 月 日”这几个汉字，所以出现了错误。
2
解决方法：源代码文件第一行添加：#coding:utf-8，这样就可以避免了。参考下图。
步骤阅读
提高爬虫效率的方法 协程。采用协程，让多个爬虫一起工作，可以大幅度提高效率。 多进程。使用CPU的多个核，使用几个核就能提高几倍。 多线程。将任务分成多个，并发（交替）的执行。 分布式爬虫。让多个设备去跑同一个项目，效率也能大幅提升。 打包技术。可以将python文件打包成可执行的exe文件，让其在后台执行即可。 其他。比如，使用网速好的网络等等。 限制请求头，即request header。解决
转载
2023-09-11 19:06:41
129阅读
目录一、MySQL 8 忘记密码，如何修改密码？1.在配置文件中打开 skip-grant-tables 跳过数据库权限验证2.重启mysql，并连接mysql3.设置密码4.把 skip-grant-tables 禁止5.补充：MySQL 5.7 如何修改密码？二、MySQL 8 开启远程访问权限1.关闭防火墙2.MySQL配置文件中设置本地IP/localhost绑定3.给
转载
2023-07-08 12:40:16
205阅读
点赞
都是我和朋友经历过的失败经验，学校里公司里都不教，只会在发现你这样写时嘲笑你的那种错误1.原始类型和包装类星用错比如：Integer a=new Integer(129);
Integer b=new Integer(129);
//a==b会返回false，因为这是两个不同对象的引用还比如：入参Integer x为null，把它赋值给int y，就会报空指针异常。为什么要有包装类，是一个可以
1.提示说libtool找不到什么的，是库路径多加了一个\，去掉就好了2.c++,c，oc混编注意.m文件变成.mm3..a里面包含了c方法，打静态库的时候没问题，打执行包的时候有问题注意连接问题，加extern “”4.编译提示class找不到 是得设置 settings-》compile Sources As OC++5.提示linked error 先看下是不是编译和链接的类型对应不上，再看
原创
2013-11-18 19:31:14
491阅读
中间出现的无数次问题找度娘解决了，自学确实比较艰辛，因为一个问题经常想一两天都解决不了。 再来谈谈我看过的这本书：《python网络爬虫从入门到实践》。 这本书说实话写的很浅，虽然内容比较适合新手，但是内容都是浅尝辄止，想要速成的同学可以看。但是想要学习的有深度，可以买这本《python3 网络爬虫开发实战》 讲的很细，也很全面。当然，自学过程中遇到问题多去看看别人的博客，累计经验，多多总结。 我
转载
2023-08-04 11:02:59
106阅读
第一个问题：JS加密如何突破(1) 熟练掌握Chrome的开发者工具的各个功能，Elements， Network，Source(2) 认真观察，善于思考。Network查看加载流程，找可疑的xhr请求，设置xhr断点，通过Call Stack 回溯js执行过程，边回溯边查看上下文代码。能读懂js，知道js的相关知识，比如js里面的window变量。(3) 以上是通过debug js找到js加密解
基于Python实现的网络爬虫项目——多线程下载小说并保存为txt文件（包含完整代码及注释）一、确立预期目标二、完成项目所需工具三、项目需要解决的问题问题一问题二问题三问题四问题五问题六四、对应问题解决方法问题一解决方法及思路问题二解决方法及思路问题三解决方法及思路问题四解决方法及思路问题五解决方法及思路问题六解决方法及思路五、完整代码及项目总结 本学期由于课程的需要，对于python的网络爬虫
转载
2023-09-09 22:28:20
160阅读
今天终于把VPN设置成功了，并且也ping通了。之前一直是拨号成功但ping不通，是因为在指定IP的时候指定成了同一网段的。
但又出现一个问题就是拨号成功，ping通了，但是外网又断了，可以访问远程Server端内网的共享了。
在网上又查了N久，发现了解决ping通但上不了外网的解决方法：
一、虚拟专用网络连接 属性
网络 -- TCP/IP属性 -
原创
2012-03-14 22:39:13
777阅读
Linux面试题答案解析1、绝对路径用什么符号表示？当前目录、上层目录用什么表示？主目录用什么表示?切换目录用什么命令？答案：绝对路径：如/etc/init.d当前目录和上层目录：./../主目录：~/切换目录：cd2、怎么查看当前进程？怎么执行退出？怎么查看当前路径？答案：查看当前进程：ps执行退出：exit查看当前路径：pwd3、怎么清屏？怎么退出当前命令？怎么执行睡眠？怎么查看当前用户id？
原创
2020-03-10 16:20:45
496阅读
刚到公司没多久，一直闲着没什么事情做，都是一些琐碎的事情，正在无聊之时，经
理让实现一个远程共享功能，与分公司能够共享文件，并在公司内部实现共享权限，关
键要在短时间之内完成。本人对于网络知之甚少，以前学的是编程，就到网上查资料。
大致了解到FTP服务器、VPN服务器可以实现以上功能，但又有好多种实现的方法。
结合公司现有的情况，还是XP直接设置VPN拨号连接方便。
【首先建
原创
2012-03-14 22:12:57
396阅读
