本篇文章面向新手，赘述部分较多下面是爬虫的百度百科解释：网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。Python爬虫的基本框架及流程1.确定目标网站和数据类型
黑马爬虫资料目录黑马爬虫资料爬虫概念、工具和HTTP1.什么爬虫2.爬虫的数据去哪了3.需要的软件和环境4.浏览器的请求5.认识HTTP、HTTPSrequests模块的学习使用事前发送get，post请求，获取响应response的方法获取网页源码的正确打开方式(通过下面三种方式一定能够获取到网页的正确解码之后的字符串)发送带header的请求使用超时参数retrying模块的学习处理cooki
转载
2023-06-13 18:44:04
504阅读
前言本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。 基本开发环境Python 3.6Pycharm相关模块的使用 import os
import requests 安装Python并添加到环境变量，pip安装需要的相关模块即可。一、确定目标需求 百度搜索YY，点击分类选择小视频，里面的
转载
2024-01-11 19:37:54
112阅读
综合应用—名片管理系统框架搭建新建main.py文件保存主程序代码：程序入口新建tools.py文件所以功能函数：对名片的增删改查TODO注释：用于标记需要去做的工作
# TODO（名字） 显示功能菜单import card_toos
while True:
# TODO 显示功能菜单
card_toos.show_menu()
action_str=input("请选择操
转载
2023-09-21 10:30:55
121阅读
视频链接：https://www.bilibili.com/video/BV1o4411M71o?p=15&share_source=copy_web 课件PDF–链接: https://pan.baidu.com/s/1kYX3FcDasnFMLT8FCuHIGw 提取码: 86hy 以下均为个人笔记一、循环循环的分类 在Python中，循环分为 while 和 for 两种，最终实现效
转载
2023-07-02 16:24:36
197阅读
第一章第一个python程序打开cmd(命令控制符)程序，输入python并回车然后在里面输入代码回车后即可立即执行 小练习：在屏幕上输出：零基础，学python，月薪过万，就来黑马程序员 常见问题：找不到“命令提示符”程序在哪里？使用快捷键：win+r点击开始，右键点击运行框，输入cmd后确认回车即可打开命令提示符程序
转载
2023-06-30 14:10:18
126阅读
每篇必看前言：该笔记适用于有C/C++/Java基础的想要迅速掌握Python语法的人。该笔记是以B站黑马2022版教程为背景，所作的笔记。文件读写基本语法： 文件对象相关方法：读取方法：read、readlines、readline： read方法演示：如果在一个程序中多次调用read方法，则下一个read读取的开始位置是上一个read读取的结束位置。如下：test.txt原
转载
2023-11-29 10:16:27
141阅读
每篇必看前言：该笔记适用于有C/C++/Java基础的想要迅速掌握Python语法的人。链接数据库： 初始链接：from pymysql import Connection
conn = Connection(
host="localhost",
port=3306, # 固定端口
user="root",
password="123456"
)
print(
转载
2024-07-18 07:28:57
69阅读
课程链接：for循环基础知识点1.其中的临时变量作用域先定为：循环内2.for循环的嵌套# 坚持送2朵花，一共送3天
for i in range(1, 4):
print(f"今天是第{i}天")
for j in range(1, 3):
print(f"第{j}朵玫瑰花")
print(f"第{i}天结束")
i = 1
j = 1
for i in
转载
2023-07-05 14:05:08
113阅读
学习目标：能够说出计算机有哪两部分组成能够说出操作系统的作用能够说出编程语言的作用能够说出解释器的作用能够说出Python解释器种类能够说出目前Python主流的两大版本是哪些能够说出在不同系统上搭建Python开发环境的流程知道Python语言历史、优缺点、应用领域目 录Python 软件 安装Python解释器（必装）Py
转载
2023-09-19 22:45:38
24阅读
文章目录前言12. Python文件操作12.1 文件的打开、写入、关闭12.2 主访问模式的特点（r、w、a）12.3 读取函数（read、readlines、readline）12.4 访问模式的特点（r+、w+、a+）12.5 文件的定位读写（tell函数、seek函数）12.6 文件备份12.7 文件和文件夹的操作12.8 批量重命名12.9 小总结13. Python面向对象（上）13
转载
2024-08-09 13:44:58
69阅读
pycharm 中文设置（不建议汉化 因为有些功能会丢失）1.打开Pycharm 打开File,找到Settings并打开2.点击Pulgins,选择Marketplace,搜索chinese3.选择第一个,点击安装4.安装完后点击绿色的按钮5.点击Restart重启软件即可python界面介绍TODO是显示TODO注释的情况和直接跳转run 是没有断点的情况下运行代码的反馈问题 主要是检查语法或
转载
2023-08-09 15:38:22
56阅读
黑马程序员最新Python教程——第一阶段（2）第一阶段——第五章01-函数的初体验02-函数的基本定义语法03-函数的基本定义练习案例04-函数的传入参数05-函数的参数练习案例06-函数的返回值定义语法07-函数返回值之None类型08-函数的说明文档09-函数的嵌套调用10-变量在函数中的作用域11-函数综合案例第一阶段——第六章01-数据容器入门02-列表的定义语法03-列表的下标索引0
转载
2023-07-27 14:15:43
129阅读
# 如何实现“黑马Java爬虫”
## 1. 整体流程
```mermaid
gantt
title 爬虫实现流程图
dateFormat YYYY-MM-DD
section 爬虫流程
获取目标网页数据 :done, 2022-01-01, 1d
解析网页数据 :done, after 获取目标网页数据, 1d
存储数据 :done, a
原创
2024-03-14 04:16:01
46阅读
1.遇到过得反爬虫策略以及解决方法? 1.通过headers反爬虫 2.基于用户行为的发爬虫：(同一IP短时间内访问的频率) 3.动态网页反爬虫(通过ajax请求数据，或者通过JavaScript生成) 4.对部分数据进行加密处理的(数据是乱码) 解决方法： 对于基本网页的抓取可以自定义headers,添加headers的数据 使用多个代理ip进行抓取或者设置抓取的频率降低一些， 动态网页的可以使
转载
2024-09-30 12:42:55
110阅读
----- 04 创建表空间、创建用户及用户授权-- 创建表空间
create tablespace zsyy
datafile 'c:\zsyy.dbf'
size 100m
autoextend on
next 10m;-- 删除表空间
drop tablespace zsyy;
drop tablespace itheima;--- 重新创建表空间
create tablespace bhz
转载
2023-09-08 10:00:57
61阅读
# 1: enumerate:下标和数据同时用 经常用于循环
my_list = ["a", "b", "c"]
for index, value in enumerate(my_list):
print(index, value)
#输出结果：
# 0 a
# 1 b
# 2 c
my_str = "abc"
for index, value in enumerate(my_str
转载
2024-05-16 13:11:22
185阅读
一、爬虫的步骤1、 需求分析（人做） 2、寻找网站（人） 3、下载网站的返回内容（requests） 4、通过返回的信息找到需要爬取的数据内容(正则表达式-re,xpath-lxml) 5、存储找到的数据内容(mysql)二、requestsimport requests
url = 'http://www.baidu.com/'
response = requests.get(url)
prin
转载
2023-08-14 23:46:58
717阅读
从零开始爬的虫前言一、前情提要1.基础知识2.html基础3.网页操作4.AJAX5.请求和响应6.cookie和session7.线程和进程8.代理ip9.超级鹰二、通用爬虫1.案例三、聚焦爬虫1.数据解析2.方法3.xpath4.案例四、增量爬虫五、异步爬虫1.方式2.线程池3.协程六、selenium1.什么是selenium2.基本使用3.案例七、奇奇怪怪的知识点1.正则快速加引号2.提
转载
2023-09-18 21:00:13
107阅读
实例6：数据加密数据加密是保存数据的一种方法，它通过加密算法和密钥将数据从明文转换为密文。假设当前开发的程序中需要对用户的密码进行加密处理，已知用户的密码均为6位数字，其加密规则如下：获取每个数字的ASCII值；将所有数字的ASCII值进行累加求和；将每个数字对应的ASCII值按照从前往后的顺序进行拼接，并将拼接后的结果进行反转；将反转的结果与前面累加的结果相加，所得的结果即为加密后的密码。本实例
转载
2023-10-20 22:12:20
1024阅读
