文章目录
- 一 安装软件
- 1. Python
- 爬虫必备安装包
- 2. Visual Studio Code
- 3. Git
- 3.1. 备选 - OneDrive
- 4. Java
- 5. 向日葵
- 二 配置Chrome
- 1. 查看Chrome版本
- 2. 下载ChromeDriver
- 3. 解压放入Python的Scripts文件夹
- 三 生成SSH密钥对
有时候, 一台Windows只是用来部署一些任务, 例如爬虫任务. 这个时候需要简单配置一下
一 安装软件
1. Python
推荐Python3.10, Python简直爬虫首选.
爬虫必备安装包
模块 | 使用场景 |
pymysql | 与mysql交互的不二选择 |
selenium | 爬虫必备, 完全无法被检测到的网页模拟操作神器 |
requests | 爬虫必备,接口交互必用 |
requests_toolbelt | 接口上传文件必备 |
ddddocr | 爬虫必备,破解图片验证码神器 |
opencv-python | 图像识别基础包,不会主动使用, 但是无处不在 |
pillow | 大部分使用场景都是用来截图和拼图 |
2. Visual Studio Code
☁️部署机用来改代码, 拉仓库, 实际用得不多. 偶尔部署有问题, 测试用用
3. Git
不主动用, 却又无处不在
3.1. 备选 - OneDrive
☁️如果不喜欢或不习惯Git的话, 还是在每台电脑的固定位置都装一个OneDrive吧, 使用环境变量来写一套万用代码
4. Java
其实只需要Java Runtime Environment即可, 腾讯软件管家即可下载
其实除了Python3.10, 2-5这4个都可以在软件管家下载
5. 向日葵
☁️远程查看任务机状态必备啊
二 配置Chrome
1. 查看Chrome版本
2. 下载ChromeDriver
selenium最佳搭档ChromeDriver, 根据Chrome版本, 可以在国内镜像平台下载 : ChromeDriver Mirror 不要求数字完全一致, 大版本相同就可以使用
3. 解压放入Python的Scripts文件夹
这个需要找找了, 一般是根据Python文件打开所在文件夹, 下面就有Scripts文件夹
三 生成SSH密钥对
打开cmd(实际上我一般打开的是PowerShell), 输入下面命令
ssh-keygen -t rsa -C 'dan@csdn.net'一路回车, 最后使用cat或者直接记事本打开id_rsa.pub文件, 复制到GitCodeSSH密钥处保存即可
接下来, 创建Jenkins节点, 建立Git任务拉取项目, 再建一个执行任务就可以了
- END -
