毕业后的第一次面试，是杭州一家不大不小的公司，面试是通过电话进行，期间还是很紧张的（太久没面试的原因，以下是面试官问的一些问题：1.Python的基本数据类型（当时就回答了整型和字符串，其他的脑子一片空白~ 六种数据类型：数字(number)、字符串(str)、列表(list)、字典(dict)、元组(tuple)、集合(set)2.如何两个列表的交集和并集？（当时回答了，两个for循环一个个判
转载
2023-11-24 15:34:59
71阅读
目录总结：丁香园一面（技术面）提问：1. 自我介绍2. 之前做的项目3. python多进程多线程的区别python生成器迭代器python装饰器python浅复制深复制python的数据结构python的sort排序，哪个函数说一下常用的python库mysql leftjoin rightjoin unionjoin的区别xpath取第一个和最后一个元素redis的数据结构git工具的使用，
转载
2024-02-25 11:56:30
88阅读
1.爬虫有哪些模块？ 答： URL管理模块：维护已经爬取的URL集合和未爬取的URL集合，并提供获取新URL链接的接口 HTML下载模块：从URL管理器中获取未爬取的URL链接并下载HTML网页 HTML解析模块：从HTML下载器下载的网页内容解析出新的URL交给URL管理器，解析出有效数据给到数据
转载
2018-06-12 19:39:00
109阅读
2评论
Python爬虫面试总结1. 写一个邮箱地址的正则表达式？[A-Za-z0-9\u4e00-\u9fa5]+@[a-zA-Z0-9_-]+(\.[a-zA-Z0-9_-]+)+$2. 谈一谈你对 Selenium 和 PhantomJS 了解Selenium 是一个Web 的自动化测试工具，可以根据我们的指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏，或者判断网站上某些动作是否...
原创
2021-07-19 15:26:58
162阅读
一、什么是爬虫爬虫：一段自动抓取互联网信息的程序，从互联网上抓取对于我们有价值的信息。二、Python爬虫架构Python 爬虫架构主要由五个部分组成，分别是调度器、URL管理器、网页下载器、网页解析器、应用程序（爬取的有价值数据）。调度器：相当于一台电脑的CPU，主要负责调度URL管理器、下载器、解析器之间的协调工作。URL管理器：包括待爬取的URL地址和已爬取的URL地址，防止重复抓取URL和
转载
2024-01-08 13:56:54
32阅读
1.python基础： （1）python基本类型有哪些？ 答案：有六个标准类型，分为可变和不可变；可变有：List（列表）、Dictionary（字典）、Set（集合）；不可变有：Number（数字）、String（字
# Python爬虫面试题实现流程
作为一名经验丰富的开发者，我将引导这位刚入行的小白学习如何实现“python爬虫 面试题”。以下是整个过程的流程图，帮助你更好地理解：
```mermaid
graph LR
A(开始)
A --> B(选择合适的爬虫框架)
B --> C(分析目标网站)
C --> D(编写爬虫代码)
D --> E(数据处理与存储)
E --> F(反爬虫处理)
F -
原创
2023-11-13 10:37:51
60阅读
许多自学爬虫(python)的小伙伴因为没有经历过面试所以在找工作之前难免有些抓不住重点，虽然自己有些技术但是因为发挥不好而错失工作机会，本人经过n次面试以后特总结以下面试常见问题，为想要转爬虫的小伙伴提供一些参考。一.项目问题： 一般面试官的第一个问题八成都是问一下以前做过的项目，所以最好准备两个自己最近写的有些技术含量的项目，当然一定要自己亲手写过
转载
2024-01-07 08:20:44
261阅读
Python开发工程师的就业方向非常多，其中一个方向就是python爬虫开发工程师，这也是很多企业热招的岗位之一。如何能提高自己面试的成功率，不仅仅需要开发者在学习工作中不断的积累专业技能知识，最关键的是在面试过程中能正常发挥。下面为大家提供几个Python爬虫工程师面试的题目，希望对大家的面试有帮助。 scrapy 和 scrapy-redis 
转载
2023-10-07 14:58:13
302阅读
1.什么是爬虫爬虫就是爬取网页数据，只要网页上有的，都可以通过爬虫爬取下来，比如图片、文字评论、商品详情等。一般二言，Python爬虫需要以下几步：找到网页URL，发起请求，等待服务器响应获取服务器响应内容解析内容（正则表达式、xpath、bs4等）保存数据（本地文件、数据库等） 2.爬虫的基本流程找到网页URL，发起请求，等待服务器响应获取服务器响应内容解析内容（正则表达式、xpath
转载
2024-02-25 13:50:55
44阅读
1 . Request中包含什么呢？1、请求方式：主要有GET和POST两种方式,POST请求的参数不会包含在url里面 2、请求URL URL：统一资源定位符，如一个网页文档、一张图片、一个视频等都可以用URL来唯一确定 3、请求头信息,包含了User-Agent（浏览器请求头）、Host、Cookies信息 4、请求体,GET请求时，一般不会有，POST请求时，请求体一般包含for
编码规范11.例举你知道 Python 对象的命名规范，例如方法或者类等 文件名
全小写,可使用下划线
包
应该是简短的、小写的名字。如果下划线可以改善可读性可以加入。如mypackage。
模块
与包的规范同。如mymodule。
类
总是使用首字母大写单词串。如MyClass。内部类可以使用额外的前导下划线。
函数&方法
函数名应该为小写，可以用下划线风格单词以增加可读性
转载
2024-10-05 19:11:27
46阅读
说到爬虫，使用Java本身自带的URLConnection可以实现一些基本的抓取页面的功能，但是对于一些比较高级的功能，比如重定向的处理，HTML标记的去除，仅仅使用URLConnection还是不够的。在这里我们可以使用HttpClient这个第三方jar包。接下来我们使用HttpClient简单的写一个爬去百度的Demo： import java.io.FileOutputStream;
im
语言特性1.谈谈对 Python 和其他语言的区别2.简述解释型和编译型编程语言3.Python 的解释器种类以及相关特点？4.说说你知道的Python3 和 Python2 之间的区别？5.Python3 和 Python2 中 int 和 long 区别？6.xrange 和 range 的区别？编码规范7.什么是 PEP8?8.了解 Python 之禅么？9.了解 doc...
转载
2021-07-20 14:38:57
460阅读
在爬虫开发时，我们时常会遇到各种BUG各种问题，下面是我初步汇总的一些报错和解决方案。
在以后的学习中，如果遇到其他问题，我也会在这里进行更新。
各位如有什么补充，欢迎评论区留言~~~问题：IP被封，或者因访问频率太高被拦截？？？解决方案之一：使用代理IP即可。问题：正确使用XPath之后并没有输出？？？解决方案之一：XPath只能提取未注释的代码，改用正则表达式即可。问题：容易被反爬搞死？？？解
爬虫找工作的救命指南
转载
2023-06-15 10:05:51
186阅读
http 基于 tcp/ip 协议百度是通用性爬虫http 返回的状态码代表成功的是 200网页编码使用的函数式 encode()解码使用的函
原创
2023-09-27 12:15:37
108阅读
96. git常见命令作用某个文件夹中的内容进行版本管理：进入文件夹，右键git bashgit init 初始化，当前所在的文件夹可以被管理且以后版本相关的数据都会存储到.git文件中git status 查看当前文件夹以及子目录中文件是否发生变化：内容修改/新增文件/删除，已经变化的文件会变成红色，已经add的文件会变成绿色git add . 给发生变化的文件（贴上一个标签）或 将发生变化的文
原创
2022-03-23 14:01:29
120阅读
前言 之所以在这里写下python爬虫常见
2、简要描述python中单引号、双引号、三引号的区别。
3、如何在一个function里设置...
转载
2024-07-10 11:22:10
162阅读
在Python爬虫开发的面试过程中，对requests、BeautifulSoup与Scrapy这三个核心库的理解和应用能力是面试官重点考察的
原创
2024-05-09 12:18:18
102阅读
