通用爬虫:搜索引擎用的爬虫系统 目标:尽可能的互联网上所有的网页下载下来,放到本地形成备份, 再对这些网页进行相关处理(提取关键字,去除广告),最后提供一个 用户可用的接口。 抓取流程: 1.首先取一部分已有的URL,把这些URL放到待爬取队列。 2.从队列里取出这些URL,然后通过DNS得到主机IP,然后去这个IP服务器 里下载HTML信息,然后把这些信息放到本地服务器,之后把这个爬过的URL 放入已爬取队列中. 3.分析这些网页内容,找出网页中其它URL连接,继续执行第二步,直到没有 其它URL连接. 搜索引擎是如何获取一个新网站的URL的: 1.主动向搜索引擎提交网址 2.在其它网站设置网站的外链 3.搜索引擎会和DNS服务商进行合作,可以快速收录新的网址 通用爬虫并不是万物皆可爬的,它也需要遵守规则: Robots协议:https://www.taobao.com/robots.txt(可以查看协议内容) 一般只有大型的搜索引擎才会遵守产. 通用爬虫工作流程: 抓取网页--存储数据--内容处理--提供检索--排名服务 搜索排名: 1.PageRank值:根据网站流量,网站流量越高,排名越靠前. 2.竞价排名:给钱多的排名靠前. 通用爬虫的缺点: 只能提供和文本相关的内容,不提供多媒体文件爬取. 提供的结果千篇一律(正在改进中.....) 为了解决这个问题,聚焦爬虫出现了.
爬虫的种类
原创
©著作权归作者所有:来自51CTO博客作者高鹏举的原创作品,请联系作者获取转载授权,否则将追究法律责任
提问和评论都可以,用心的回复会被更多人看到
评论
发布评论
相关文章
-
Python爬虫:清华大学新闻爬虫的实现
这个爬虫功能强大,代码简介,是爬虫学习入门的不二之选。该文章将一步一步但你探索其中奥秘,解决你在这方面的困惑。
python 爬虫 请求头 jieba -
聊聊4种类型的爬虫技术
聊聊4种类型的爬虫技术1、聚焦爬虫2、通用爬虫技术3、增量爬虫技术4、深层网络爬虫技
网络 爬虫 数据分析 技术 Web -
详解4种类型的爬虫技术
网络爬虫是一种很好的自动采集数据的通用手段。本文将会对爬虫的类型进行介绍。
爬虫技术 通用手段 自动采集数据 -
@shell的种类
shell什么是软件?什么是进程?sh
ssh 服务器 bash unix 自由软件 -
Android中StateListDrawable的种类(状态的种类)
...
android sed xml 默认值 内边距