辉晖飛的博客_读书笔记

《Python网络数据采集》读书笔记（六）

1、urllib.request.urlretrieve可以根据文件的URL下载文件：#-*-coding:utf-8-*-fromurllib.requestimporturlretrievefromurllib.requestimporturlopenfrombs4importBeautifulSouphtml=urlopen("http://www.pythonscraping.com/")

CSV

Python

网络

数据采集

原创 2018-04-29 10:15:37 969 阅读

《Python网络数据采集》读书笔记（五）

1、解析JSON数据Python把JSON转换成字典，JSON数组转换成列表，JSON字符串转换成Python字符串。下面的例子演示了使用Python的JSON解析库，处理JSON字符串中可能出现的不同数据类型：>>>importjson>>>jsonString='{"arrayOfNums":[{"number":0},{"number":1},{"number":2}],"arrayOfFr

JSON

Python

网络数据

原创 2018-04-29 10:15:29 824 阅读

《Python网络数据采集》读书笔记（四）

1、遍历单个域名维基百科那些指向词条页面（不是指向其他内容页面）的链接有三个共同点：•它们都在id是bodyContent的div标签里•URL链接不包含分号•URL链接都以/wiki/开头#-*-coding:utf-8-*-importrefromurllib.requestimporturlopenfrombs4importBeautifulSouphtml=urlopen("http://

wiki

维基

scrapy

原创 2018-04-09 22:54:27 1146 阅读 2点赞

《Python网络数据采集》读书笔记（三）

1、正则表达式常用符号(1)* 匹配前面的字符、子表达式或括号里的字符0次或多次例如：a*b* 结果：aaa,aaabb,bb(2)+ 匹配前面的字符、子表达式或括号里的字符至少1次例如

正则

attrs

lambda

原创 2018-03-31 22:29:03 877 阅读

《Python网络数据采集》读书笔记（二）

1、通过的名称和属性查找标签和之前一样，抓取整个页面，然后创建一个BeautifulSoup对象。这里面“lxml”解析器需要另外下载。pip3 install lxml>>> from urllib.request import urlopen >>> from bs4

find

child

descendant

sibling

parent

原创 2018-03-29 23:03:26 935 阅读

《Python网络数据采集》读书笔记（一）

思考“网络爬虫”时通常的想法：• 通过网站域名获取 HTML 数据• 根据目标信息解析数据• 存储目标信息• 如果有必要，移动到另一个网页重复这个过程当网络浏览器遇到一个标签时，比如<img src="cuteKitten.jpg">，会向服务器发起另一个请求，以获取cuteKitten.jpg文件中的数据为用户充分渲染网页。但是，我们的Python程序没有返回并向

urllib

Beautiful

Soup

原创 2018-03-28 23:13:46 1904 阅读 1评论

《可爱的Python》读书笔记（九）

KISS 才是王道

多线程

threading

原创 2018-03-26 22:47:44 654 阅读 2点赞

《可爱的Python》读书笔记（八）

问题的最佳的解决方案，就是找到那段别人解决相似问题的代码

stack

chardet

原创 2018-03-25 23:39:57 772 阅读 2点赞

《可爱的Python》读书笔记（七）

没有最好，只有更合理

configparser

Config

Parser

原创 2018-03-24 23:30:17 889 阅读 2点赞

《可爱的Python》读书笔记（六）

没有完美的软件，够用并且容易使用的软件已经算是完美的了

mkdir

可爱

Python

原创 2018-03-23 23:08:02 839 阅读 2点赞

《可爱的Python》读书笔记（六）

没有完美的软件，够用并且容易使用的软件已经算是完美的了

mkdir

可爱

Python

原创 2018-03-23 23:07:54 848 阅读 2点赞

《可爱的Python》读书笔记（五）

不论战术上如何变化，千万不要忘记战略目标

重构

cmd

命令行

原创 2018-03-22 21:47:40 726 阅读

《可爱的Python》读书笔记（四）

不断否定自己，但要坚持最初的意愿

grep

递归调用

原创 2018-03-21 23:38:42 877 阅读

《可爱的Python》读书笔记（三）

先用后学，快速获得体验，然后寻求理论支持

getopt

读书

笔记

原创 2018-03-20 23:48:29 1219 阅读

《可爱的Python》读书笔记（二）

寻找吧！不要先想着创造——Python 是自足的

walk

this

读书笔记

原创 2018-03-19 22:27:15 1237 阅读

《可爱的Python》读书笔记（一）

Just use it! don't learn!——只用，不学!

可爱

Python

闰年

原创 2018-03-18 22:41:56 1963 阅读 2点赞

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客