Python 高级课程

 

 

 

   

 

 

 

windows安装下： 

 

 

 

 

 

 

 

     

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

              

 

 HASH 与 python 交互

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

  

 

 

 

 

 

 

 

 AOF持久化 (append only file)：

 

 

 

 

 

             

 

 

 

 

              

 

 

 

 

 

     

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 实例：

 

 

 

 事务中，执行错误的处理：

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

==============================爬虫=================================================

 

 

 

 

 

 

 

 

 

 

 

 

 

 使用流程：

 

 

 

 

 

 

            

 

 

 

 1 from urllib import request,parse
 2 import random
 3 import time
　　form fake_useragent import UserAgent
 4 
 5 class TiebaSpider(object):
 6     def __init__():
　　　　　　self.url = ''
　　　　　　self.headers = {'User-Agent':''}
 7     
 8     #获取响应内容
 9     def get_page(self,url):
10         pass
11     
12     #解析，提取数据
13     def parse_page(self):
14         pass
15         
16     #保存数据
17     def write_page():
18         pass
19         
20     #入口函数
21     def run(self):
22         pass
23 
24 if __name__ == '__main__':
25     spider = TiebaSpider()
26     spider.run()

 

 

 

 

 

 

 

 

 

 

 

 

 

 

           

 

 因为csv在windows中会多加个空行，所以用newline来设置空

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 xpath常用函数：

 

 

 

 

 

 

 

 

 

            

            

           

 

  

  

 

 

 

 

 

 　　

 

 

 

 

 

 

 

 

 

 

     

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

   

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 Scrapy数据持久化存储

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

       

       

       

       

         

 

 

    

 

 

 

 

 

 

 

 

 

 

 

 

 

 =======================================trainingcamp======================================

 

linux常用命令：

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

awk是每一行数据做处理，默认以空白进行切割

 

 常见端口号：

 

 

 

 

 

 

 

 

            

            

 

 

 

 

 

 

 

 

 

IF分支结构：

 

 

 seq 造数函数