在整理素材时，发现自己以前使用过openEuler系统，故决定写篇文章记录下。
什么是openEuler?
openEuler是一个开源、免费的 Linux 发行版平台.通俗来讲，就是华为提供的一个服务系统。在官网购买openeuler服务后便可以正常使用。
为什么要使用openeuler?
由于内核是linux系统，所以对于熟悉linux的同学而言，该openeuler系统无操作困难的地方。
与此同时，在以前，用国际其他 Linux 发行版总有一种距离感。而在 openEuler 社区，有亲切的中文交流环境，有更平等化的社区交流方式，可以比较容易接触到兴趣组的维护者，这样大大拉近了个人与社区的距离。总而言之，中国自己开发的系统更需要有更多的中国人去营造生态环境。
如何租赁或购买使用openeuler系统？(重点)
步骤 1：打开华为公有云www.huaweicloud.com网页，点击右上角“登录” ，在登录窗口中输入账号密码登录华为公有云。
步骤 2：选择“产品”→“基础服务”→“虚拟私有云 VPC”。
步骤 3：点击“访问控制台” ，进入网络控制台VPC页签。在网络控制台VPC页签点击右上角“创建虚拟私有云”选项。
步骤 4：按照如下表格配置VPC属性，然后点击右下角“立即创建”。
步骤 5：展开网络控制台左侧列表的访问控制，选择“安全组”，进入安全组页签。默认安全组即可。
步骤 6：选择“服务列表”→“计算” →“弹性云服务器ECS”，进入云服务器控制台的弹性云服务器页签。选择“服务列表”→“计算” →“弹性云服务器ECS”，进入云服务器控制台的弹性云服务器页签。
步骤 7：点击“购买弹性云服务器”，按如下参数分别购买一台弹性云服务器。
点击“下一步：配置网络”:
点击“下一步：高级配置”
点击“下一步：确认配置”
勾选“我已阅读***” ，点击“立即购买”
步骤 8：购买完成后，点击“返回云服务器列表”，查看购买的服务器状态信息。同时也可以在云服务器列表中看到该弹性云服务器的弹性公网IP地址。
要不要相关的配套软件？
对于熟练的人员，可以直接在上面进行操作。
对于新手小白，可以下载下面两个软件配置界面连接。
putty环境登录验证
步骤 1：打开电脑上putty工具，点击红色方框内的图标新建会话。
步骤 2：如图，红框填写为申请的弹性公网ip，点击open按钮。
步骤 3：进行身份验证设置，在login as输入用户名root，图中password输入购买ECS时设置的密码，点击确定, 出现Welcome to Huawei Cloud Service表示链接成功。
步骤 4：验证环境，输入python3，需要退出此环境输入exit()。
ECS主机使用：
打开winscp，文件协议选sftp协议，输入用户名和密码，把本地代码上传至ECS服务器上：
常用指令介绍：
本人在使用OpenEuler操作系统的过程中，具体使用的操作： cd 退回上一级目录 cd +x进入某一级目录 mkdir +x 建立一个文件夹 ls 列出所在目录的文件 ls -la 查看是否有执行权限 chmod +x xxx 增加权限 python3 +xxx.py 执行py文件 pip install xxx 安装某库 pip list 查看安装的库 |
爬虫具体实例介绍：
#导入库
from bs4 import BeautifulSoup # 网页解析，获取数据
import re # 正则表达式，进行文字匹配`
import urllib.request, urllib.error # 制定 URL，获取网页数据
import xlwt # 进行 excel 操作
#实现正则化操作
findLink = re.compile(r'<a href="(.*?)">') # 创建正则表达式对象，标售规则 影片详情链接
的规则
findImgSrc = re.compile(r'<img.*src="(.*?)"', re.S)
findTitle = re.compile(r'<span class="title">(.*)</span>')
findRating = re.compile(r'<span class="rating_num" property="v:average">(.*)</span>')
findJudge = re.compile(r'<span>(\d*)人评价</span>')
findInq = re.compile(r'<span class="inq">(.*)</span>')
findBd = re.compile(r'<p class="">(.*?)</p>', re.S)
#主函数
def main():
baseurl = "https://movie.douban.com/top250?start=" #要爬取的网页链接
#爬取网页
datalist = getData(baseurl)
print(datalist[0][1])
savepath = "TOP100 的电影集合.xlsx" #当前目录新建 XLSX，存储进去
saveData(datalist,savepath)
#爬取网页
# 爬取网页
def getData(baseurl):
datalist = [] #用来存储爬取的网页信息
for i in range(0, 10): # 调用获取页面信息的函数，10 次
url = baseurl + str(i * 25)
html = askURL(url) # 保存获取到的网页源码
# 2.逐一解析数据
soup = BeautifulSoup(html, "html.parser")
for item in soup.find_all('div', class_="item"): # 查找符合要求的字符串
data = [] # 保存一部电影所有信息
item = str(item)
link = re.findall(findLink, item)[0] # 通过正则表达式查找
data.append(link)
imgSrc = re.findall(findImgSrc, item)[0]
data.append(imgSrc)
titles = re.findall(findTitle, item)
if (len(titles) == 2):
ctitle = titles[0]
data.append(ctitle)
otitle = titles[1].replace("/", "") #消除转义字符
data.append(otitle)
else:
data.append(titles[0])
data.append(' ')
rating = re.findall(findRating, item)[0]
data.append(rating)
judgeNum = re.findall(findJudge, item)[0]
data.append(judgeNum)
inq = re.findall(findInq, item)
if len(inq) != 0:
inq = inq[0].replace("。", "")
data.append(inq)
else:
data.append(" ")
bd = re.findall(findBd, item)[0]
bd = re.sub('<br(\s+)?/>(\s+)?', "", bd)
bd = re.sub('/', "", bd)
data.append(bd.strip())
datalist.append(data)
return datalist
#得到 URL
# 得到指定一个 URL 的网页内容
def askURL(url):
head = { # 模拟浏览器头部信息，向豆瓣服务器发送消息
"User-Agent": "Mozilla / 5.0(Windows NT 10.0; Win64; x64) AppleWebKit / 537.36(KHTML,
like Gecko) Chrome / 80.0.3987.122 Safari / 537.36"
}
# 用户代理，表示告诉豆瓣服务器，我们是什么类型的机器、浏览器（本质上是告诉浏览器，我们
可以接收什么水平的文件内容）
request = urllib.request.Request(url, headers=head)
html = ""
try:
response = urllib.request.urlopen(request)
html = response.read().decode("utf-8")
except urllib.error.URLError as e:
if hasattr(e, "code"):
print(e.code)
if hasattr(e, "reason"):
print(e.reason)
return html
#保存数据
# 保存数据到表格
def saveData(datalist,savepath):
print("save.......")
book = xlwt.Workbook(encoding="utf-8",style_compression=0) #创建 workbook 对象
sheet = book.add_sheet('豆瓣电影 Top250', cell_overwrite_ok=True) #创建工作表
col = ("电影详情链接","图片链接","影片中文名","影片外国名","评分","评价数","概况","相
关信息")
for i in range(0,8):
sheet.write(0,i,col[i]) #列名
for i in range(0,100):
# print("第%d 条" %(i+1)) #输出语句，用来测试
data = datalist[i]
for j in range(0,8):
sheet.write(i+1,j,data[j]) #数据
book.save(savepath) #保存
4.1.7.调用主函数
if __name__ == "__main__": # 当程序执行时
# 调用函数
main()
print("爬取完毕！")
|
爬取结果：
