docker macvlan 网心云 docker跑网心云

本学期源代码下载链接

webservice1-1

很简单，不上代码了

1-2 springcloud

创建项目

配置文件，启动心脏节点

访问心脏节点

配置文件，写代码，启动1个服务节点

服务节点代码

访问服务http://127.0.0.1:8766/hi

、观察心脏节点信息

在局域网中 手机 再次访问 服务节点

2-1搭建hadoop
搭建hadoop3.2.1平台
在hadoop3.2.1基础上，使用了nginx 作为请求hadoop的转发代理，进一步增加负载能力
hadoop云服务

主要配置文件
Cd /cloudcomput/hadoop-3.2.1/etc/hadoop
/cloudcomput/hadoop-3.2.1/etc/hadoop/core-site.xml
/cloudcomput/hadoop-3.2.1/etc/hadoop/mapred-site.xml
/cloudcomput/hadoop-3.2.1/etc/hadoop/hdfs-site.xml
/cloudcomput/hadoop-3.2.1/etc/hadoop/yarn-site.xml

#一键重置本地免密登陆
(chattr -i /root/.ssh/authorized_keys) && (rm -rf /root/.ssh) && (mkdir /root/.ssh) && (ssh-keygen -t dsa -P ‘’ -f ~/.ssh/id_dsa) && (cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys) && (chmod 700 ~/.ssh) && (chmod 644 ~/.ssh/authorized_keys) && (ssh localhost -o StrictHostKeyChecking=no)

##一键重新配置hadoop，并启动
(/cloudcomput/hadoop-3.2.1/sbin/stop-all.sh)&&(rm -rf /cloudcomput/hadoop-3.2.1/tmp) && (mkdir /cloudcomput/hadoop-3.2.1/tmp)&&(hadoop namenode -format)&&(/cloudcomput/hadoop-3.2.1/sbin/start-all.sh)

#一键重置本地免密登陆
(chattr -i /root/.ssh/authorized_keys) && (rm -rf /root/.ssh) && (mkdir /root/.ssh) && (ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa) && (cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys) && (chmod 700 ~/.ssh) && (chmod 644 ~/.ssh/authorized_keys) && (ssh localhost -o StrictHostKeyChecking=no)

##重新配置hadoop
(/cloudcomput/hadoop-3.2.1/sbin/stop-all.sh)&&(rm -rf /cloudcomput/hadoop-3.2.1/tmp) && (mkdir /cloudcomput/hadoop-3.2.1/tmp)&&(hadoop namenode -format)&&(/cloudcomput/hadoop-3.2.1/sbin/start-all.sh)

访问hadoop 服务

hadoop云服务

搭建完成

查看日志

查看文件系统

🧪实验2-2 haoop 编程
本实验在 搭建好的 hadoop 平台上进行操作
hadoop平台 我借鉴类编程，面向对象的思想，封装了，pyhdfs 中的一些方法，进一步简化了hadoop编程，在java中可能进行hadoop编程需要导入很多包，但是python中只需要import 我编写的hadoop访问接口即可

二次封装hadoop访问

一行代码即可操作hadoop

导入我实现的 pyhdfs 的二次封装包

#导入我编写的hadoop访问类
import cloudcomput.hadoop_file_oprate as hdfs

根据url ,为了简化实验，没有设置密码,获得连接

先创建一个本地文件 temp_file1.txt

上传文件之前先查看haoop已有的文件，即文件夹

创建文件夹

检查文件夹内部为空

上传文件

查看某个文件内容

实验2-3 mapreduce求最高气温

部分原始数据
2014010114
2014010216
2014010317
2014010410

#!/usr/local/python3/bin/python3
import sys
for line in sys.stdin:
    fields = line.split()
    for item in fields:
        print(item[:4], ' ', item[-2:])

#!/usr/local/python3/bin/python3

import sys

result={}

for line in sys.stdin:
kvs=line.strip().split(’ ')
k=kvs[0]
v=kvs[3]
if k in result:
if int(result[k])< int(v):
result[k]=str(v)
else:
result[k]=str(v)

for k,v in result.items():

print(’%s\t%s’ %(k,v))

脚本 run.sh 内容

# 配置 hadoop 的 执行命令 在安装路径的bin 文件中
HADOOP_CMD="/cloudcomput/hadoop-3.2.1/bin/hadoop"

# 配置 配置 streaming jar包的 路径
STREAM_JAR_PATH="/cloudcomput/hadoop-3.2.1/share/hadoop/tools/lib/hadoop-streaming-3.2.1.jar"

#配置 需要 计算的 输入文件的路径
#如果有 多个文件可以书写为 /{文件夹名称}/*.txt   或者其他格式	
INPUT_FILE_PATH_1="/shiyan2/input.txt"

#配置 输出文件的 文件夹目录
OUTPUT_PATH="/output"

# 在执行之前如果 存在 输出文件夹 原本会报错 ，
#所以执行之前先删除 output 文件夹 , 再 导出文件
$HADOOP_CMD fs -rm -r skipTrash $OUTPUT_PATH

# Step 1.

# hadoop jar  streaming.jar
$HADOOP_CMD jar $STREAM_JAR_PATH   \
-input $INPUT_FILE_PATH_1   \
-output $OUTPUT_PATH   \
-mapper  ./map.py   \
-reducer ./reduce.py  \
-file ./map.py   \
-file ./reduce.py  \

#配置 mapper 步骤的 算法py文件
#即  可以在 子节点进行的计算

#配置 reducer 步骤的 算法py文件
#需要 汇总计算 的文件

最后结果
2001 29
2007 99
2008 37

2010 17

2012 32

2013 29

2014 17

2015 99

2-4 日志分析

实验目的：统计不同ip登陆我服务器的次数

日志原料: 某django项目的近期日志，一共78.6mb

单行数据类型为 uwsgi标准日志输出

66.249.64.220 - - [03/Dec/2019:07:46:30 +0800] “GET /static/js/bootstrap-select.min.js HTTP/1.1” 200 33387 “https://www.limengkai.work/” “Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Safari/537.36”

编写 maplog程序

#!/Library/Frameworks/Python.framework/Versions/3.6/bin/python3

#指定编译环境

import sys

for line in sys.stdin:

fields = line.split()

print(fields[0],’ ‘,fields[3])

编写reducelog

#!/Library/Frameworks/Python.framework/Versions/3.6/bin/python3

#指定编译环境

import sys

result={}

for line in sys.stdin:

kvs=line.strip().split(’ ')

# print(kvs)

# 切分后格式[‘121.28.69.77’, ‘’, ‘’, ‘[16/Oct/2019:10:35:15’]

# 代表ip

k=kvs[0]

#代表访问时间
v=kvs[3]

#访问次数
c=0
if k in result:
    # print(k,v）
        result[k]=str(int(result[k])+1)
else:
    result[k]=str(1)

for k,v in result.items():
print(’%s\t%s’ %(k,v))
本地运行部分数据检测脚本正确性
101.132.100.6 1
101.132.102.45 1
101.132.104.157 5
101.132.110.72 4
101.132.114.23 5
101.132.144.145 1
101.132.156.172 2
101.132.159.51 5
101.132.166.245 9
101.132.177.14 1
101.132.182.68 1
101.132.188.111 1
101.132.191.83 4
101.132.193.68 2
101.132.69.5 1
101.132.78.36 4
101.132.97.53 1
101.198.186.223 25
101.228.126.192 1

检查脚本无误后，编写run.sh 脚本

# 配置 hadoop 的 执行命令 在安装路径的bin 文件中
HADOOP_CMD="/cloudcomput/hadoop-3.2.1/bin/hadoop"

# 配置 配置 streaming jar包的 路径
STREAM_JAR_PATH="/cloudcomput/hadoop-3.2.1/share/hadoop/tools/lib/hadoop-streaming-3.2.1.jar"

#配置 需要 计算的 输入文件的路径
#如果有 多个文件可以书写为 /{文件夹名称}/*.txt   或者其他格式	
INPUT_FILE_PATH_1="/sy3/temp_file1.txt"

#配置 输出文件的 文件夹目录
OUTPUT_PATH="/sy3output"

# 在执行之前如果 存在 输出文件夹 原本会报错 ，
#所以执行之前先删除 output 文件夹 , 再 导出文件
$HADOOP_CMD fs -rm -r skipTrash $OUTPUT_PATH

# Step 1.

# hadoop jar  streaming.jar
$HADOOP_CMD jar $STREAM_JAR_PATH   \
-input $INPUT_FILE_PATH_1   \
-output $OUTPUT_PATH   \
-mapper  ./maplog.py   \
-reducer ./reducelog.py  \
-file ./maplog.py   \
-file ./reducelog.py  \

#配置 mapper 步骤的 算法py文件
#即 可以在 子节点进行的计算

#配置 reducer 步骤的 算法py文件

#需要 汇总计算 的文件

目录结构

定linux 定期执行 crontab

#查看当前电脑上的所有定时任务

crontab -l

0 7 */1 * * /amyscript/sendemail.sh

20 5 1,2,3,4,5 * * /amyscript/sendtoxxx1.sh

20 5 6,7 * * /amyscript/sendtoxxx2.sh

#更改服务器上的定时任务
crontab -e
#更改成功的提示
crontab: installing new crontab

添加 该脚本 定期执行即可

查看hadoop 运算的日志计算 job
http://xxxxx:8088/cluster/app/application_1575331470326_0002

Finish job还没有结束

已经计算了 5分9秒

由于日志文件较大，服务器2g 运行，所以会等待一段时间等待运行结束后

运行日志

部分结果，结果很长有上千 ip，其中我本人用得最多的，几个ip高达10万次

120.78.231.236 4

121.224.7.5 1

121.28.69.77 182393

121.28.69.79 1

121.28.69.82 7

121.28.69.83 8744

121.28.69.87 1

121.28.69.88 2656

61.157.96.12 5

61.157.96.14 134

61.182.207.142 37189

61.219.11.153 22

62.138.6.176 3

63.32.131.24 1

63.33.200.193 39

日志分析结果很有趣，发现还有来自德国 A类 的ip访问

199.102.164.164 1

2.56.8.17 1

200.19.156.22 1

经过ip查询
2.56.8.17来自德国法兰克福

实验3 ec2操作

实验四
Centos 安装docker
yum install docker
由于国内 pull 镜像很慢，所以我在阿里云做了自己的仓库来提高速度

访问我的镜像仓库

查看一个我的nginx

运行90个nginx 容器服务

在 58810到58899

//直接复制粘贴到终端，如果出现半角错误，请现在记事本纠正

for (( i = 10; i <= 15; i++ ))
do
 (docker run -tdi     --name   mynginx$i  -p 588$i:80   registry.cn-hangzhou.aliyuncs.com/mkmk/nginx:v1 'bash') && (docker exec -d mynginx$i 'bash'  -c "nginx" )
done

请随意访问 (极少的端口可能已经被其他程序占用)

http://limengkai.work:58810/ 到

http://limengkai.work:58899/ 他们都是相互独立的nginx 镜像

docker启动我制作的jupyter镜像

操作hadoop

http://limengkai.work:64891/ 密码 zhaozhihong

连接hadoop， 进行python hadoop编程

Hadoop 创建文件夹 python实现

5-1 openstack 实验