一、摘要
该数据集来自kaggle，数据集包含了直接影响学生成绩的原因，本选题应用Python网络爬虫方法。
二、选题背景：
影响学生学习成绩的因素很多，但就学生本身来说，对学习成绩起决定作用的，主要是学生学习.的心理状态、智能水平、学习方法和学习时间等四个方面的因素。本书根据这四个方面的因素和中学生的学习特点，以方法为线索，从提高学生的认识水平着手，帮助学生提高心理素质、促进智能发展、改进学习方法和科学安排时间。
三、过程及代码：
1 import numpy as np
2 import pandas as pd
3 import matplotlib.pyplot as plt
4 import seaborn as sns
5 from matplotlib.font_manager import FontProperties
6 from sklearn.linear_model import LinearRegression
7 from sklearn.linear_model import ElasticNet
8 from sklearn.ensemble import RandomForestRegressor
9 from sklearn.ensemble import ExtraTreesRegressor
10 from sklearn.ensemble import GradientBoostingRegressor
11 from sklearn.svm import SVR
12 from sklearn.model_selection import train_test_split
13 from sklearn.preprocessing import MinMaxScaler
14 from sklearn.metrics import mean_squared_error, mean_absolute_error, median_absolute_error
15 import scipy
16 import pickle
17
18
19 # 初始化数据
20 plt.rcParams['font.sans-serif'] = ['SimHei'] # 中文字体设置-黑体
21 plt.rcParams['axes.unicode_minus'] = False # 解决保存图像是负号'-'显示为方块的问题
22 sns.set(font='SimHei') # 解决Seaborn中文显示问题
23 student = pd.read_csv('student-mat.csv')
24 # print(student.head())
25
26 # 分析G3数据属性
27 # print(student['G3'].describe())1 # 根据人数多少统计各分数段的学生人数
2 grade_counts = student['G3'].value_counts().sort_values().plot.barh(width=.9,color=sns.color_palette('inferno',40))
3 grade_counts.axes.set_title('各分数值的学生分布',fontsize=30)
4 grade_counts.set_xlabel('学生数量', fontsize=30)
5 grade_counts.set_ylabel('最终成绩', fontsize=30)
6 plt.show()
1 # 从低到高展示成绩分布图
2 grade_distribution = sns.countplot(student['G3'])
3 grade_distribution.set_title('成绩分布图', fontsize=30)
4 grade_distribution.set_xlabel('期末成绩', fontsize=20)
5 grade_distribution.set_ylabel('人数统计', fontsize=20)
6 plt.show()
7
8 # 检查各个列是否有null值，如果没有表示成绩中的0分确实是0分
9 # print(student.isnull().any())
1 # 分析性别比例
2 male_studs = len(student[student['sex'] == 'M'])
3 female_studs = len(student[student['sex'] == 'F'])
4 print('男同学数量:',male_studs)
5 print('女同学数量:',female_studs)1 # 分析年龄分布比例（曲线图）
2 age_distribution = sns.kdeplot(student['age'], shade=True)
3 age_distribution.axes.set_title('学生年龄分布图', fontsize=30)
4 age_distribution.set_xlabel('年龄', fontsize=20)
5 age_distribution.set_ylabel('比例', fontsize=20)
6 plt.show()
1 # 分性别年龄分布图（柱状图）
2 age_distribution_sex = sns.countplot('age', hue='sex', data=student)
3 age_distribution_sex.axes.set_title('不同年龄段的学生人数', fontsize=30)
4 age_distribution_sex.set_xlabel('年龄', fontsize=30)
5 age_distribution_sex.set_ylabel('人数', fontsize=30)
6 plt.show()
1 # 各年龄段的成绩箱型图
2 age_grade_boxplot = sns.boxplot(x='age', y='G3', data=student)
3 age_grade_boxplot.axes.set_title('年龄与分数', fontsize = 30)
4 age_grade_boxplot.set_xlabel('年龄', fontsize = 20)
5 age_grade_boxplot.set_ylabel('分数', fontsize = 20)
6 plt.show()
1 # 各年龄段的成绩分布图
2 age_grade_swarmplot = sns.swarmplot(x='age', y='G3', data=student)
3 age_grade_swarmplot.axes.set_title('年龄与分数', fontsize = 30)
4 age_grade_swarmplot.set_xlabel('年龄', fontsize = 20)
5 age_grade_swarmplot.set_ylabel('分数', fontsize = 20)
6 plt.show()
1 # 城乡学生计数
2 areas_countplot = sns.countplot(student['address'])
3 areas_countplot.axes.set_title('城乡学生', fontsize = 30)
4 areas_countplot.set_xlabel('家庭住址', fontsize = 20)
5 areas_countplot.set_ylabel('计数', fontsize = 20)
6 plt.show()
1 # Grade distribution by address
2 sns.kdeplot(student.loc[student['address'] == 'U', 'G3'], label='Urban', shade = True)
3 sns.kdeplot(student.loc[student['address'] == 'R', 'G3'], label='Rural', shade = True)
4 plt.title('城市学生获得了更好的成绩吗？', fontsize = 20)
5 plt.xlabel('分数', fontsize = 20)
6 plt.ylabel('占比', fontsize = 20)
7 plt.show()
8
9 # 选取G3属性值
10 labels = student['G3']
11
12 # 删除school，G1和G2属性
13 student = student.drop(['school', 'G1', 'G2'], axis='columns')
14
15 # 对离散变量进行独热编码
16 student = pd.get_dummies(student)
17
18 # 选取相关性最强的8个
19 most_correlated = student.corr().abs()['G3'].sort_values(ascending=False)
20 most_correlated = most_correlated[:9]
21 print(most_correlated)
1 # 失败次数成绩分布图
2 failures_swarmplot = sns.swarmplot(x=student['failures'],y=student['G3'])
3 failures_swarmplot.axes.set_title('失败次数少的学生分数更高吗？', fontsize = 30)
4 failures_swarmplot.set_xlabel('失败次数', fontsize = 20)
5 failures_swarmplot.set_ylabel('最终成绩', fontsize = 20)
6 plt.show()
1 # 双亲受教育水平的影响
2 family_ed = student['Fedu'] + student['Medu']
3 family_ed_boxplot = sns.boxplot(x=family_ed,y=student['G3'])
4 family_ed_boxplot.axes.set_title('双亲受教育水平的影响', fontsize = 30)
5 family_ed_boxplot.set_xlabel('家庭教育水平(Mother + Father)', fontsize = 20)
6 family_ed_boxplot.set_ylabel('最终成绩', fontsize = 20)
7 plt.show()
1 # 学生自己的升学意志对成绩的影响
2 personal_wish = sns.boxplot(x = student['higher_yes'], y=student['G3'])
3 personal_wish.axes.set_title('学生升学意愿对成绩的影响', fontsize = 30)
4 personal_wish.set_xlabel('更高级的教育 (1 = 是)', fontsize = 20)
5 personal_wish.set_ylabel('最终成绩', fontsize = 20)
6 plt.show()
1 # 分割数据集
2 X_train, X_test, y_train, y_test = train_test_split(student, labels, test_size = 0.25, random_state=42)
3
4 # 计算平均绝对误差和均方根误差
5 # MAE-平均绝对误差
6 # RMSE-均方根误差
7 def evaluate_predictions(predictions, true):
8 mae = np.mean(abs(predictions - true))
9 rmse = np.sqrt(np.mean((predictions - true) ** 2))
10
11 return mae, rmse
12
13 # 求中位数
14 median_pred = X_train['G3'].median()
15
16 # 所有中位数的列表
17 median_preds = [median_pred for _ in range(len(X_test))]
18
19 # 存储真实的G3值以传递给函数
20 true = X_test['G3']
21
22 # 展示基准
23 mb_mae, mb_rmse = evaluate_predictions(median_preds, true)
24 print('Median Baseline MAE: {:.4f}'.format(mb_mae))
25 print('Median Baseline RMSE: {:.4f}'.format(mb_rmse))
26
27 # 通过训练集训练和测试集测试来生成多个线性模型
28 def evaluate(X_train, X_test, y_train, y_test):
29 # 模型名称
30 model_name_list = ['Linear Regression', 'ElasticNet Regression',
31 'Random Forest', 'Extra Trees', 'SVM',
32 'Gradient Boosted', 'Baseline']
33 X_train = X_train.drop('G3', axis='columns')
34 X_test = X_test.drop('G3', axis='columns')
35
36 # 实例化模型
37 model1 = LinearRegression()
38 model2 = ElasticNet(alpha=1.0, l1_ratio=0.5)
39 model3 = RandomForestRegressor(n_estimators=100)
40 model4 = ExtraTreesRegressor(n_estimators=100)
41 model5 = SVR(kernel='rbf', degree=3, C=1.0, gamma='auto')
42 model6 = GradientBoostingRegressor(n_estimators=50)
43
44 # 结果数据框
45 results = pd.DataFrame(columns=['mae', 'rmse'], index = model_name_list)
46
47 # 每种模型的训练和预测
48 for i, model in enumerate([model1, model2, model3, model4, model5, model6]):
49 model.fit(X_train, y_train)
50 predictions = model.predict(X_test)
51
52 # 误差标准
53 mae = np.mean(abs(predictions - y_test))
54 rmse = np.sqrt(np.mean((predictions - y_test) ** 2))
55
56 # 将结果插入结果框
57 model_name = model_name_list[i]
58 results.loc[model_name, :] = [mae, rmse]
59
60 # 中值基准度量
61 baseline = np.median(y_train)
62 baseline_mae = np.mean(abs(baseline - y_test))
63 baseline_rmse = np.sqrt(np.mean((baseline - y_test) ** 2))
64
65 results.loc['Baseline', :] = [baseline_mae, baseline_rmse]
66
67 return results
68 results = evaluate(X_train, X_test, y_train, y_test)
69 print(results)
70
71 # 找出最合适的模型
72 plt.figure(figsize=(12, 8))
73
74 # 平均绝对误差
75 ax = plt.subplot(1, 2, 1)
76 results.sort_values('mae', ascending = True).plot.bar(y = 'mae', color = 'b', ax = ax, fontsize=20)
77 plt.title('平均绝对误差', fontsize=20)
78 plt.ylabel('MAE', fontsize=20)
79
80 # 均方根误差
81 ax = plt.subplot(1, 2, 2)
82 results.sort_values('rmse', ascending = True).plot.bar(y = 'rmse', color = 'r', ax = ax, fontsize=20)
83 plt.title('均方根误差', fontsize=20)
84 plt.ylabel('RMSE',fontsize=20)
85 plt.tight_layout()
86 plt.show()
87
88 # 保存线性回归模型
89 model = LinearRegression()
90 model.fit(X_train, y_train)
91 filename = 'LR_Model'
92 pickle.dump(model, open(filename, 'wb'))
完整代码：
1 import numpy as np
2 import pandas as pd
3 import matplotlib.pyplot as plt
4 import seaborn as sns
5 from matplotlib.font_manager import FontProperties
6 from sklearn.linear_model import LinearRegression
7 from sklearn.linear_model import ElasticNet
8 from sklearn.ensemble import RandomForestRegressor
9 from sklearn.ensemble import ExtraTreesRegressor
10 from sklearn.ensemble import GradientBoostingRegressor
11 from sklearn.svm import SVR
12 from sklearn.model_selection import train_test_split
13 from sklearn.preprocessing import MinMaxScaler
14 from sklearn.metrics import mean_squared_error, mean_absolute_error, median_absolute_error
15 import scipy
16 import pickle
17
18
19 # 初始化数据
20 plt.rcParams['font.sans-serif'] = ['SimHei'] # 中文字体设置-黑体
21 plt.rcParams['axes.unicode_minus'] = False # 解决保存图像是负号'-'显示为方块的问题
22 sns.set(font='SimHei') # 解决Seaborn中文显示问题
23 student = pd.read_csv('student-mat.csv')
24
25 # print(student.head())
26
27 # 分析G3数据属性
28 # print(student['G3'].describe())
29
30 # 根据人数多少统计各分数段的学生人数
31 grade_counts = student['G3'].value_counts().sort_values().plot.barh(width=.9,color=sns.color_palette('inferno',40))
32 grade_counts.axes.set_title('各分数值的学生分布',fontsize=30)
33 grade_counts.set_xlabel('学生数量', fontsize=30)
34 grade_counts.set_ylabel('最终成绩', fontsize=30)
35 plt.show()
36
37 # 从低到高展示成绩分布图
38 grade_distribution = sns.countplot(student['G3'])
39 grade_distribution.set_title('成绩分布图', fontsize=30)
40 grade_distribution.set_xlabel('期末成绩', fontsize=20)
41 grade_distribution.set_ylabel('人数统计', fontsize=20)
42 plt.show()
43
44 # 检查各个列是否有null值，如果没有表示成绩中的0分确实是0分
45
46 # print(student.isnull().any())
47
48 # 分析性别比例
49 male_studs = len(student[student['sex'] == 'M'])
50 female_studs = len(student[student['sex'] == 'F'])
51 print('男同学数量:',male_studs)
52 print('女同学数量:',female_studs)
53
54 # 分析年龄分布比例（曲线图）
55 age_distribution = sns.kdeplot(student['age'], shade=True)
56 age_distribution.axes.set_title('学生年龄分布图', fontsize=30)
57 age_distribution.set_xlabel('年龄', fontsize=20)
58 age_distribution.set_ylabel('比例', fontsize=20)
59 plt.show()
60
61 # 分性别年龄分布图（柱状图）
62 age_distribution_sex = sns.countplot('age', hue='sex', data=student)
63 age_distribution_sex.axes.set_title('不同年龄段的学生人数', fontsize=30)
64 age_distribution_sex.set_xlabel('年龄', fontsize=30)
65 age_distribution_sex.set_ylabel('人数', fontsize=30)
66 plt.show()
67
68 # 各年龄段的成绩箱型图
69 age_grade_boxplot = sns.boxplot(x='age', y='G3', data=student)
70 age_grade_boxplot.axes.set_title('年龄与分数', fontsize = 30)
71 age_grade_boxplot.set_xlabel('年龄', fontsize = 20)
72 age_grade_boxplot.set_ylabel('分数', fontsize = 20)
73 plt.show()
74
75 # 各年龄段的成绩分布图
76 age_grade_swarmplot = sns.swarmplot(x='age', y='G3', data=student)
77 age_grade_swarmplot.axes.set_title('年龄与分数', fontsize = 30)
78 age_grade_swarmplot.set_xlabel('年龄', fontsize = 20)
79 age_grade_swarmplot.set_ylabel('分数', fontsize = 20)
80 plt.show()
81
82 # 城乡学生计数
83 areas_countplot = sns.countplot(student['address'])
84 areas_countplot.axes.set_title('城乡学生', fontsize = 30)
85 areas_countplot.set_xlabel('家庭住址', fontsize = 20)
86 areas_countplot.set_ylabel('计数', fontsize = 20)
87 plt.show()
88
89 # Grade distribution by address
90 sns.kdeplot(student.loc[student['address'] == 'U', 'G3'], label='Urban', shade = True)
91 sns.kdeplot(student.loc[student['address'] == 'R', 'G3'], label='Rural', shade = True)
92 plt.title('城市学生获得了更好的成绩吗？', fontsize = 20)
93 plt.xlabel('分数', fontsize = 20)
94 plt.ylabel('占比', fontsize = 20)
95 plt.show()
96
97 # 选取G3属性值
98 labels = student['G3']
99
100 # 删除school，G1和G2属性
101 student = student.drop(['school', 'G1', 'G2'], axis='columns')
102
103 # 对离散变量进行独热编码
104 student = pd.get_dummies(student)
105
106 # 选取相关性最强的8个
107 most_correlated = student.corr().abs()['G3'].sort_values(ascending=False)
108 most_correlated = most_correlated[:9]
109 print(most_correlated)
110
111 # 失败次数成绩分布图
112 failures_swarmplot = sns.swarmplot(x=student['failures'],y=student['G3'])
113 failures_swarmplot.axes.set_title('失败次数少的学生分数更高吗？', fontsize = 30)
114 failures_swarmplot.set_xlabel('失败次数', fontsize = 20)
115 failures_swarmplot.set_ylabel('最终成绩', fontsize = 20)
116 plt.show()
117
118 # 双亲受教育水平的影响
119 family_ed = student['Fedu'] + student['Medu']
120 family_ed_boxplot = sns.boxplot(x=family_ed,y=student['G3'])
121 family_ed_boxplot.axes.set_title('双亲受教育水平的影响', fontsize = 30)
122 family_ed_boxplot.set_xlabel('家庭教育水平(Mother + Father)', fontsize = 20)
123 family_ed_boxplot.set_ylabel('最终成绩', fontsize = 20)
124 plt.show()
125
126 # 学生自己的升学意志对成绩的影响
127 personal_wish = sns.boxplot(x = student['higher_yes'], y=student['G3'])
128 personal_wish.axes.set_title('学生升学意愿对成绩的影响', fontsize = 30)
129 personal_wish.set_xlabel('更高级的教育 (1 = 是)', fontsize = 20)
130 personal_wish.set_ylabel('最终成绩', fontsize = 20)
131 plt.show()
132
133 # 分割数据集
134 X_train, X_test, y_train, y_test = train_test_split(student, labels, test_size = 0.25, random_state=42)
135
136 # 计算平均绝对误差和均方根误差
137
138 # MAE-平均绝对误差
139
140 # RMSE-均方根误差
141 def evaluate_predictions(predictions, true):
142 mae = np.mean(abs(predictions - true))
143 rmse = np.sqrt(np.mean((predictions - true) ** 2))
144
145 return mae, rmse
146
147 # 求中位数
148 median_pred = X_train['G3'].median()
149
150 # 所有中位数的列表
151 median_preds = [median_pred for _ in range(len(X_test))]
152
153 # 存储真实的G3值以传递给函数
154 true = X_test['G3']
155
156 # 展示基准
157 mb_mae, mb_rmse = evaluate_predictions(median_preds, true)
158 print('Median Baseline MAE: {:.4f}'.format(mb_mae))
159 print('Median Baseline RMSE: {:.4f}'.format(mb_rmse))
160
161 # 通过训练集训练和测试集测试来生成多个线性模型
162 def evaluate(X_train, X_test, y_train, y_test):
163
164 # 模型名称
165 model_name_list = ['Linear Regression', 'ElasticNet Regression',
166 'Random Forest', 'Extra Trees', 'SVM',
167 'Gradient Boosted', 'Baseline']
168 X_train = X_train.drop('G3', axis='columns')
169 X_test = X_test.drop('G3', axis='columns')
170
171 # 实例化模型
172 model1 = LinearRegression()
173 model2 = ElasticNet(alpha=1.0, l1_ratio=0.5)
174 model3 = RandomForestRegressor(n_estimators=100)
175 model4 = ExtraTreesRegressor(n_estimators=100)
176 model5 = SVR(kernel='rbf', degree=3, C=1.0, gamma='auto')
177 model6 = GradientBoostingRegressor(n_estimators=50)
178
179 # 结果数据框
180 results = pd.DataFrame(columns=['mae', 'rmse'], index = model_name_list)
181
182 # 每种模型的训练和预测
183 for i, model in enumerate([model1, model2, model3, model4, model5, model6]):
184 model.fit(X_train, y_train)
185 predictions = model.predict(X_test)
186
187 # 误差标准
188 mae = np.mean(abs(predictions - y_test))
189 rmse = np.sqrt(np.mean((predictions - y_test) ** 2))
190
191 # 将结果插入结果框
192 model_name = model_name_list[i]
193 results.loc[model_name, :] = [mae, rmse]
194
195 # 中值基准度量
196 baseline = np.median(y_train)
197 baseline_mae = np.mean(abs(baseline - y_test))
198 baseline_rmse = np.sqrt(np.mean((baseline - y_test) ** 2))
199
200 results.loc['Baseline', :] = [baseline_mae, baseline_rmse]
201
202 return results
203 results = evaluate(X_train, X_test, y_train, y_test)
204 print(results)
205
206 # 找出最合适的模型
207 plt.figure(figsize=(12, 8))
208
209 # 平均绝对误差
210 ax = plt.subplot(1, 2, 1)
211 results.sort_values('mae', ascending = True).plot.bar(y = 'mae', color = 'b', ax = ax, fontsize=20)
212 plt.title('平均绝对误差', fontsize=20)
213 plt.ylabel('MAE', fontsize=20)
214
215 # 均方根误差
216 ax = plt.subplot(1, 2, 2)
217 results.sort_values('rmse', ascending = True).plot.bar(y = 'rmse', color = 'r', ax = ax, fontsize=20)
218 plt.title('均方根误差', fontsize=20)
219 plt.ylabel('RMSE',fontsize=20)
220 plt.tight_layout()
221 plt.show()
222
223 # 保存线性回归模型
224 model = LinearRegression()
225 model.fit(X_train, y_train)
226 filename = 'LR_Model'
227 pickle.dump(model, open(filename, 'wb'))四、总结：
通过以上分析，可以初步得出以下的结论：
1.双亲受教育水平会影响孩子成绩，父母学历越高，学生成绩越好
2.学生升学意愿会影响学生自身成绩
3.考试准备充分的同学成绩较高
本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。
