一、Dropout的介绍
dropout是指在深度学习网络的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃。注意是暂时，对于随机梯度下降来说，由于是随机丢弃，故而每一个mini-batch都在训练不同的网络。dropout是CNN中防止过拟合提高效果的一个大杀器，但对于其为何有效，却众说纷纭。
Dropout的思想是训练整体DNN，并平均整个集合的结果，而不是训练单个DNN。DNNs是以概率P舍弃部分神经元，其它神经元以概率q=1-p被保留，舍去的神经元的输出都被设置为零。
Dropout的出现很好的可以解决这个问题，每次做完dropout，相当于从原始的网络中找到一个更瘦的网络，如下图所示：
上图为Dropout的可视化表示，左边是应用Dropout之前的网络，右边是应用了Dropout的同一个网络。因而，对于一个有N个节点的神经网络，有了dropout后，就可以看做是2n个模型的集合了，但此时要训练的参数数目却是不变的，这就解脱了费时的问题。
更详细介绍请参考：
https://yq.aliyun.com/articles/68901
二、在二层NN网络中使用Dropout功能
具体代码如下：
#-*-coding:utf-8-*-
import tensorflow as tf
from sklearn.datasets import load_digits
from sklearn.cross_validation import train_test_split
from sklearn.preprocessing import LabelBinarizer
# load data
D = load_digits()
#print(D) #data;target;target_names
X = D.data #(1797,64)
Y = D.target #(1797,)
Z = D.target_names #[0 1 2 3 4 5 6 7 8 9] (10,)
print(X,X.shape)
print(Z,Z.shape)
y = LabelBinarizer().fit_transform(Y) #变为01向量，大小=(1797, 10)
print(y,y.shape)
train_x,test_x,train_y,test_y = train_test_split(X,y,test_size=.3)
def add_layer(inputs,in_size,out_size,layer_name,activation_function=None):
Weights = tf.Variable(tf.random_normal([in_size, out_size]), name='W')
biases = tf.Variable(tf.zeros([1, out_size]) + 0.1, name='b')
Wx_plus_b = tf.matmul(inputs, Weights) + biases
Wx_plus_b = tf.nn.dropout(Wx_plus_b,keep_prob) #dropout掉50%的结果
if activation_function is None: # 如何激活函数为空，则是线性函数
outputs = Wx_plus_b
else:
outputs = activation_function(Wx_plus_b)
tf.summary.histogram(layer_name+'/outputs',outputs)
return outputs
# define placeholder for inputs to network
keep_prob = tf.placeholder(tf.float32)
xs = tf.placeholder(tf.float32,[None,64]) #8*8
ys = tf.placeholder(tf.float32,[None,10])
# add output layer【2层网络input——hidden——output】
hidden_layer = add_layer(xs,64,50,'L1',activation_function=tf.nn.tanh)
Op = add_layer(hidden_layer,50,10,'L2',activation_function=tf.nn.softmax)
# the loss between prediction and real data
loss = tf.reduce_mean(-tf.reduce_sum(ys*tf.log(Op),
reduction_indices=[1]))
tf.summary.scalar('loss',loss)
train_step = tf.train.GradientDescentOptimizer(0.6).minimize(loss)
# summary writer goes in here
sess = tf.Session()
merged = tf.summary.merge_all()
train_writer = tf.summary.FileWriter("logsDO/train",sess.graph)
test_writer = tf.summary.FileWriter("logsDO/test",sess.graph)
sess.run(tf.global_variables_initializer())
for i in range(1000):
sess.run(train_step,feed_dict={xs:train_x,ys:train_y,keep_prob:0.3}) #Dropout保留50%的神经元
if i%50==0:
# record loss
train_result = sess.run(merged, feed_dict={xs: train_x, ys: train_y,keep_prob:1}) #不dropout任务东西
test_result = sess.run(merged,feed_dict={xs:test_x,ys:test_y,keep_prob:1})
train_writer.add_summary(train_result,i)
test_writer.add_summary(test_result,i)上述代码中，我们主要在：
1）add_layer（）函数中把W*x+b进行dropout；
Wx_plus_b = tf.matmul(inputs, Weights) + biases
Wx_plus_b = tf.nn.dropout(Wx_plus_b,keep_prob) #dropout掉keep_prob=50%的结果2）在定义变量时定义一个keep_prob值
keep_prob = tf.placeholder(tf.float32)
xs = tf.placeholder(tf.float32,[None,64]) #8*8
ys = tf.placeholder(tf.float32,[None,10])3）在模型训练过程中修改输入值
for i in range(1000):
sess.run(train_step,feed_dict={xs:train_x,ys:train_y,keep_prob:0.3}) #Dropout保留50%的神经元
if i%50==0:
# record loss
train_result = sess.run(merged, feed_dict={xs: train_x, ys: train_y,keep_prob:1}) #不dropout任务东西
test_result = sess.run(merged,feed_dict={xs:test_x,ys:test_y,keep_prob:1})
train_writer.add_summary(train_result,i)
test_writer.add_summary(test_result,i)keep_prob:0.3（也可以取其他值，如0.5，0.6，…），在本实验中，取0.3时结果较好。
三、查看loss结果图
在代码中将其graph保存在当前目录下的logsDO/文件夹中。
train_writer = tf.summary.FileWriter("logsDO/train",sess.graph)
test_writer = tf.summary.FileWriter("logsDO/test",sess.graph)查看步骤：
1）运行代码；
2）代码“运行”——cmd;
3) 在命令窗口中输入d:回车；（即将其定位到D盘）
4）输入命令
tensorboard –logdir=ProgramFiles64\Python364\WorkSpaces\logsDO
然后回车，等待结果如下：
TensorBoard 0.4.0rc3 at http://DESKTOP-PAF8N1L:6006 (Press CTRL+C to quit)
5）将其网址http://DESKTOP-PAF8N1L:6006复制到谷歌（我试了360浏览器不能打开）浏览器中，即可打开graph。如下图所示
图1 没有Dropout的结果
图2 Dropout之后的结果图
它们的区别，可以看图中两条线的重合程度，有Dropout的训练loss和test的loss几乎重合。
