TensorFlow实战-多层感知机

# 创建一个Tensorflow默认的Interactive Session，这样后面执行各项操作就无须指定Session了

因为模型使用ReLU，所以需要使用正态分布给参数加一点噪声，来打破完全对称并且避免0梯度。在其他一些模型中，有时还需要给偏置附上一些小的非零值来避免dead neuron。

# 将权重初始化为截断的正态分布，其标准差为0.1
in_units = 784
h1_units = 300
w1

# keep_prob训练时小于1，以制造随机性，防止过拟合。预测时，等于1，即用全部特征来预测样本的类别。
hidden1_drop = tf.nn.dropout(hidden1, keep_prob)

对越复杂，越大规模的神经网络，Dropout的效果就越显著。