神经网络 参数 重要性 神经网络相关问题

1. tf.truncated_normal中方差stddev=1.0 / math.sqrt(output_size)，防止参数过大。如果学习不同特征的关系，因为要拉大差距，不需要考虑这一点。
2. 对于单层神经网络：参数不能过大
   对于深层神经网络：正则化防止过拟合
3. LSTM网络基本为2层左右
4. 通常自己可以调节的一些部分：优化器，学习率（0.01->0.001->0.0001）
5. 一句很精辟的话：输入数据决定了模型的上限，模型是为了逼近这个上限。也就是说对于nlp中word2vec的选择比较重要。
6. 训练集情况比较好，测试集情况不好——出现过拟合现象
   解决方案：dropout / 正则化 / 增加样本数量
7. loss很久不变：梯度消失
   解决方案：添加norm层