人工神经网络的特点是什么？
（1)可以充分逼近任意复杂的非线性关系;
(2)所有定量或定性的信息都等势分布贮存于网络内的各神经元，故有很强的鲁棒性和容错性;
(3)采用并行分布处理方法，使得快速进行大量运算成为可能;
(4)可学习和自适应不知道或不确定的系统;
(5)能够同时处理定量、定性知识。

BP神经网络的主要功能是什么？
人工神经网络是一种受生物神经元系统启发的信息处理模型。它由大量高度互连的处理元件（称为神经元）组成，以解决问题。它遵循非线性路径，并在整个节点中并行处理信息。神经网络是一个复杂的自适应系统。自适应意味着它可以通过调整输入权重来更改其内部结构。

前馈神经网络与反馈神经网络有什么不同？
前馈型神经网络取连续或离散变量，一般不考虑输出与输入在时间上的滞后效应，只表达输出与输入的映射关系；反馈型神经网络可以用离散变量也可以用连续取值，考虑输出与输入之间在时间上的延迟，需要用动态方程来描述系统的模型。

BP算法的缺陷有哪些？
(1)BP算法学习过程收敛速度慢; 
(2)BP算法所得到的网络性能差; 
(3)因为误差平方和函数可能有局部极小点出现，故BP算法不完备。 
(4)BP网络学习率不稳定。 

对输入、输出数据进行尺度变换的主要原因是什么？
实验数据的尺度变换
对输入、输出数据作尺度变换也称归一化,是指通过变换处理将网络的输入、
输出数据限制在[0,1]区间内。进行尺度变换的主要原因有:
(1)BP网络的神经元均采用 Sigmoido变换函数,尺度变换后可防止由静输
入的绝对值过大而引起的神经元输出饱和,继而使权值调整进入误差曲面的平坦
区。

目前使用最广泛的两种深度学习框架是什么？
Theano 是最早的深度学习框架之一，由Yoshua Bengio 和 Ian Goodfellow等人开发， 是一个基于Python 语言、定位底层运算的计算库，Theano 同时支持GPU和CPU运 算。由于 Theano开发效率较低，模型编译时间较长，同时开发人员转投TensorFlow等原因，Theano目前已经停止维护。

什么是全连接和局部连接？二者的区别是什么？
（1）参数数量太多。
（2）没有利用像素之间的位置信息（离得远的像素间的联系很小）。
（3）网络层数的限制（通过梯度下降法难以训练全连接网络，其梯度传递层数有限

卷积如何计算？

池化操作和激活函数的作用分别是什么？
1、池化的目的：对输入的特征图进行压缩，一方面使特征图变小，简化网络计算复杂度；一方面进行特征压缩，提取主要特征。

局部响应归一化的作用是什么？
这个技术主要是深度学习训练时的一种提高准确度的技术方法。其中caffe、tensorflow等里面是很常见的方法，其跟激活函数是有区别的，LRN一般是在激活、池化后进行的一中处理方法。

随机梯度下降算法的原理是什么？
实际值与预测值之间差异的均方差我们把它称为损失函数，也有叫做成本函数或者代价函数的，意义都一样。我们希望找到一个组合（k，b）可以使得损失函数的值最小。上述只有一个输入变量x。

tensorflow  之  collection学习笔记
#向collection中存数据
 tf.Graph.add_to_collection(name, value)
 #Stores value in the collection with the given name.
 #Note that collections are not sets, so it is possible to add a value to a collection
 #several times.
 # 注意，一个‘name’下，可以存很多值; add_to_collection("haha", [a,b]),这种情况下
 #tf.get_collection("haha")获得的是 [[a,b]], 并不是[a,b]
 tf.add_to_collection(name, value)
#这个和上面函数功能上没有区别，区别是，这个函数是给默认图使用的#从collection中获取数据
tf.Graph.get_collection(name, scope=None)

Returns a list of values in the collection with the given name.

This is different from get_collection_ref() which always returns the actual
collection list if it exists in that it returns a new list each time it is called.

Args:

name: The key for the collection. For example, the GraphKeys class contains many
standard names for collections.
scope: (Optional.) If supplied, the resulting list is filtered to include only
items whose name attribute matches using re.match. Items without a name attribute
are never returned if a scope is supplied and the choice or re.match means that
a scope without special tokens filters by prefix.
#返回re.match(r"scope", item.name)匹配成功的item, re.match（从字符串的开始匹配一个模式）
Returns:

The list of values in the collection with the given name, or an empty list if no
value has been added to that collection. The list contains the values in the
order under which they were collected.v4 = tf.get_variable(name='v4', shape=[1], collections=[tf.GraphKeys.GLOBAL_VARIABLES , 'positives'],initializer=tf.constant_initializer(3)) 
with tf.Session() as sess: 
    sess.run(tf.global_variables_initializer()) 
    print(tf.get_collection('positives')) 
<tf.Variable 'v4:0' shape=(1,) dtype=float32_ref>]