转载自：python小练习（062）：python20行代码实现多层神经网络的机器学习（一）http://bbs.fishc.com/thread-81849-1-1.html(出处: 鱼C论坛)今天在鱼C论坛看到一个很好的入门机器学习的小例子，分享给大家。现在神经网络、机器学习、深度学习逐渐成为未来计算机发展的大趋势。今天就通过一个很简单的小例子，浅谈一下如何用python实现多层神经网络的机器学习。神经网络（Neural Networks）属于 机器学习（Machine Learning）的一种。深层神经网络（Deep Neural Networks）也只是 深层学习（Deep Learning） 的一种。"深度学习"是为了让层数较多的多层神经网络可以训练，能够work而演化出来的一系列的 新的结构和新的方法。好吧，太复杂的概念大家可以google，这里举个简单的例子说明：例如，有一组输入：X = 1，2，3，4，5，6，7，8，9，10有一组输出：Y = 10，20，30，40，50，60，70，80，90，100求解：Y = k*X + b 中的 k 和 b 为何值时，函数拟合最好。当然，这是非常简单的题目，用脚趾头想都能知道这个函数当然应该是 Y = 10 * X + 0，即 k = 10， b = 0.那么用神经网络学习应该如何实现呢？卖个关子。我们先看结果吧：当学习次数为100时，程序输出：k=9.999852648623337 b=0.0007369339496443169当学习次数为10000时，程序输出：k=9.999866463857986 b=0.0007360277038955244当学习次数为1000000时，程序输出：k=9.999935468934599 b=0.0003552889884596963可以看到随着学习次数的增加，输出值会无限接近标准值（但是永远也打不到标准值，因为机器学习的特点就是根据偏差值不断调整自身参数，以不断减小误差，但是误差是永远存在的。）下面详细解释程序代码：首先，我们要定义一个函数，这个函数的作用是能够把输入值转化为一个0~1之间的数，并且当输入值与0的差值越大，输出越接近1，输入值越接近0时，输入值也越接近于0. 这个函数的作用就是用来调整机器本身参数，使结果更加接近于标准值。那么，我们这个函数F（x）= (e^x -1) / (e^x + 1) 就符合这样的要求，其中x>=0（取绝对值）。def F(x):    return (math.exp(abs(x))-1)/(math.exp(abs(x))+1)然后当然要把X和Y以列表的形式放入以便机器学习使用。X = list(range(1,11))Y = list(range(10,110,10))由于有k和b 2个未知数，我们设定一个二层的神经网络。把X作为第一层输入，k*X作为第一层的输出把k*X作为第二层输入，k*X+b作为第二层的输出利用k*X与Y-b计算第一层的偏差值error1，代入F（error1）计算权重，然后把这个权重值*error1作为k值的调整值同样，利用k*X+b与Y计算第二层的偏差值error2，代入F（error2）计算权重，再把这个权重值*error2作为b值的调整值然后，不断反复迭代这个过程，使得k和b不断接近标准值。这个过程就是这样。20行源代码如下：


import math def F(x): return (math.exp(abs(x))-1)/(math.exp(abs(x))+1) X = list(range(1,11)) Y = list(range(10,110,10)) k,b = 0,0 for repeat in range(1000000): for i in range(10): c1 = k*X[i] e1 = Y[i]-b-c1 d1 = e1*F(e1) k += d1 c2 = k*X[i]+b e2 = Y[i]-c2 d2 = e2*F(e2) b += d2 print (k,b)

既然说到了，神经网络那不提google的开源大作tensorflow就实在说不过去了，所以我决定还是要把这段加上。
同样20行左右的代码（去掉注释），完成同样的工作，而且tensorflow是一个非常完善的库，可以用来做非常多的机器学习的项目。
直接上代码，注释都写好了：
import tensorflow as tf import numpy as np # 使用 NumPy 生成假数据(phony data), 总共 100 个点. x_data = np.float32(np.random.rand(1, 100)) # 随机输入 y_data = np.dot([10], x_data) + 0 # 构造一个线性模型 b = tf.Variable(tf.zeros([1])) + 0.1 W = tf.Variable(tf.random_uniform([1, 1], -1.0, 1.0)) y = tf.matmul(W, x_data) + b # 最小化方差 loss = tf.reduce_mean(tf.square(y - y_data)) optimizer = tf.train.GradientDescentOptimizer(0.5) train = optimizer.minimize(loss) # 初始化变量 init = tf.initialize_all_variables() # 启动图 (graph) sess = tf.Session() sess.run(init) # 拟合平面 for step in range(0, 301): sess.run(train) if step % 30 == 0: print (step, sess.run(W), sess.run(b), sess.run(loss))
输出：
Step     k                         b                         error
0 [[ 4.0464325]] [ 4.64299202] 5.73681
30 [[ 9.25678635]] [ 0.40823561] 0.0502534
60 [[ 9.91544819]] [ 0.04644302] 0.000650405
90 [[ 9.99038124]] [ 0.00528351] 8.41773e-06
120 [[ 9.99890614]] [ 0.00060082] 1.08852e-07
150 [[ 9.99987507]] [  6.87018037e-05] 1.41737e-09
180 [[ 9.99998474]] [  8.32974911e-06] 2.0752e-11
210 [[ 9.99999619]] [  2.02655792e-06] 1.39467e-12
240 [[ 9.99999619]] [  2.02655792e-06] 1.39467e-12
270 [[ 9.99999619]] [  2.02655792e-06] 1.39467e-12
300 [[ 9.99999619]] [  2.02655792e-06] 1.39467e-12