本文翻译自http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop.html，大概介绍下反向传播的基本原
The original article is published on Nervana site: Acc
反向传播算法（Backpropagation）是目前用来训练人工神经网络（Artificial Neural
神经网络也许是计算机计算的将来，一个了解它的好方法是用一个它可以解决的难题来说明。假设给出 500 个字符的
研究 CNN 的运行机理是当今一个热门话题。目前有三种主流观点：优化、近似和信号。
吴立德老师亲自讲解前馈神经网络和BP算法，让初学者对基础更加了解，对以后网络的改建和创新打下基础，值得好好学
神经网络分类：机器学习的四要素讨论：线性模型与广义线性模型对于部分数据来说，其本身就是稀疏，可以通过线性模型
什么是类脑计算？一般地说，类脑计算是指借鉴大脑中进行信息处理的基本规律，在硬件实现与软件算法等多个层面，对于
深度学习最大的贡献，个人认为就是表征学习（representation learning），通过端到端的训练
注：该篇幅参考斯坦福大学的教程，有兴趣的朋友可以去阅读。卷积神经网络（CNN）卷积神经网络和前几次介绍的神经
什么是神经网络？一开始，我将解释一种被称为“感知器”的人工神经元。感知器在20世纪五、六十年代由科学家 Fr
今天将介绍使用小波变换和脉冲耦合神经网络来对多模态图像进行融合。
今天将介绍使用小波变换和自适应脉冲耦合神经网络来对多模态图像进行融合。
前面已经介绍了很多TensorFlow的基础知识了，我们从现在开始利用它来进行Mnist手写体识别应用。我们采用卷积神经网络来实现分类。
目录MBR和GPTMBR的局限性GPT的优势主分区、扩展分区和逻辑分区挂接卷Legacy、UEFI引导和GRU
http://iamtrask.github.io/2015/07/12/basic-python-network/
摘要模型的主要部分是一个循环神经网络（一个LSTM），它把粗糙的对话历史直接映射到系统的行动分布，LSTM自动从对话历史推理，也就释放了开发者人工的编辑对话状态，然后开发者可以提供表示商业规则的软件和到一个合
conv1_weights是[5,5,1,32] conv2_weights是[5,5,32,64]
http://www.asimovinstitute.org/neural-network-zoo/
def custom_net(cell, inputs, init_state, timesteps, time_major=False, scope='custom_net_0'): # convert to time major format if not time_major: inputs_tm = tf.transpose(inputs, [1, 0, -1
def collect_final_step_of_lstm(lstm_representation, lengths): # lstm_representation: [batch_size, passsage_length, dim] # lengths: [batch_size] lengths = tf.maximum(lengths, tf.zeros_like(len
上图为LSTMcell， 向上指的箭头h_t是output， 向右指的箭头h_t和C_t是state， 对于上图的GRU output和
以往理解的全连接神经网络的作用，是个memory，是用来分类，而近期发现，全连接神经网络其实是学到了 L层每个输入节点 对 L+1层每个输出节点 的加权求和贡献比，每个边是一个权重也就是一个输入节点到一个输出节点的贡献其实就是attention回想transformer里的K、V、Q，是可以把attention matrix看成全连接层的，[batch,seq_len1,seq_len2]
class SwitchableDropoutWrapper(DropoutWrapper): def __init__(self, cell, is_train, input
http://jalammar.github.io/illustrated-gpt2/
# -*- coding: utf-8 -*-import jiebaimport tensorflow as tfdef prepareTestData(): en(
http://colah.github.io/posts/2015-08-Understanding-LSTMs/