对于input的m个vectors xi∈Rnx_i\in\mathbb{R}^n, i∈[0,m−1]i\in[0, m-1] sparse coding : 找over-complete 的basis vector，k>nk>n, 升高维度, 并使得转换后的vector x^i\hat{x}_i尽量sparse,pca: 找 complete的basis vector， k<nk<n,
原创
2023-06-29 10:06:08
25阅读
注：最近打算将UFLDL教程重新看一遍，其实里面有很多关于神经网络以及深度学习的知识点很有用，但是只是学习深度学习的话有一些内容就有点多余，所以想整理一个笔记，记录下神经网络若内容有侵权，同样也希望告知，
原创
2023-06-14 21:06:16
97阅读
课程链接：://ufldl.stanford.edu/tutorial/supervised/MultiLayerNeuralNetworks/ 这一节前半部分介绍了神经网络模型及前向传导，定义了很多的变量，这些变量到底代表了什么一定要搞懂，否则后半部分的推导就看不懂了。 首先是active
原创
2022-01-17 18:08:13
59阅读
本文是在学习该教程时记得笔记，供參考。周末的时候利用空暇时间用python实现了一下。可是训练结果总是不正确。原因尚未查清楚。假设公式推导有误请指出，谢谢！
转载
2015-10-27 17:01:00
103阅读
2评论
课程地址：://ufldl.stanford.edu/tutorial/supervised/FeatureExtractionUsingConvolution/ 在之前的练习中，图片比较小，这节课的方法可以应用到更大的图像上。 Fully Connected Network...
原创
2022-01-17 18:07:57
211阅读
教程地址：://ufldl.stanford.edu/tutorial/supervised/SoftmaxRegression/ logstic regression是二分类的问题，如果想要多分类，就得用softmax regression。 这节比较难理解的是cost function，
原创
2022-01-17 18:15:20
129阅读
课程链接：://ufldl.stanford.edu/tutorial/supervised/LogisticRegression/ 这一节主要讲的是梯度的概念，在实验部分，比较之前的线性回归的梯度与通过定义来计算的梯度，统计二者之间的误差。 线性回归得到的是一个连续值，有时我们想得到0或者
原创
2022-01-17 18:16:25
177阅读
ufdl的新教程，从基础学起。第一节讲的是线性回归。主要目的是熟悉目标函数，计算梯度和优化。 按着教程写完代码后，总是编译出错，一查是mex的原因，实在不想整了。 这位博主用的是向量，比较简洁：://blog..net/lingerlanlan/article/details/383
原创
2022-01-17 18:20:35
787阅读
UFLDL Tutorial Description: This tutorial will teach you the main ideas of Unsupervised Feature Learning and Deep Learning. By working through it, you will also get to implement several feature
原创
2023-06-25 09:59:12
153阅读
Exercise:PCA and Whitening
第0步：数据准备UFLDL下载的文件里，包括数据集IMAGES_RAW。它是一个512*512*10的矩阵，也就是10幅512*512的图像（a）加载数据利用sampleIMAGESRAW函数，从IMAGES_RAW中提取numPatches个图像块儿。每一个图像块儿大小为patchSize。并将提取到的图像块儿按列存放，分别存放在在矩阵p
转载
2017-07-25 20:13:00
102阅读
2评论
神经网络模型 简单的神经网络 前向传播 代价函数 对于单个例子 。其代价函数为： 给定一个包括m个例子的数据集，我们能够定义总体代价函数为： 以上公式中的第一项 是一个均方差项。第二项是一个规则化项（也叫权重衰减项）。其目的是减小权重的幅度。防止过度拟合。 反向传播算法 反向传播算法，它是计算偏导数
转载
2017-05-18 17:30:00
363阅读
2评论
新教程内容太繁复，有空再看看，这节看的还是老教程： ://ufldl.stanford.edu/wiki/index.php/%E8%87%AA%E7%BC%96%E7%A0%81%E7%AE%97%E6%B3%95%E4%B8%8E%E7%A8%80%E7%96%8F%E6%80%A7 之
原创
2022-01-17 18:04:54
193阅读
7.27 暑假开始后，稍有时间，“搞完”金融项目，便开始跑跑 Deep Learning的程序Hinton 在Nature上文章的代码 跑了3天 也没跑完 后来Debug 把batch 从200改到20 勉强跑出结果后来开始看 文章等 感觉晕晕乎乎又翻到：Deep Learning Tutorials装Theano等，但是python 代码 Debug真是好生恶心再后来翻到 UFLDL，看着有Exercise 便做了起来。用了5天刷了9个Exercises。 大概年后吧，在微博上看到 @邓侃组织翻译 Andrew Ng执笔的 Deep Learning系列(UFLDL) 当时 就泼了冷...
转载
2013-08-12 19:08:00
118阅读
2评论
教程：://ufldl.stanford.edu/tutorial/supervised/MultiLayerNeuralNetworks/ 以及这篇博文，写的很清楚：://blog..net/itplus/article/details/11451327 PCA是对数据实现
原创
2022-01-17 18:04:33
141阅读
ufldl学习笔记与编程作业：Softmax Regression(vectorization加速) ufldl出了新教程，感觉比之前的好。从基础讲起。系统清晰，又有编程实践。 在deep learning高质量群里面听一些前辈说，不必深究其它机器学习的算法，能够直接来学dl。 于是近期就開始搞这个
原创
2021-08-06 14:59:01
59阅读
1 Vectorization 简述Vectorization 翻译过来就是向量化，各简单的理解就是实现矩阵计算。为什么MATLAB叫MATLAB？大概就是Matrix Lab，最根本的差别于其它通用语言的地方就是MATLAB能够用最直观的方式实现矩阵运算。MATLAB的变量都能够是矩阵。通过Vec
转载
2022-01-12 10:27:30
63阅读
1：softmax回归 当p(y|x,theta)满足多项式分布，通过GLM对其进行建模就能得到htheta(x)关于theta的函数，将其称为softmax回归。教程中已经给了cost及gradient的求法。须要注意的是一般用最优化方法求解參数theta的时候，採用的是贝叶斯学派的思想，须要加上
转载
2017-07-21 12:44:00
120阅读
2评论
1、相关概念无监督学习： 无监督学习是机器学习的一种方法，没有给定事先标记过的训练示例，自动对输入的数据进行分类或分群。无监督学习的主要运用包含：聚类分析、关系规则、维度缩减。它是监督式学习和强化学习等策略之外的一种选择。 一个常见的无监督学习是数据聚类。在人工神经网络中，生成对抗网络、自组织映射和适应性共振理论则是最常用的非监督式学习。聚类： 聚类是一种无监督学习。聚类是把相似的对象通过静态分类
转载
2023-11-07 01:06:06
144阅读
ufldl学习笔记与编程作业：Feature Extraction Using Co
转载
2015-08-14 20:47:00
74阅读
2评论
Convolutional Neural Network Overview A Convolutional Neural Network (CNN) is comprised of one or more convolutional layers (often with a subsampling
转载
2016-03-27 21:09:00
107阅读
2评论
