文章目录1、梯度下降法变种1.1 批量梯度下降法 batch gradient descent1.2 随机梯度下降法 stochastic gradient descent1.3 小批量梯度下降法 mini-batch gradient descent2 、难点3、常用梯度优化算法3.1 Momentum3.2 Nesterov 加速梯度下降法3.3 Adagard3.4 Adadelta3.5
转载
2024-03-19 20:03:55
189阅读
一.神经网络模型可以理解为，给定多个输入，然后给定每个输入不同的权重值，和一定的偏置，最终可以给出一个输出。 如图,x就是我们的输入，w就是为不同的输入分配的权重值，b就是我们的偏置，最后就可以得到我们的输出y。 如果用矩阵的形式来看，可以用下面的图来表示： 我们给定输入的特征x，这个时候我们为了得到准确的输出y，前提是我们的w和b是准确可靠的。所以我们训练神经网络的过程就是找到这个w和b的过程。
转载
2024-05-14 19:59:02
76阅读
1. 随机梯度下降法SGD：tf.train.GradientDescentOptimizer 收敛速度不如其他优化算法2. Adadelta：tf.train.AdadeltaOptimizer 使用Adadelta我们甚至不需要设置一个默认学习率，在Adadelta不需要使用学习率也可以达 到一个非常好的效果。3. Adagradtf.train.AdagradOptimizer 它是基于SG
转载
2024-03-03 21:21:46
10阅读
什么是TensorflowTensorFlow 是一个基于 数据流编程（dataflow programming）的符号数学系统，被广泛应用于各类机器学习（machine learning）算法的编程实现，其前身是谷歌的神经网络算法库DistBelief。简单说，tensorflow 是广泛使用在 机器学习 等 大量数学运算的算法库之一。注：本文使用 python 语言来理解学习Tensorflo
转载
2024-02-28 21:18:58
45阅读
tensorflow一、梯度下降法（steepest descent (gradient descent) 梯度下降法是一个最优化算法，通常也称为最速下降法。最速下降法是求解无约束优化问题最简单和最古老的方法之一，虽然现在已经不具有实用性，但是许多有效算法都是以它为基础进行改进和修正而得到的。最速下降法是用负梯度方向为搜索方向的，最速下降法越接近目标值，步长越小，前进越慢。可以用于求解非线性方程组
转载
2024-03-20 22:05:29
11阅读
Tensorflow一些常用基本概念与函数（一） 1、tensorflow的基本运作为了快速的熟悉TensorFlow编程，下面从一段简单的代码开始：import tensorflow as tf
#定义‘符号’变量，也称为占位符
a = tf.placeholder("float")
b = tf.placeholder("float") y = tf.mul(a, b) #构造一个op
转载
2024-04-08 21:38:47
63阅读
1、RMSprop 算法是一种自适应学习率的优化算法，其核心思想是通过统计相似梯度的平均值的方式来自动地调整学习率。一般来讲，我们会在梯度算法中引入一个衰减系数，使每一次衰减都有一定的比例。在TensorFlow 中，一般使用tf.train.RMSPropOptimizer()方法来创建一个优化器。2、Momentum 算法也是神经网络的常用优化算法之一，并且也属于梯度下降的变形算法。Momen
转载
2024-04-02 20:21:56
41阅读
AutoGraph的机制原理有三种计算图的构建方式：静态计算图，动态计算图，以及Autograph。TensorFlow 2.0主要使用的是动态计算图和Autograph。动态计算图易于调试，编码效率较高，但执行效率偏低。静态计算图执行效率很高，但较难调试。而Autograph机制可以将动态图转换成静态计算图，兼收执行效率和编码效率之利。当然Autograph机制能够转换的代码并不是没有任何约束的
转载
2024-06-19 07:12:14
30阅读
反向传播算法和梯度下降算法梯度下降算法主要用于优化单个参数的取值，反向传播算法则以一种高效的方式在所有的参数上使用梯度下降算法若用θ表示神经网络的参数，J(θ)表示整个网络的损失函数，那优化过程就是找到一个参数θ使得J(θ)最小。梯度下降法以迭代的方式沿着梯度的反方向(也即是让参数朝着总损失更小的方向)更新参数θ θn+1=θn−α∂J(θn)∂θn其中
α为学习率，定义了每次参数更新的幅度
转载
2024-08-26 22:20:27
26阅读
1.1 概要TensorFlow既是一个实现机器学习算法的接口，也是执行机器学习算法的框架。除了执行深度学习，还可以实现许多其他算法，比如线性回归、逻辑回归、随机森林等。主要技术特性：编程模型：数据流模型语言：Python、C++、Java部署：一次编写，各处运行计算资源：CPU、GPU、TPU（Tensor Processing Unit，google专门为深度学习计算定制的芯片）实现方式：单机
转载
2024-07-28 22:47:59
23阅读
TensorFlow最初是由Google Brain 团队(隶属于Google的Al部门）中的研究人员和工程师开发的，可为机器学习和深度学习提供强力支持。一、TensorFlow的基础概念1.1 TensorFlow计算模型—计算图TensorFlow是一个通过计算图的形式表述计算的编程系统，每一个计算都是计算图上的一个节点，节点之间的边描述了计算之间的关
转载
2024-07-07 17:09:52
129阅读
主要应用于：图像识别、聊天对话系统、自然语言处理等。机器学习：监督学习、无监督学习。算法：分类、回归。线性等深度学习：神经网络，卷积神经网络（主要图像），循环神经网络（主要自然语言处理）等TensorFlow 是深度学习框架，其他的比如 caffe 、Pytorch等。Google brain计划的产物。应用于 AlphaGo，Gmail，等1000多个产品。于 2015年11月开源，机构师Jef
转载
2024-03-12 15:39:56
91阅读
引入和解析训练数据集下载数据集 使用tf.keras.utils.get_file 函数下载训练数据集文件。该函数会返回下载文件的文件路径：train_dataset_url = "https://storage.googleapis.com/download.tensorflow.org/data/iris_training.csv"
train_dataset_fp = tf.keras.u
上一篇文章已经写过了，人工智能的发展不可谓不曲折，三起两落，不同的历史阶段，主流的研究方法不一样，开始时的 if-else 结构，简单的逻辑判断字符串匹配，到后期的穷举计算等，慢慢发展到现在的大数据与深度学习相结合的主流研究方法，逐渐体现出了较大的优势，同时也涌现出了不同的深度学习（机器学习）框架，以下挑选五种主流的框架进行介绍进行对比分析，以供大家参考使用：TensorFlow：推荐指数 ☆☆☆
一、简介 TensorFlow时谷歌于2015年11月宣布在Github上开源的第二代分布式机器学习系统，目前仍处于快速开发迭代中，有大量的新功能新特性在陆续研发中； TensorFlow既是一个实现机器学习算法的接口，同时也是执行机器学习算法的框架。它的前端支持Python、C++、Go、Java等多种开发语言，后端使用C++、CUDA等编写，其实现的算法可以在很多不同的系统上进行移植，虽然
转载
2024-04-01 06:50:06
9阅读
tensorflow设备内存管理模块实现了一个best-fit with coalescing算法（后文简称bfc算法）。bfc算法是Doung Lea’s malloc(dlmalloc)的一个非常简单的版本。它具有内存分配、释放、碎片管理等基本功能。关于dlmalloc算法，参考下面链接：http://gee.cs.oswego.edu/ Bfc算法思想：将内存分成一系列内存块，每个
转载
2024-03-06 16:06:59
22阅读
监控 Kubernetes 常用资源对象Prometheus 来自动发现 Kubernetes 集群的节点，用到了 Prometheus 针对 Kubernetes 的服务发现机制kubernetes_sd_configs的使用，这节课我们来和大家一起了解下怎样在 Prometheus 中来自动监控 Kubernetes 中的一些常用资源对象。前面我们和大家介绍过了在 Prometheus 中用静
转载
2024-08-30 11:20:54
61阅读
本文主要介绍了AutoRec自编码机与协同过滤思路融合的单层神经网络推荐模型，和TensorFlow2.0代码实践 1. 简介本篇文章先简单介绍论文思路，然后使用Tensoflow2.0、Keras API复现算法部分。包括：自定义模型自定义损失函数自定义评价指标RMSE就题目而言《AutoRec: Autoencoders Meet Collaborati
转载
2024-04-24 19:51:41
91阅读
作者：Kshitiz Rimal导读对图像分割方法Fast-SCNN的解释以及实现的代码分析。Fast Segmentation Convolutional Neural Network (Fast- scnn)是一种针对高分辨率图像数据的实时语义分割模型，适用于低内存嵌入式设备上的高效计算。原论文的作者是：Rudra PK Poudel, Stephan Liwicki and Roberto
转载
2024-08-08 22:13:37
25阅读
tensorflow：TensorFlow是一个通过计算图的形式来表述计算的编程系统——TensorFlow中的每一个计算都是计算图上的一个节点，而节点之间的边描述了计算之间的依赖关系。 在TensorFlow中，张量可以被简单理解为多维数组。 Flow：流、飞。直接表达了张量之间通过计算相互转化的过程 张量是TensorFlow管理数据的形式。在TensorFlow中，所有的数据都是通过张量的形
转载
2024-05-11 22:40:51
56阅读
