前言在深度学习中，有时候我们需要对某些节点的梯度进行一些定制，特别是该节点操作不可导（比如阶梯除法如），如果实在需要对这个节点进行操作，而且希望其可以反向传播，那么就需要对其进行自定义反向传播时的梯度。在有些场景，如[2]中介绍到的梯度反转(gradient inverse)中，就必须在某层节点对反向传播的梯度进行反转，也就是需要更改正常的梯度传播过程，如下图的所示。在tensorflow中有若干
文章目录前言一、TensorFlow1.x1.在2.x环境中运行1.x程序2.定义计算图3.变量初始化4.创建执行会话5.占位符6.TensorBoard可视化工具二、TensorFlow2.x1.Tensor类2.张量创建3.维度变换4.张量索引5.张量运算总结 前言简单记录一些TensorFlow1.x中的操作，主要记录TensorFlow2.x中张量的创建和运算。一、TensorFlow1
转载
2024-04-01 06:45:20
57阅读
**1.重绘** 重绘是一个元素外观的改变所触发的浏览器行为。例如改变outline、背景色等属性，浏览器会根据元素的新属性重新绘制，使元素呈现新的外观，重绘不会带来重新布局，所以不一定伴随重排。 需要注意的是：重绘是以图层为单位，如果图层中某个元素需要重绘，那么整个图层都需要重绘，例如一个图层包含很多节点，其中有个gif图，gif图的每一帧都会重绘整个图层的其他节点，最后生成最终的图层位图。所以
决策树剪枝算法引言1、算法目的2、算法基本思路：3、决策树损失函数4、剪枝类型：4.1 预剪枝4.2 后剪枝4.3 两种剪枝策略对比 引言在决策树、ID3、C4.5算法一文中，简单地介绍了决策树模型，以及决策树生成算法：决策树生成算法递归地产生决策树，直到不能继续下去为止。这样产生的树往往对训练数据的分类很准确，但对未知的测试数据的分类却没有那么准确，即容易出现过拟合现象。解决这个问题的办法是考
权重剪枝是一种模型优化技术。在权重剪枝中，它在训练过程中逐渐将模型权重归零，以实现模型稀疏。深度模型通常会有更好的预测精度，但是它面临计算开销过大的问题。模型压缩(model compress)是提高深度模型推理效率的一种解决方案，它期望在不损失精度或者精度损失可控的范围内，加速推理效率，减低内存开销。
模型压缩算法主要包括权重量化(quantization)、剪枝(pruning)、低秩分
转载
2024-02-25 23:15:42
225阅读
本文为大家分享了python利用高阶函数实现剪枝函数的具体代码，供大家参考，具体内容如下案例：某些时候，我们想要为多个函数，添加某种功能，比如计时统计，记录日志，缓存运算结果等等需求：在每个函数中不需要添加完全相同的代码如何解决？把相同的代码抽调出来，定义成装饰器求斐波那契数列(黄金分割数列)，从数列的第3项开始，每一项都等于前两项之和求一个共有10个台阶的楼梯，从下走到上面，一次只能迈出1~3个
转载
2024-04-24 19:13:27
60阅读
说明此系列文档为学习中国大学mooc,浙江大学开设的《深度学习应用开发-TensorFlow实践》随堂笔记。介绍TensorFlow是一个开放源代码软件库，用于高性能数值计算。借助其灵活的架构，可以将工作灵活地部署在多种平台（CPU,GPU,TPU）和多种设备（桌面设备，服务器集群，移动设备，边缘设备等）最初由Google Brain团队的工程师与研究院研发，可为机器学习与深度学习提供强力支持。开
转载
2024-10-17 17:25:35
43阅读
该部分内容主要介绍了介绍了如何创建张量，对张量进行索引切片，维度变换和常见的数学运算等操作。1、数据类型标量、向量、矩阵。import os
os.environ['TF_CPP_MIN_LOG_LEVEL']='2'
import tensorflow as tf
a = 1.2
aa = tf.constant(1.2) # 创建标量
b = tf.constant([1.2,
在TensorFLow2中进行神经网络模型的训练主要包括以下几个主要的步骤：导入相关模块import准备数据，拆分训练集train、测试集test搭建神经网络模型model (两种方法：Sequential或自定义模型class)模型编译model.compile()模型训练model.fit()查看模型model.summary()模型评价模型预测model.predict()model.com
转载
2024-07-15 14:00:38
74阅读
搜索算法按搜索的方式分有两类，一类是深度优先搜索，一类是广度优先搜索。我们知道，深度搜索编程简单，程序简洁易懂，空间需求也比较低，但是这种方法的 时间复杂度往往是指数级的，倘若不加优化，其时间效率简直无法忍受；而广度优先搜索虽然时间复杂度比前者低一些，但其庞大的空间需求量又往往让人望而却步。 所以，对程序进行优化，就成为搜索算法编程中最关键的一环。本文所要讨论的便是搜索算法中优化程序的一种基本方法
模型用途： 用于评价类问题，如选择哪种方案最好、哪位运动员或者员工表现得更优秀定义：问题：选学校问题： 旅游目的地选择问题： 示例：权重定义：如下表，权重分为指标权重和某个指标下的目标方案的权重，即学习氛围的指标在所有指标中的权重为0.4，目标方案华科在学习氛围指标下的权重为0.7。层次分析法的目标就是求出指标权重和目标方案权重的表格，从而进行方案的决策。本质方法：使
转载
2024-03-21 20:16:01
32阅读
定义tensorflow的输入节点：tensorflow的输入节点定义方式基本上有三种，分别是：通过占位符定义、通过字典类型定义、直接定义。其中最常用的就是通过占位符定义、通过字典类型定义。这两种的区别在于当输入比较多的时候一般使用字典类型定义。下面通过代码来进行详细的解释：通过占位符来进行定义：1 X = tf.placeholder("float") # 代表x的输入值
2 Y = tf.pl
转载
2024-05-18 15:07:15
46阅读
nan表示的是无穷或者是非数值，比如说你在tensorflow中使用一个数除以0，那么得到的结果就是nan。在一个matrix中，如果其中的值都为nan很有可能是因为采用的cost function不合理导致的。当使用tensorflow构建一个最简单的神经网络的时候，按照tensorflow官方给出的教程：http://wiki.jikexueyuan.com/project/tensorflo
转载
2024-08-13 18:59:22
35阅读
目标：youtubeNet通过训练tensorflow2时设置不同的激活函数，训练和预测采用不同的分支，然后可以在训练和测试时，把模型进行分离，得到训练和预测时，某些层的参数不同。可以通过类似迁移学习的办法实现。 第二，获取训练模型的参数。获取模型参数： 比较简单，就是调用model.get_weights()。也可以用精确定位到某层，得到 w_dense4 =model.get_layer(
转载
2024-03-29 08:14:23
91阅读
本文介绍 机器学习 TensorFlow2.0 官方入门程序。我觉得这个入门程序不容易看懂，所以做一个解说。其实更简单易懂的入门程序是我的 机器学习 tensorflow 2 的hello world机器学习 TensorFlow2.0 官方入门程序在 https://tensorflow.google.cn/overview/ ，有个中文翻译解释了的在 T
目录1、TensorFlow2.0主要特征2、架构2.1 read &preprocess data2.2 tf.keras2.3 Premade Estimators2.4 distribution strategy2.5 SaveModel3、开发流程4、强大的跨平台能力5、 强大的研究实验1、TensorFlow2.0主要特征tf.keras和eager mode更加简单鲁棒的跨平台
我对优化算法之认识以下皆为我个人见解，如有偏差实属正常情况。优化问题概述优化问题大抵可以抽象成以下描述，有n个自变量X，对X有一个目标函数，我们需要求解其满足目标函数的情形，往往是极大值或者极小值，同时对于X，有一系列约束C。我认为优化算法属于一种解题模型，不是问题模型，即使同一个问题，通过构造不同的解题模型，也就是自变量和目标函数，往往可以影响解题模型的效率，甚至是十分可解。对于这类优化问题，往
转载
2024-06-20 15:23:17
58阅读
1.共享变量用途在构建模型时，需要使用tf.Variable来创建一个变量（也可以理解成节点）。当两个模型一起训练时，一个模型需要使用其他模型创建的变量，比如，对抗网络中的生成器和判别器。如果使用tf.Variable，将会生成一个新的变量，而我们需要使用原来的那个变量。这时就是通过引入get_Variable方法，实现共享变量来解决这个问题。这种方法可以使用多套网络模型来训练一套权重。2.使用g
转载
2024-05-28 10:11:25
94阅读
目录一、基础理论1、单词感知器介绍 2、单词感知器学习规则前向传递（得到输出y） 反向传递（更新权重w）二、实现单层感知器1、初始参数设置 2、正向传播（得到输出y）3、 反向传播（更新权重参数）总代码一、基础理论1、单词感知器介绍 感知器：模拟生物神经网络的人工神经网络结构。w：权值，可以调节神经信号输入值的大小。b：偏置，相当于神经元内部自带的信号。&n
搭建普通的卷积CNN网络。 nan表示的是无穷或者是非数值，比如说你在tensorflow中使用一个数除以0，那么得到的结果就是nan。在一个matrix中，如果其中的值都为nan很有可能是因为采用的cost function不合理导致的。 当使用tensorflow构建一个最简单的神经网络的时候，按照tensorflow官方给出的教程：https://www.tensorflow.o
