对于某⼀个神经元来说，需要初始化的参数有两类：⼀类是权重W，还有 ⼀类是偏置b,偏置b初始化为0即可。⽽权重W的初始化⽐较重要，我们着 重来介绍常⻅的初始化⽅式。 1.随机初始化 随机初始化从均值为0
nan表示的是无穷或者是非数值，比如说你在tensorflow中使用一个数除以0，那么得到的结果就是nan。在一个matrix中，如果其中的值都为nan很有可能是因为采用的cost function不合理导致的。当使用tensorflow构建一个最简单的神经网络的时候，按照tensorflow官方给出的教程：http://wiki.jikexueyuan.com/project/tensorflo
转载
2024-08-13 18:59:22
35阅读
目标：youtubeNet通过训练tensorflow2时设置不同的激活函数，训练和预测采用不同的分支，然后可以在训练和测试时，把模型进行分离，得到训练和预测时，某些层的参数不同。可以通过类似迁移学习的办法实现。 第二，获取训练模型的参数。获取模型参数： 比较简单，就是调用model.get_weights()。也可以用精确定位到某层，得到 w_dense4 =model.get_layer(
转载
2024-03-29 08:14:23
91阅读
自定义层自定义层需要继承 tf.keras.layers.Layer 类，并重写 __init__ 、 build 和 call 三个方法，如下所示：class MyLayer(tf.keras.layers.Layer):
def __init__(self):
super().__init__()
# 初始化代码
def build(self,
转载
2024-04-05 13:14:34
66阅读
前言在深度学习中，有时候我们需要对某些节点的梯度进行一些定制，特别是该节点操作不可导（比如阶梯除法如），如果实在需要对这个节点进行操作，而且希望其可以反向传播，那么就需要对其进行自定义反向传播时的梯度。在有些场景，如[2]中介绍到的梯度反转(gradient inverse)中，就必须在某层节点对反向传播的梯度进行反转，也就是需要更改正常的梯度传播过程，如下图的所示。在tensorflow中有若干
1.共享变量用途在构建模型时，需要使用tf.Variable来创建一个变量（也可以理解成节点）。当两个模型一起训练时，一个模型需要使用其他模型创建的变量，比如，对抗网络中的生成器和判别器。如果使用tf.Variable，将会生成一个新的变量，而我们需要使用原来的那个变量。这时就是通过引入get_Variable方法，实现共享变量来解决这个问题。这种方法可以使用多套网络模型来训练一套权重。2.使用g
转载
2024-05-28 10:11:25
94阅读
目录一、基础理论1、单词感知器介绍 2、单词感知器学习规则前向传递（得到输出y） 反向传递（更新权重w）二、实现单层感知器1、初始参数设置 2、正向传播（得到输出y）3、 反向传播（更新权重参数）总代码一、基础理论1、单词感知器介绍 感知器：模拟生物神经网络的人工神经网络结构。w：权值，可以调节神经信号输入值的大小。b：偏置，相当于神经元内部自带的信号。&n
搭建普通的卷积CNN网络。 nan表示的是无穷或者是非数值，比如说你在tensorflow中使用一个数除以0，那么得到的结果就是nan。在一个matrix中，如果其中的值都为nan很有可能是因为采用的cost function不合理导致的。 当使用tensorflow构建一个最简单的神经网络的时候，按照tensorflow官方给出的教程：https://www.tensorflow.o
Tensorflow作为符号编程框架，需要先构建数据流图，再读取数据，随后进行模型训练。tensorflow官网给出了以下三种方法来加载数据。 – 预加载数据：在tensorflow图中定义常量或变量来保存所有数据。 – 填充数据：python产生数据，再把数据填充后端。 – 从文件中读取数据：从文件中直接读取，让队列管理器从文件中读取数据。一、预加载数据x1 = tf.constant([[2,
转载
2024-03-21 11:02:56
123阅读
在前两期专栏tensorflow2caffe(1)和tensorflow2caffe(2)中，笔者向大家介绍了caffemodel文件类型下的参数架构和如何取出tensorflow框架下训练参数。在本期中，笔者将向大家阐述，如何去将tensorflow框架下训练得到的参数转化为caffe框架下的规定格式的参数。首先，我们来捋一捋目前我们手里面已经有了哪些东西：1. 我们有
转载
2024-06-01 15:31:44
109阅读
记录一下跑程序遇到的问题，也算是自己的总结问题1：
AttributeError: module ‘tensorflow’ has no attribute ‘variable’
解决办法：
方法一：官网搜索全局变量函数
https://www.tensorflow.org/api_docs/python
方法二：直接修改
将tf.placeholder改成tf.compat.v1.placeho
# TensorFlow权重转PyTorch的方法
在深度学习领域，TensorFlow和PyTorch是两个广泛使用的深度学习框架。虽然它们各有优劣，但有时我们需要将TensorFlow训练好的模型权重转为PyTorch，以便在新的框架中进行测试或部署。本文将介绍一种简单的方式将TensorFlow模型的权重转换为PyTorch格式，并提供相应的代码示例。
## 1. 准备工作
在开始权重
一、概述在TensorFlow 2.0 中，tf.keras 是推荐使用的默认高级 API，这就为我们使用统一的API构建搞效的神经网络带来极大的便捷，但是tensorflow 2.0是默认你就是懂用keras的，对于keras不是很熟悉的人难免会踩到一些坑。这不，我就在开发MobileNetV3的过程中遇到了不少问题，好在都被我一一解决了！其中，在现有的各种纷繁复杂模型算法里已不再仅仅调用基础的
初初接触样式的前端开发者在碰到样式覆盖时，最先选择的往往是!important。但是这种做法不好，应该优先考虑从样式的级联属性或者位置来解决问题。切记以下情况永远不要使用!important:1. 全局样式2.组件（插件）样式可以使用!important:1. 覆盖组件或者插件中的style或者important的样式2. 自定义的一些页面用于覆盖全局样式等如何覆盖!important:1. 使用
转载
2024-06-23 09:28:24
93阅读
最近在做一些工程部署和传统算法的工作，遇到写坑，写些解决办法记录一下：很多时候我们会面临在一台机器上进行编译和打包，在另外一台机器或者集群上进行部署，而机器与机器之间的gpu设备是不同型号的情况，这个时候做深度学习推理的时候会出现初始化加载很慢的情况，或者有二次加载的情况，这篇小博文就是讲如何解决的．由于CUDA的JIT Compile(即时编译)机制，是为了应对未来没发布的gpu硬件时也能顺滑的
转载
2024-03-17 13:14:08
56阅读
TensorFlow（或者说深度学习领域）中常见的且自带的数据集有：MNIST：手写数字识别，手写数字数据集。被称为深度学习的“hello world”。CIFAR10/100：小型图片数据集。IMDB：电影评论数据集。BOSTON HONSING：波士顿房价预测。（这个不介绍，因为我没玩过但是也很常见）import tensorflow as tfMNIST：加载MNIST数据集：(train_
转载
2024-02-28 09:37:57
39阅读
背景之前已经写过TensorFlow图与模型的加载与存储了,写的很详细,但是或闻有人没看懂,所以在附上一个关于模型加载与存储的例子,CODE是我偶然看到了,就记下来了.其中模型很巧妙,比之前numpy写一大堆简单多了,这样有利于把主要注意力放在模型的加载与存储上.解析创建保存文件的类:saver = tf.train.Saver()saver = tf.train.Saver() ,即为常见保存模
转载
2024-07-28 16:27:25
50阅读
最近在看TF2.0的内容，顺便把以前的内容也做下笔记，以便查阅。所有程序在不注明的情况下，默认使用tensorflow1.14版本。数据加载是训练模型的第一步，合理的数据加载方式虽然不会对模型效果有促进作用，但是会大大加快训练过程。TensorFlow中常用的数据加载方式有四种：内存对象数据集，在学习阶段最常见的数据加载方式，在session中直接用字典变量feed_dict给变量喂数据，这种方式
转载
2024-02-22 16:00:48
9阅读
# PyTorch加载权重
在深度学习领域中，训练模型是非常耗时和计算资源密集的任务。为了避免花费大量时间重新训练模型，我们可以通过加载预训练的权重来加快我们的工作流程。这篇文章将向您介绍如何使用PyTorch加载预训练的权重，并提供相应的代码示例。
## PyTorch简介
PyTorch是一个基于Python的开源机器学习库，提供了丰富的工具和接口来构建和训练深度学习模型。它的设计简单直
原创
2023-09-24 17:11:27
299阅读
在处理“llama加载权重”时，我们常常会遇到各种技术挑战。通过本文，我将详细记录如何有效地解决这一问题，包括必要的预检、安装和验证步骤，以及迁移指南，使得我们在使用llama模型时更加顺畅。
## 环境预检
在正式开始之前，我们需要确认环境的适配性。以下是相关的系统和硬件要求。
### 系统要求
| 操作系统 | 版本 |
| --------- | --------
