字符串函数add()：对两个数组的逐个字符串元素进行连接。 multiply()：返回按元素多重连接后的字符串。 center()：居中字符串。capitalize()：将字符串第一个字母转换为大写。title()：将字符串的每个单词的第一个字母转换为大写。lower()：数组元素转换为小写。upper()：数组元素转换为大写。split()：指定分隔符对字符串进行分割，并返回
转载
2024-03-25 09:36:20
99阅读
学习 PyTorch 比较简单，但你能学习 PyTorch 内部机制吗？最近，有 14 年 ML 经验的大神 Christian 介绍了 PyTorch 的内核机制。虽然在实际使用中并不需要这些知识，但探索 PyTorch 内核能大大提升我们对代码的直觉与理解，挖底层实现的都是大神~
PyTorch 的构建者表明，Pytorch 的哲学是解决当务之急，也就是说即时构建和运行
引言NumPy是Python的一个扩展库，负责数组和矩阵运行。相较于传统Python，NumPy运行效率高，速度快，是利用Python处理数据必不可少的工具。这个NumPy快速入门系列分为四篇，包含了NumPy大部分基础知识，每篇阅读时间不长，但内容含量高。大家最好亲自码一遍代码，这样可以更有收获。前面的课程：Python进阶之NumPy快速入门(一)Python进阶之NumPy快速入门(二)概要
转载
2024-02-23 11:54:51
64阅读
reshape方法详解二维数组1. 定义2. 二维数组的变形三维数组及以上1. 定义2. 三维数组的变形3. 三维数组的赋值4. 识别数组维数的小技巧参考文章 二维数组1. 定义由多个一维列表一行一行堆叠形成二维。（这些一维数组必须相同长度的）#创建一个二维数组。（体会堆叠的过程）
import numpy as np
a = [1, 2, 3] ; b = [4, 5, 6]; c = [7,
转载
2024-03-26 06:03:25
134阅读
文章目录一、NumPy通用函数1、什么是通用函数2、常见的一元通用函数如下：3、常见的二元通用函数如下表：二、利用NumPy数组进行数据处理1、将条件逻辑转为数组运算2、数组统计运算3、数组排序(==sort()方法没有返回值==)4、检索数组元素5、唯一化及其他集合逻辑 一、NumPy通用函数1、什么是通用函数通用函数(ufunc)是一种针对ndarray中的数据执行元素级运算的函数。注意：函
转载
2024-05-14 15:47:55
49阅读
作者 | Casper Hansen
激活函数对神经网络的重要性自不必多言，
来自丹麦技术大学的 Casper Hansen 通过公式、图表和代码实验介绍了 sigmoid、ReLU、ELU 以及更新的 Leaky ReLU、SELU、GELU 这些激活函数，并比较了它们的优势和短板。
在计算每一层的激活值时，我们要用到激活函数，之后才能确定
# 如何实现 PyTorch 中的 ReLU 反向传播
## 介绍
作为一位经验丰富的开发者，你需要教会一位刚入行的小白如何实现 PyTorch 中的 ReLU 反向传播。在这篇文章中，我将向你展示整个实现过程，并为你提供详细的代码和解释。
### 类图
```mermaid
classDiagram
ReLU B[ReLU 正向传播]
B --> C[计算梯度 grad_o
原创
2024-02-25 07:47:54
209阅读
1. ReLU 函数层激活函数 ReLU（Rectified Linear Unit）由下式（5.7）表示。 通过式（5.7），可以求出 y 关于 x 的导数，如式（5.8）所示。 在式（5.8）中，如果正向传播时的输入 x 大于0，则反向传播会将上游的值原封不动地传给下游。反过来，如果正向传播时的 x 小于等于0，则反向传播中传给下游的信号将停在此处。用计算图表示的话，如图5-18 所示。 在神
转载
2024-04-30 12:44:06
255阅读
（4）Leaky ReLUReLU是将所有的负值设置为0，造成神经元节点死亡的情况。相反，Leaky ReLU是给所有负值赋予一个非零的斜率。优点：（1）神经元不会出现死亡的情况。（2）对于所有的输入，不管是大于等于0还是小于0，神经元不会饱和（3）由于Leaky ReLU线性、非饱和的形式，在SGD中能够快速收敛。（4）计算速度要快很多。Leaky ReLU函数只有线性关系，不需要指数计算，不管
转载
2024-03-18 17:44:02
1030阅读
激活函数：在多层神经网络中，上层节点的输出和下层节点的输入之间具有一个函数关系，这个函数称为激活函数(又称激励函数) 激活函数的本质：激活函数是来向神经网络中引入非线性因素的，通过激活函数，神经网络就可以拟合各种曲线。举一个例子来说明：假如我的任务是，将下面的这幅图中的三角形和圆形分开，也就是一个典型的二分类问题： 我们用肉眼能很轻松的得出结论：无法用一条直线将这
转载
2024-03-18 10:00:23
156阅读
一 : re模块的查找findall 优先级查找 返回列表 找所有的匹配项(从大段的内容中找匹配到的项目) import re
str = "qwer asdf zxcv qwerasd"
ret =re.compile("\w+\s\w+") #第一种没有括号的
print(ret.findall(str))
# 结果 :
整体加速过程1.将tensorflow训练生成的.h5模型结构权重文件转换成.pb的模型文件。 2.将.pb模型文件转换成uff格式的文件并进行解析，同时生成TensorRT的engine。 3.调用生成的engine文件，实现推理加速。准备工作1.生成.pb的模型文件 首先我们需要从保存模型的chekpoint文件中，生成.pb的模型文件。import tensorflow.compat.v1
正则表达式正则表达式为高级的文本模式匹配，抽取，与/或文本形式的搜索和替换功能提供了基础。正则表达式是一些由字符和特殊符号组成的字符串，它们描述了模式的重复或者表述多个字符。转义符\在正则表达式中，有很多有特殊意义的是元字符，比如\n和\s等，如果要在正则中匹配正常的"\n"而不是"换行符"就需要对""进行转义，变成’\’。在python中，无论是正则表达式，还是待匹配的内容，都是以字符串的形式出
其实一直在做论文阅读心得方面的工作，只是一直没有分享出来，这篇文章可以说是这个前沿论文解读系列的第一篇文章，希望能坚持下来。简介论文提出了动态线性修正单元（Dynamic Relu，下文简称 DY-ReLU），它能够依据输入动态调整对应分段函数，与 ReLU 及其静态变种相比，仅仅需要增加一些可以忽略不计的参数就可以带来大幅的性能提升，它可以无缝嵌入已有的主流模型中，在轻量级模型（如 Mobile
前言论文地址： https://arxiv.org/pdf/1505.00853.pdf.论文贡献：这篇论文并没有提出什么新的激活函数，而是对现有的非常火的几个非饱和激活函数作了一个系统性的介绍以及对他们的性能进行了对比。最后发现，在较小的数据集中（大数据集未必），Leaky ReLU及其变体(PReLU、RReLU)的性能都要优于ReLU激活函数；而RReLU由于具有良好的训练随机性，可以很好的
转载
2024-04-25 14:05:54
0阅读
最近在阅读 Airbnb 的论文 Applying Deep Learning to Airbnb Search。阅读的过程中，我发现作者在谈及特征归一化的必要性时，有如下表述：Feeding values that are outside the usual range of features can cause large gradients to back propagate. T
转载
2024-08-01 21:01:57
14阅读
#***文章大纲***#
1. Sigmoid 和梯度消失(Vanishing Gradients)
1.1 梯度消失是如何发生的？
1.2 饱和神经元(Saturated Neurons)
2. ReLU 和神经元“死亡”(dying ReLU problem)
2.1 ReLU可以解决梯度消失问题
2.2 单侧饱和
2.3 神经元“死亡”(dying
转载
2024-04-14 06:49:24
67阅读
零基础学caffe源码 ReLU激活函数 原创
2016年08月03日 17:30:19
1、如何有效阅读caffe源码 1、caffe源码阅读路线最好是从src/cafffe/proto/caffe.proto开始，了解基本数据结构内存对象和磁盘文件的一一映射关系，中间过程都由ProtoBuffer工具自动完成。 &n
转载
2024-09-02 17:24:20
45阅读
在该文章的两大创新点：一个是PReLU,一个是权值初始化的方法。下面我们分别一一来看。 PReLU(paramter ReLU)所谓的PRelu，即在 ReLU激活函数的基础上加入了一个参数，看一个图就明白了：右边的图上多了一个参数吧，在负半轴上不再为0，而是一个可以学习的斜率。 很容易明白。实验结果显示该方法可以提高识别率。权值初始化的方法： 对于文中
转载
2024-03-01 12:42:36
157阅读
1、神经网络为什么引入激活函数？如果不引入激活函数，神经网络的每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合，与没有隐藏层的效果相当，这种情况就是最原始的感知机（Perceptron）。因此，引入非线性函数作为激励函数，这样深层神经网络就有意义了（不再是输入的线性组合，可以逼近任意函数）。激活函数的作用就是为了增加神经网络模型的非线性。2、Sigmoid函数缺点：*
转载
2024-09-01 19:01:29
41阅读
