Alexnet网络在LeNet-5网络的基础上发展起来，该网络是加深网络的开山之作，也即深度学习发展过程中的一个重要里程碑。该网络的主要创新点为：1. 使用Relu函数作为激活函数；2. 增加Dropout方法来避免过拟合；3. 使用最大值池化，之前的神经网络都使用均值池化；4. 增加LRN层来增强模型的泛化能力（本文我们先不讲LRN层，假设网络结构无此层，后续更新我们再把LRN层加上去）。无LR
长文本能力似乎成为象征着大模型厂商出手的又一新“标配”。国外，OpenAI经过三次升级，GPT-3.5上下文输入长度从4千增长至1.6万token，GPT-4从8千增长至3.2万token（token：模型输入和输出的基本单位）；OpenAI最强竞争对手Anthropic一次性将上下文长度打到了10万token；LongLLaMA将上下文的长度扩展到25.6万token，甚至更多。国内，光锥智能获
一、隐语义模型1.1 隐语义模型概述 将用户和物品都转化为隐语义，将这两个通过隐语义进行组合，我们需要做的是通过数据出发，进行个性化的推荐；物品和用户之间可能存在着隐含的联系，因此我们需要建立隐含的关系方程。这个隐含因子只要能够让计算机理解就好。将用户和物品通过中介隐含因子联系起来。例如有N个用户和M和商品，打分矩阵如下所示： &nb
转载
2024-09-24 09:34:52
122阅读
论文：Knowledge Distillation via the Target-aware Transformer代码：暂未发布 背景蒸馏学习是提高小神经网络性能事实上的标准，以前的工作大多建议以一对一的空间匹配方式将教师的代表特征回归到学生身上。然而，人们往往忽略这样一个事实，由于结构的差异，同一空间的语义信息通常是变化的，这大大削弱了一对一的蒸馏方法的基本假设。他们高估了空间顺序的
2.2 广义动量定理的由来2.2.1 广义动量定理与动量定理广义动量定理是对动量定理的扩展，以下为动量定理的推导过程。外力F作用于质量为m的小方块，时间为t，v0和vt分别表示物体的初速度和末速度（如图2-1所示）。 图2-1 动量定理分析图由牛顿第二定律得：F=am推出a=F/m代入速度公式，得vt= v0+at得到vt= v0+Ft/m化简得到mvt-mv0=Ft即
转载
2024-07-16 15:38:30
57阅读
概率图模型学习问题图模型的学习可以分为两部分：一是网络结构学习，即寻找最优的网络结构。网络结构学习一般比较困难，一般是由领域专家来构建。 二是网络参数估计，即已知网络结构，估计每个条件概率分布的参数。 不含隐变量的参数估计 如果图模型中不包含隐变量，即所有变量都是可观测的，那么网络参数一般可以直接通过最大似然来进行估计。 含隐变量的参数估计如果图
背景 近年来随着边缘计算和物联网的兴起与发展，许多移动终端(比如手机)成为了深度学习应用的承载平台，甚至出现了各式各样专用的神经网络计算芯片。由于这些设备往往对计算资源和能耗有较大限制，因此在高性能服务器上训练得到的神经网络模型需要进行裁剪以缩小内存占用、提升计算速度后，才能较好地在这些平台上运行。
一种最直观的裁剪方式就是用更少位数的数值类型来存储网络参数，比如常见的做法是
Encoder-Decoder框架：目前大多数注意力模型附着在Encoder-Decoder框架下，当然，其实注意力模型可以看作一种通用的思想，本身并不依赖于特定框架，这点需要注意。抽象的文本处理领域的Encoder-Decoder框架：文本处理领域的Encoder-Decoder框架可以这么直观地去理解：可以把它看作适合处理由一个句子（或篇章）生成另外一个句子（或篇章）的通用处理模型。对于句子对
1）EDMA概要EDMA数据传输有两种发起方式：ü CPU发起的EMDA数据传输（非同步方式）：需要传输时，CPU设置ESR寄存器的相应位为1，从而触发一个EDMA事件的产生，事件对应的通道参数被送往地址硬件并且完成相应的处理，这种非同步方式的实时数据传输无需设定EER寄存器；ü &
转载
2024-04-11 15:21:35
261阅读
概念介绍移动平均值（EMA）EMA（12）=前一日EMA（12）×11/13+今日收盘价×2/13
EMA（26）=前一日EMA（26）×25/27+今日收盘价×2/27计算移动均值是一个不断累加并调整系数的过程。与传统均值的区别在于：移动均值参考到该股票自上市以来每一天的收盘价，并在每次累计上新的收盘价时，弱化之前收盘价的比重，以实现动态累计的效果。离差值（DIF）DIF=今日EMA（12）－
转载
2024-04-03 07:15:50
93阅读
随着研发的深入，自动驾驶行业越来越显现出合纵连横的趋势。本周，英伟达阵营再次迎来新的合作伙伴——沃尔沃和瑞典汽车零部件供应商Autoliv。其实此前沃尔沃的自动驾驶项目“DriveMe”所用的测试车辆就搭载了英伟达DrivePX平台，该公司的自动驾驶汽车将于2021年正式上市。除此之外，英伟达还与德国汽车零部件供应商采埃孚和海拉建立了非排他性的合作关系，三家公司将共同推进自动驾驶行业人工智能技术的
转载
2023-11-21 22:04:41
134阅读
总结使用递归和循环两种方法来完成 python环境下循环相比于递归更快，更适应极端样本情况递归def _ema(arr,i=None):
N = len(arr)
α = 2/(N+1) #平滑指数
i = N-1 if i is None else i
if i==0:
return arr[i]
else:
data =
转载
2023-06-15 18:56:12
195阅读
这是「EMA系列」文章之第二部分（Part 2），第一部分见
Desperate：「EMA系列之I」如何理解EMA指数移动平均值以及Python实现zhuanlan.zhihu.com
今天这篇文章在讨论两个EMA的进阶问题：如何确定EMA的warm-up时间？ 如何更加合理地设置EMA的初始值？让我们从一个简单的例子开始。假设我们将观察到一个时间序列，每个观察值都是从标准
转载
2024-08-02 15:06:40
69阅读
Jensen 不等式f 是定义域为实数的函数，如果对于所有的实数x，f′′(x)≥0，那么 f 是凸函数。 显然我们的样本x,是有很多属性的，也就是说函数f的输入是一个向量。这时f是凸函数就等价为为f的 hessian 矩阵 H 是半正定的（ H ≥ 0）。begin-补充-hessian矩阵f(x1,x2,...,xn) ，如果函数f 
转载
2024-07-30 12:58:44
146阅读
在进行深度学习训练时，同一模型往往可以训练出不同的效果，这就是炼丹这件事的玄学所在。使用一些trick能够让你更容易追上目前SOTA的效果，一些流行的开源代码中已经集成了不少trick，值得学习一番。本节介绍EMA这一方法。1.原理：EMA也就是指数移动平均(Exponential moving average)。其公式非常简单，如下所示：\(\theta_{\text{EMA}, t+1} =
转载
2023-07-25 22:53:10
97阅读
导读：随着科技的发展，其深度学习框架也越来越成熟,facebook旗下的pytorch便是在众多框架中脱颖而出的一个优秀的深度学习框架。什么是PytorchPytorch是基于python的科学计算包，为两类受众提供服务作为Numpy的替换，让你可以使用GPU的算力作为一个深度学习计算平台提供最大的计算灵活性与速度PyTorch 是最受欢迎的深度学习库之一，与 Keras 和 Tens
转载
2023-08-21 21:09:51
151阅读
列表的常用函数介绍 delete,remove,add-to-list,cons,nreverse函数。0、简单定义一个列表：(setq list1 '(alpha beta gamma))列表的保存图示： +-------+---+ +------+---+ +-------+-----+
list1--->| alpha | *----->| beta
转载
2024-05-21 08:16:36
52阅读
开始学习期货的量化交易，从米筐API上拷贝的一个关于股指期货主力合约日级别MACD日回测的入门代码： 首先，先看一下关于MACD的介绍以及计算方式：MACD称为指数平滑移动平均线，是从双指数移动平均线发展而来，由快的指数移动平均线（EMA12）减去慢的指数移动平均线（EMA26）得到快线DIF，再用2×（快线DIF-DIF的9日加权移动均线DEA）得到MACD柱。 关于以上的几种指标： EM
转载
2024-04-12 05:29:53
125阅读
MNE-python读取.edf文件EDF，全称是 European Data Format，是一种标准文件格式，用于交换和存储医疗时间序列。该格式文件能够存储多通道的数据，允许每个信号拥有不同的采样频率。在内部，它包括标题和一个或多个数据记录。标题包含一些一般信息(患者标识，开始时间......等等)以及每个信号的技术规格(校准，采样率，过滤，......等等)，编码为 ASCII 字符。数据记
转载
2023-11-13 21:58:49
70阅读
# 实现“ema python”的步骤和代码解释
## 1. 简介
在开始之前，让我们先了解一下“ema python”是什么。EMA（Exponential Moving Average）是一种常用的指标，用于平滑时间序列数据。在Python中，我们可以使用一些库来实现EMA的计算和绘制。
## 2. 实现步骤
下面是整个实现“ema python”过程的详细步骤：
| 步骤 | 描述 |
原创
2023-09-17 09:43:23
547阅读
