章节目标了解自回归模型为何比较适合生成序列数据 (例如文本)了解如何处理并tokenize文本数据了解RNN(recurrent neural networks)的架构设计利用Keras从零开始构建并训练 LSTM (long short-term memory network)使用LSTM来生成新的文本了解RNNs的其它变种，包括GRUs(Gated Recurrent Units) 以及 双向
转载
2024-07-04 15:05:36
83阅读
回归 自回归 Last year Chris Shiflett attempted to start a blogging revival with The Ideas of March, my post from March 15th 2011 can be found here, and yesterday emailed a bunch of us to remind us of the
本文主要简析XLNet模型的动机，核心实现过程，以及优缺点。一. 动机目前，无监督表示学习中最成功有两种模型：AR（Auto Regression）自回归模型和AE（Auto Encoding）自编码模型。 自回归模型采用上文或下文信息预测当前词,典型模型例如GPT，ELMO，其中ELMO采用了两个方向自回归模型，本质上同样属于自回归模型。自回归模型和自然语言处理任务过程匹配，即从左至右或从右至左
转载
2024-03-16 01:18:14
225阅读
文章目录1.聚合特征构造1.1 分组统计特征1.2 统计频数构造特征1.3 分组统计和基础特征工程方法结合2.简单转换特征构造2.1 单列特征加/减/乘/除一个常数2.2 单列特征单调变换2.3 线性组合（linear combination）2.4 多项式特征（polynomial feature）2.5 比例特征（ra
转载
2022-02-24 09:37:26
388阅读
文章目录1.聚合特征构造1.1 分组统计特征1.2 统计频数构造特征1.3 分组统计和基础特征工程方法结合2.简单转换特征构造2.1 单列特征加/减/乘/除一个常数2.2 单列特征单调变换2.3 线性组合（linear combination）2.4 多项式特征（polynomial feature）2.5 比例特征（ratio feature）2.6 绝对值特征（absolute value）2...
原创
2021-06-18 14:29:31
913阅读
导读：数据科学从业者们更倾向于选择用著名的算法来解决给定的问题，但仅仅靠算法并不能提供一个最优的解决方案，通过精心设计和选择的特征所建造的模型能够提供更好的结果。此篇作者总结了很多常见且有效的特征转化的方法，有些方法附有简单说明。具体的应用方法可以在网络上搜索公开信息。“任何一个有智力的笨蛋都可以把事情搞得更大，更复杂，也更激烈。往相反的方向前进则需要一点天分，以及很大的勇气。” –阿尔伯特·爱因
转载
2022-02-23 18:10:21
138阅读
文章目录1.GBDT特征构造1.1 原理1.2 关键点1.3 实现代码1.4 方案改进1.5 优缺点2.聚类特征构造2.1 聚类算法介绍2.2 聚类算法构造特征流程2.3 程序实现3.总结4.参考文献 本文将介绍如何使用GBDT进行特征构造以及使用聚类进行特征构造。
1.GBDT特征构造
1.1 原理
转载
2022-02-23 18:01:54
375阅读
导读：数据科学从业者们更倾向于选择用著名的算法来解决给定的问题，但仅仅靠算法并不能提供一个最优的解决方案，通过精心设计和选择的特征所建造的模型能够提供更好的结果。此篇作者总结了很多常见且有效的特征转化的方法，有些方法附有简单说明。具体的应用方法可以在网络上搜索公开信息。“任何一个有智力的笨蛋都可以把事情搞得更大，更复杂，也更激烈。往相反的方向前进则需要一点天分，以及很大的勇气。” –阿...
转载
2021-06-18 15:20:35
146阅读
回归问题 回归分析用于预测输入量变（自变量）和输出变量（因变量）之间的关系，特别是当输入变量的值发生变化时，输出变量值随之发生变化。只管来说回归问题等价于函数拟合，选择一条函数曲线使其很好的拟合已知数据且很好的预测未知数据。 回归分析根据自变量个数分为【一元回归分析与多元回归分析】，根据自变量与因变量关系分为【线性回归分析与非线性回归分析】，根据因变量个数分为【简单回归分析与多重回归分析】1.线性
转载
2024-07-06 04:59:34
63阅读
文章目录1.GBDT特征构造1.1 原理1.2 关键点1.3 实现代码1.4 方案改进1.5 优缺点2.聚类特征构造2.1 聚类算法介绍2.2 聚类算法构造特征流程2.3 程序实现3.总结4.参考文献本文将介绍如何使用GBDT进行特征构造以及使用聚类进行特征构造。1.GBDT特征构造1.1 原理GBDT是一种常用的非线性模型，基于集成学习中boosting的思想，由于GBDT本身可以发现多...
原创
2021-06-18 14:29:29
1068阅读
特征工程概述一、特征工程概述特征工程 = 数据准备（for
原创
2018-05-26 17:51:47
811阅读
生成模型——自回归模型详解与PixelCNN构建自回归模型（Autoregressive models）简介PixelRNN使用TensorFlow 2构建PixelCNN模型输入和标签掩膜实现自定义层网络架构交叉熵损失采样生成图片完整代码自回归模型（Autoregressive models）深度神经网络生成算法主要分为三类：生成对抗网络(Generative Adversarial Netwo
转载
2023-07-19 19:43:17
108阅读
随机信号的模型建立为随机信号建立参数模型是研究随机信号的一种基本方法，其含义是认为随机信号x(n)是由白噪w(n)激励某一确定系统的响应（如图 7.5）。只要白噪的参数确定了，研究随机信号就可以转化成研究产生随机信号的系统。AR模型（自回归模型 Auto-regression model） 随机信号 由本身的若干次过去值 ) ( n x ) ( k n x − 和当前的激励值 线性组合产生： 该模
转载
2024-08-23 11:58:23
31阅读
线性回归是机器学习中最经典的算法，因为后面的多层感知也是基于这些算法进行演变而来的，所以当我们完全了解了机器学习之后对于我们了解后面的算法是很有帮助的，尤其对于经典的，每一个机器学习模型都会用到的梯度下降，损失计算进行更深刻的认识是非常具有帮助的。同时本次的博客将会把整个机器学习我认为比较经典的算法通通进行自己的手动实现，供大家进行参考和学习，那么我们就开始实现本次的第一个机器学习算法，线性回归吧
转载
2024-04-07 09:58:17
102阅读
统计学中，一般将变量与变量之间的关系划分为函数关系和相关关系。函数关系：因变量与自变量之间存在函数式关系。当一个变量或几个变量取一定的值时，另一个变量有确定值。例如，当给出圆的半径r时，就可以根据S=πr2，计算出圆面积S。相关关系：因变量与自变量之间存在非严格的依存关系。当一个变量或几个变量取定一个数值时，另一个对应变量的数值是不确定的。但是，该变量的数值却是随着前述变量的所取数值而发生一定的变
转载
2024-06-20 19:45:50
66阅读
文章目录1.笛卡尔乘积特征构造1.1 原理1.2 类别特征进行笛卡尔乘积特征组合1.3 连续值特征进行笛卡尔乘积特征组合2.遗传编程特征构造2.1 原理2.2 gplearn2.3 遗传编程的用法总结参考文献本文介绍笛卡尔乘积特征构造以及遗传编程特征构造1.笛卡尔乘积特征构造1.1 原理1）数学原理笛卡尔乘积是指在数学中，两个集合X和Y的笛卡尓积（ Cartesian product），...
原创
2021-06-18 14:29:30
536阅读
文章目录1.笛卡尔乘积特征构造1.1 原理1.2 类别特征进行笛卡尔乘积特征组合1.3 连续值特征进行笛卡尔乘积特征组合2.遗传编程特征构造2.1 原理2.2 gplearn2.3 遗传编程的用法总结参考文献 本文介绍笛卡尔乘积特征构造以及遗传编程特征构造
1.笛卡尔乘积特征构造
1.1 原理1）数学原理笛卡尔乘积是指
转载
2022-02-24 09:40:33
938阅读
第七部分 深度自回归模型（Deep Autoregressive Model， DARM）参考内容https://jmtomczak.github.io/blog/2/2_ARM.html Attention is all you need（Transformer原始文章）5.1 概率基础有条件的生成模型需要建模分布 ，无条件的生成模型需要建模分布 。之后的内容都考虑是无条件的生成模型的情况。
转载
2024-05-06 16:13:01
193阅读
1. 自回归模型的含义是什么?自回归模型使用过去的观测值来预测未来值。2. 自回归模型的表示方法是什么?通常表示为AR(p)模型,p表示使用的过去观测值的个数。3. 自回归模型的公式是什么?Y_t = c + φ_1Y_{t-1} + φ_2Y_{t-2} + ... + φ_pY_{t-p} + ε_t 4. 自回归模型的参数有哪些?模型常数c,自回归系数φ和白噪声误差ε。5. 自回归
转载
2023-10-06 13:55:46
0阅读
文章目录1.Autoregressive models1.1几种自回归模型介绍2.Autoencoding models2.1 BERT2.2 ALBERT2.3 RoBERTa2.4 DistilBERT2.5 还有许多3.Sequence-to-sequence models4.Multimodal models 网页地址： https://huggingface.co/transforme
转载
2023-09-25 07:41:27
886阅读
