Intro to NumPy1在上一篇推文中我们讲过，NumPy是Python中的一个科学计算库，也可以说是一个功能强大的软件包。主要是因为NumPy可以对各种数学函数进行计算，比如它可以轻松执行线性代数的计算等。(以下我们用“np”表示NumPy) 最简单来说，我们可以使用NumPy去计算我们投资组合(portfolio)中的平均回报(mean return)。那么假设我们有个list
转载
2023-10-26 22:13:28
20阅读
## Hive 实现加权采样
### 概述
在 Hive 中实现加权采样可以帮助我们快速地从大规模数据集中获取一部分数据进行分析，而且还能够按照我们设定的权重来抽取数据，更加符合实际需求。接下来我将向你介绍如何在 Hive 中实现加权采样。
### 流程图
```mermaid
journey
title 加权采样流程
Start --> 数据准备
数据准备 -->
原创
2024-06-21 06:25:57
45阅读
数据增强是在有限数据集上进行人工扩张产生更多等价的数据。它能有效弥补现有训练数据的不足，防止模型出现过拟合现象，增强模型的泛化能力。 数据增强和其防止过拟合的方法的区别: 1. dropout，正则化等等方法限制了模型参数分布，用于减少过拟合。改变了模型结构或者模型空间，降低模型复杂度。 2. 数据增强没有降低网络的复杂度，也不增加计算复杂度和调参工程量，是隐式的规整化方法。实际应用中更有意义，数
一、应用场景 在基于用户兴趣召回物品时，每个用户都有兴趣标签，有时候可能兴趣标签非常多，每一个标签都有计算出来的权重，从高到底进行排序。在进行推荐的时候，我们到底基于哪些兴趣标签进行推荐呢，只选取topN的吗，还是全部？如果只选取topN的，那每次推荐结果都比较相似，而且权重低的兴趣标签似乎得不到推荐；如果按照全部标签进行推荐，可能计算量会非常大。 这个时候可以加权采样方式筛选用户的兴趣标签，
转载
2022-09-11 20:08:58
564阅读
Hive那些事儿之九-Hive实现数据抽样的三种方法在大规模数据量的数据分析及建模任务中，往往针对全量数据进行挖掘分析时会十分耗时和占用集群资源，因此一般情况下只需要抽取一小部分数据进行分析及建模操作。Hive提供了数据取样（SAMPLING）的功能，能够根据一定的规则进行数据抽样，目前支持数据块抽样，分桶抽样和随机抽样，具体如下所示：数据块抽样（tablesample()函数） 1） table
转载
2023-08-28 09:46:41
434阅读
PageRank算法原理介绍 PageRank算法是google的网页排序算法，在《The Top Ten Algorithms in Data Mining》一书中第6章有介绍。大致原理是用户搜索出的多个网页需要按照一定的重要程度（即后面讲的权重）排序，每个网页的权重由所有链接到它的其他网页的权重的加权和，加权系数为每个网页链出的网页数的倒数，也就是说每个网页的权重会平均分配到其链向的所有网页
转载
2024-01-04 07:09:40
77阅读
前言python语言中的groupby技术，是一种“拆分-应用-合并”的范式。所谓范式，它具有复用能力，可以应用到不同的符合的应用场景。pandas有两种数据结构，分别是Series和DataFrame。我们可以简单理解Series是一个没有列名的一组值，DataFrame是几个带有列表的列的组合。如果首次接触，可以多想想平时接触到的各种excel和csv等格式的数据文件，然后结合着
转载
2023-09-25 05:57:26
523阅读
文章目录一、什么是采样频率？二、什么是采样定理？三、采样率究竟应该定？四、让python来看看采样率问题五、结论 一、什么是采样频率？ 采样频率，也称为采样速度或者采样率，定义了单位时间内从连续信号中提取并组成离散信号的采样个数，它用赫兹（Hz）来表示。采样频率的倒数是采样周期或者叫作采样时间，它是采样之间的时间间隔。通俗的讲采样频率是指计算机单位时间内能够采集多少个信号样本。二、什么是采样定
转载
2023-09-21 10:27:37
291阅读
random是用于生成随机数的，我们可以利用它随机生成数字或者选择字符串。random.seed(x)改变随机数生成器的种子seed。一般不必特别去设定seed，Python会自动选择seed。random.random() 用于生成一个随机浮点数n,0 <= n < 1random.uniform(a,b) 用于
转载
2023-06-16 16:26:26
252阅读
刚开始学习CS229，Part I中关于线性回归讲解非常细致，相当基础的内容，感觉还挺容易实现的，就尝试用python实现，经过一番尝试，最后能逼近样本并且画出图，效果如下：图是通过python的一个图形库matplotlib画的，这个库旨在用python实现matlab的画图功能(或者还有计算功能，不过计算功能主要是numpy这个库来做的)先说算法(其实也没什么好说的，自己备忘)使用线性的预估函
转载
2023-11-11 23:09:05
85阅读
有些地方还没看懂， mark一下
去年曾经使用过FCN（全卷积神经网络）及其派生Unet，再加上在爱奇艺的时候做过一些超分辨率重建的内容，其中用到了毕业于帝国理工的华人博士Shi Wenzhe（在Twitter任职）发表的PixelShuffle《Real-Time Single Image and Video Super-Resolution Using an Effic
NumPy常用函数(2)成交量加权平均价格(VWAP):vwap是经济学上的一个重要量，代表了金融资产的平均价格。某个价格的成交量越高，该价格所占的权重就越大 示例：import numpy as np
c,v = np.loadtxt("000875.csv",delimiter=',',usecols=(3,5),unpack=True)
vwap = np.average(c,weight
转载
2023-08-11 17:46:28
128阅读
1、窗口计算Pandas 窗口函数，为了处理数字数据，Pandas 提供几种窗口函数，如移动窗口函数(rolling())，扩展窗口函数(expanding())，指数加权滑动(ewm())，同时可在基基础上调用适合的统计函数，如求和、中位数、均值、协方差、方差、相关性等。rolling(10) 与 groupby 很像，但并没有进行分组，而是创建了一个按移动 10（天）位的滑动窗口对象。我们再对
转载
2023-08-19 16:35:21
589阅读
Opencv——线性混合操作(addWeighted函数应用)Ps：素材来源：opencv编程，目的是记录自己的学习过程。一，线性混合操作1）线性混合操作是一种典型的二元（两个输入）的像素操作，它的理论公式如下：g(x) = (1-a)fa(x) + af3(x)。通过在范围0到1之间改变alpha值来对两幅图像（f0(x)和f1(x)）或两段视频（同样为f0(x)和f1(x)）产生时间上的画面叠
转载
2024-08-15 19:27:53
79阅读
基于python的非加权分组平均法构造简单系统发生树（DNA）能实现什么一、实现步骤1.算法思想描述2.代码实现过程二、实验结果总结1.实验中遇到的问题及困难2.还能改进的地方 能实现什么1.完成用户自定义输入DNA序列个数及序列中碱基排列 2.根据用户输入的序列构造系统发生树，该树结构存储于列表中 3.使用matplotlib将树结构可视化一、实现步骤1.算法思想描述找出所有序列中距离（这里的
转载
2024-06-25 22:42:57
17阅读
# Python采样：简单实用的技巧
在数据科学和机器学习的领域，采样是一个重要的概念。采样是从一个数据集中选择一部分数据的过程，常用于将庞大的数据集简化为更小、更易于处理的样本，以提高计算效率和分析速度。本文将介绍Python中的采样方法，并提供代码示例，帮助你理解如何在实际应用中使用采样技术。
## 1. 采样的概念
采样旨在通过对数据集的子集进行研究来推断整体特征。根据不同的需求，常用
原创
2024-08-10 04:43:43
57阅读
图像金字塔是图像多尺度表达的一种，是一种以多分辨率来解释图像的有效但概念简单的结构。一幅图像的金字塔是一系列以金字塔形状排列的分辨率逐步降低，且来源于同一张原始图的图像集合。其通过梯次向下采样获得，直到达到某个终止条件才停止采样。我们将一层一层的图像比喻成金字塔，层级越高，则图像越小，分辨率越低高斯金字塔：用于下采样。高斯金字塔是最基本的图像塔。原理：首先将原图像作为最底层图像G0（高斯金字塔的第
转载
2024-06-30 04:53:55
50阅读
一、SMOTE原理SMOTE的全称是Synthetic Minority Over-Sampling Technique 即“人工少数类过采样法”，非直接对少数类进行重采样，而是设计算法来人工合成一些新的少数样本。SMOTE步骤__1.选一个正样本红色圈覆盖 SMOTE步骤__2.找到该正样本的K个近邻（假设K = 3） SMOTE步骤__3.随机从K个近邻中选出一个样本绿色的
转载
2024-05-28 15:36:13
559阅读
Python作为目前最为流行的编程语言之一，它在数据分析和机器学习领域发挥着十分重要的作用。在大家的日常应用过程中，对于数据的清洗，可视化等等，大都采用例如pandas，scikit-learn，matplotlib等库。但是除了上述的库之外，还有其他的一些数据处理的python库，小编今天就和大家分享一下。
1.Wget利用Wget从网页链接获取数据是其一个非常重要的应用点，
转载
2023-08-22 15:39:36
6阅读
1.随机采样python代码：import random
sample = random.sample(population, k)解读：random.sample()函数从population中随机选择k个元素作为样本，返回一个列表。其中population可以是一个序列、集合或其他可迭代对象，k为采样数量。2.等距采样python代码import numpy as np
sample
转载
2023-08-14 12:40:41
283阅读
