拓端小助手的博客_原创(28)

Python之LDA主题模型算法应用

在这篇文章中，我将介绍用于Latent Dirichlet Allocation（LDA）的lda Python包的安装和基本用法。我不会在这篇文章中介绍该方法的理论基础。然而，这个模型的主要参考，Blei etal 2003可以在线免费获得，我认为将语料库（文档集）中的文档分配给基于单词矢量的潜在（隐藏）主题的主要思想是相当容易...

Python开发

Python教程

原创 2021-05-12 14:42:30 1002 阅读

python用线性回归预测股票价格

线性回归在整个财务中广泛应用于众多应用程序中。在之前的教程中，我们使用普通最小二乘法（OLS）计算了公司的beta与相对索引的比较。现在，我们将使用线性回归来估计股票价格。线性回归是一种用于模拟因变量（y）和自变量（x）之间关系的方法。通过简单的线性回归，只有一个自变量x。可能有许多独立变量属于多元线性回归的范畴。在这种情况下...

Python开发

Python教程

原创 2021-05-12 14:42:29 1543 阅读

在PYTHON中进行主题模型LDA分析

主题建模是一种在大量文档中查找抽象主题的艺术方法。一种作为监督无的机器学习方法，主题模型不容易评估，因为没有标记的“基础事实”数据可供比较。然而，由于主题建模通常需要预先定义一些参数（首先是要发现的主题ķ的数量），因此模型评估对于找到给定数据的“最佳”参数集是至关重要的。概率LDA主题模型的评估方法使用未...

Python开发

Python教程

原创 2021-05-12 14:42:28 1077 阅读

用Python粒度分析及其在沉积学中应用研究

谷物沉降是沉积学中最重要的问题之一（因此也是沉积地质学），因为在不知道某一粒度粒子的沉降速度是多少的情况下，沉积物运输和沉积都不能被理解和建模。当浸没在水中时，非常小的颗粒具有足够小的质量，使得它们在任何湍流发展之前达到最终速度。这适用于在水中沉降的粘土和淤泥尺寸的颗粒，对于这些颗粒尺寸等级，斯托克斯定律可用于计算沉降速度：...

Python开发

Python教程

原创 2021-05-12 14:42:27 320 阅读

python聚类算法的应用实例

时隔两月开始继续储备机器学习的知识，监督学习已经告一段落，非监督学习从聚类开始。非监督学习与监督学习最大的区别在于目标变量事先不存在，也就是说一家批发经销商想将发货方式从每周五次减少到每周三次，简称成本，但是造成一些客户的不满意，取消了提货，带来更大亏损，项目要求是通过分析客户类别，选择合适的发货方式，达到技能降低成本又能降低客户不满意度的目的。什么是聚类聚类将相似的对象归到同一个簇中...

Python开发

Python教程

原创 2021-05-12 14:42:24 763 阅读

python算法对音频信号处理Sonification ：Gauss-Seidel迭代算法

原文链接：http://tecdat.cn/?p=7620可以将44.1kHz单通道.wav文件中的一秒读取到长度为44100的数组（称为b）中。给定矩阵A，我们寻求系统Ax = b的解。通过Gauss-Seidel的迭代，向量如果我们将b记录的录音，则将一些白噪声作为我们的初始猜测，并在每次交替中写出Ax，我们会观察到b中高音调的音符首先变得可听，而同时白噪声的音调分解。最初的12...

Python开发

Python教程

原创 2021-05-12 14:42:00 341 阅读

使用python进行贝叶斯统计分析

原文链接：http://tecdat.cn/?p=7637本文讲解了使用PyMC3进行基本的贝叶斯统计分析过程.# Importsimport pymc3 as pm # python的概率编程包import numpy.random as npr # numpy是用来做科学计算的import numpy as npimport matplotlib.pyplot a...

Python开发

Python教程

原创 2021-05-12 14:41:59 785 阅读

python对NOAA天气数据格式转换

原文链接：http://tecdat.cn/?p=7679转换NOAA天气数据文件“ .fly”为Pandas DataFrame获取数据 ftp://ftp.ncdc.noaa.gov/pub/data/ghcn/dailyIn [1]:import matplotlib.pyplot as plt import pandas as pd import ...

Python开发

Python教程

原创 2021-05-12 14:41:58 410 阅读

用Prophet在Python中进行时间序列预测

原文链接：http://tecdat.cn/?p=7692预测通常被认为是报告的自然发展。报告可以帮助我们回答，发生了什么事？预测有助于回答下一个逻辑问题，将会发生什么？Prophet的目的是“使专家和非专家可以更轻松地进行符合需求的高质量预测。您将学习如何使用Prophet（在Python中）解决一个常见问题：预测下一年公司的每日订单。数据准备与探索Prophet...

Python开发

Python教程

原创 2021-05-12 14:41:57 411 阅读

SAS，R和Python应对数据管理和分析挑战

原文链接：http://tecdat.cn/?p=7886去年，我与一家公司进行了短暂的咨询工作，该公司正在构建一个主要由基于Web的数据存储库驱动的分析应用程序。数据存储为SAS数据集的集合，“客户”可以通过上载SAS数据步骤和proc SQL脚本来将其作为子集。生成的数据随后可供下载。我的职责是指导团队使用SAS应对数据管理和分析挑战。在安装和配置WPS之后，我的任务是开发解决...

Python开发

Python教程

原创 2021-05-12 14:41:56 279 阅读

R和Python机器学习:广义线性回归glm，样条glm，梯度增强，随机森林和深度学习模型分析

原文链接：http://tecdat.cn/?p=7923使用R和Python进行分析的主要好处之一是，它们充满活力的开源生态系统中总是有新的和免费提供的服务。如今，越来越多的数据科学家能够同时在R，Python和其他平台上使用数据，这是因为供应商向R和Python引入了具有API的高性能产品，也许还有Java，Scala和Spark。H2O品牌被称为“商业AI”，“使任何人都可以轻...

Python开发

Python教程

原创 2021-05-12 14:41:54 547 阅读

Python中的Apriori关联算法-市场购物篮分析

原文链接：http://tecdat.cn/?p=7939数据科学Apriori算法是一种数据挖掘技术，用于挖掘频繁项集和相关的关联规则。本模块重点介绍什么是关联规则挖掘和Apriori算法，以及Apriori算法的用法。此外，在小型企业场景中，我们将借助Python编程语言构建一个Apriori模型。什么是关联规则挖掘？如前所述，Apriori算法用于关联规则挖...

Python开发

Python教程

原创 2021-05-12 14:41:53 939 阅读

通过Python中的Apriori算法进行关联规则挖掘

原文链接：http://tecdat.cn/?p=7947关联规则挖掘是一种识别不同项目之间潜在关系的技术。以超级市场为例，客户可以在这里购买各种商品。通常，客户购买的商品有一种模式。例如，有婴儿的母亲购买婴儿产品，如牛奶和尿布。少女可以购买化妆品，而单身汉可以购买啤酒和薯条等。总之，交易涉及一种模式。如果可以识别在不同交易中购买的物品之间的关系，则可以产生更多的利润。例如，如果项目...

Python开发

Python教程

原创 2021-05-12 14:41:52 729 阅读

R、Python、Open Refine采集pdf数据，清理数据和格式化数据

原文链接：http://tecdat.cn/?p=8076获取，清理和格式化数据在本文中，我们将介绍一些技巧和窍门，这些技巧和窍门用于在线查找所需数据，将其存储到计算机上以及如何识别和清除“脏”数据。我们还将回顾一些常见的数据格式，以及如何从一种转换为另一种。我们今天将使用的数据gdp_percap.csv世界银行关于1990年至2016年国家和国家集团人均国内生产...

Python开发

Python教程

原创 2021-05-12 14:41:50 489 阅读

在Python中使用LSTM和PyTorch进行时间序列预测

原文链接：http://tecdat.cn/?p=8145顾名思义，时间序列数据是一种随时间变化的数据类型。例如，24小时内的温度，一个月内各种产品的价格，一年中特定公司的股票价格。诸如长期短期记忆网络（LSTM）之类的高级深度学习模型能够捕获时间序列数据中的模式，因此可用于对数据的未来趋势进行预测。在本文中，您将看到如何使用LSTM算法使用时间序列数据进行将来的预测。数据集...

Python开发

Python教程

原创 2021-05-12 14:41:49 2592 阅读

python使用Flask，Redis和Celery的异步任务

原文链接：http://tecdat.cn/?p=8336介绍随着Web应用程序的发展和使用的增加，用例也变得多样化。我们现在正在建设和使用网站来执行比以往任何时候都更复杂的任务。其中一些任务可以进行处理，并将反馈立即转发给用户，而其他任务则需要稍后进行进一步处理和结果转发。越来越多地采用Internet访问和支持Internet的设备导致最终用户流量增加。在本文中，我们将...

Python开发

Python教程

原创 2021-05-12 14:41:47 828 阅读

使用Python和Keras进行主成分分析、神经网络构建图像重建

介绍如今，几乎我们使用的每个应用程序中都有大量数据- 听音乐，浏览朋友的图像，或者观看新的预告片对于单个用户来说这不是问题。但是，想象一下同时处理成千上万的请求（如果不是上百万）具有大数据的请求。必须以某种方式减少这些数据流，以便我们能够物理上将其提供给用户-这就是数据压缩的开始。压缩技术很多，它们的用法和兼容性也各不相同。压缩有两种主要类型：无损：即使我们不太“...

Python开发

Python教程

原创 2021-05-12 14:41:44 505 阅读

python用于NLP的seq2seq模型实例:用Keras实现神经网络机器翻译

原文链接：http://tecdat.cn/?p=8438在本文中，我们将看到如何创建语言翻译模型，这也是神经机器翻译的非常著名的应用。我们将使用seq2seq体系结构通过Python的Keras库创建我们的语言翻译模型。假定您对循环神经网络（尤其是LSTM）有很好的了解。本文中的代码是使用Keras库用Python编写的。库和配置设置首先导入所需的库：import o...

Python开发

Python教程

原创 2021-05-12 14:41:43 151 阅读

用Python的Numpy求解线性方程组

原文链接：http://tecdat.cn/?p=8445在本文中，您将看到如何使用Python的Numpy库解决线性方程组。什么是线性方程组？维基百科将线性方程组定义为：在数学中，线性方程组（或线性系统）是两个或多个涉及同一组变量的线性方程的集合。解决线性方程组的最终目标是找到未知变量的值。这是带有两个未知变量的线性方程组的示例，x并且y：等式1：4...

Python开发

Python教程

原创 2021-05-12 14:41:41 999 阅读

用于NLP的Python：使用Keras进行深度学习文本生成

原文链接：http://tecdat.cn/?p=8448文本生成是NLP的最新应用程序之一。深度学习技术已用于各种文本生成任务，例如写作诗歌，生成电影脚本甚至创作音乐。但是，在本文中，我们将看到一个非常简单的文本生成示例，其中给定输入的单词字符串，我们将预测下一个单词。我们将使用莎士比亚著名小说《麦克白》的原始文本，并根据给定的一系列输入单词来预测下一个单词。完成本文之后，您将能...

Python开发

Python教程

原创 2021-05-12 14:41:40 501 阅读

python使用MongoDB，Seaborn和Matplotlib文本分析和可视化API数据

原文链接：http://tecdat.cn/?p=8450介绍软件开发职位通常需要的技能是NoSQL数据库（包括MongoDB）的经验。本教程将探索使用API收集数据，将其存储在MongoDB数据库中以及对数据进行一些分析。我们将使用什么API？我们将使用的API是GameSpot的API。GameSpot是网络上最大的视频游戏评论网站之一，可以在此处访问其API...

Python开发

Python教程

原创 2021-05-12 14:41:39 188 阅读

python在Keras中使用LSTM解决序列问题

原文链接：http://tecdat.cn/?p=8461时间序列预测是指我们必须根据时间相关的输入来预测结果的问题类型。时间序列数据的典型示例是股市数据，其中股价随时间变化。递归神经网络（RNN）已被证明可以有效解决序列问题。特别地，作为RNN的变体的长期短期记忆网络（LSTM）当前正在各种领域中用于解决序列问题。序列问题的类型序列问题可以大致分为以下几类：一对一：其中有一...

Python开发

Python教程

原创 2021-05-12 14:41:37 719 阅读

Python数据可视化-seaborn Iris鸢尾花数据

首先介绍一下Iris鸢尾花数据集，内容摘自百度百科：Iris数据集是常用的分类实验数据集，由Fisher, 1936收集整理。“Iris也称鸢尾花卉数据集，是一类多重变量分析的数据集。数据集包含150个数据集，分为3类，每类50个数据，每个数据包含4个属性。可通过花萼长度，花萼宽度，花瓣长度，花瓣宽度4个属性预测鸢尾花卉属于（Setos...

Python开发

Python教程

原创 2021-05-12 14:41:10 896 阅读

python在Scikit-learn中用决策树和随机森林预测NBA获胜者

在本文中，我们将以Scikit-learn的决策树和随机森林预测NBA获胜者。美国国家篮球协会（NBA）是北美主要的男子职业篮球联赛，被广泛认为是首屈一指的男子职业篮球联赛在世界上。它有30个团队（美国29个，加拿大1个）。在常规赛期间，每支球队打82场比赛，每场41场。一支球队每年会有四次面对对手（16场比赛）。每个小...

Python开发

Python教程

原创 2021-05-12 14:41:09 426 阅读

python缺失值处理案例分析:泰坦尼克数据

缺失值处理真实数据往往某些变量会有缺失值。首先，我们用 info( ) 语句操作，看到整份数据的大概情况：　　titanic_df.info()从这份数据我们可以发现，这里一共有 891 行数据，所以在中间那一列数据中看到的不是 891 个数据的，都是有缺失值的。比如年...

Python开发

Python教程

原创 2021-05-12 14:41:08 404 阅读

Python用PyMC3实现贝叶斯线性回归模型

原文链接：http://tecdat.cn/?p=5263在本文中，我们将在贝叶斯框架中引入回归建模，并使用PyMC3 MCMC库进行推理。我们将首先回顾经典或频率论者的多重线性回归方法。然后我们将讨论贝叶斯如何考虑线性回归。用PyMC3进行贝叶斯线性回归在本节中，我们将对统计实例进行一种历史悠久的方法，即模拟一些我们知道的属性的数据，然后拟合一个模型来恢复这些原始...

Python开发

Python教程

原创 2021-05-12 14:41:07 1060 阅读

Python使用矩阵分解法找到类似的音乐

原文链接：http://tecdat.cn/?p=6054这篇文章是如何使用几种不同的矩阵分解算法计算相关艺术家。代码用Python编写，以交互方式可视化结果。加载数据这可以使用Pandas加载到稀疏矩阵中：# read in triples of user/artist/playcount from the input datasetdata = pandas...

Python开发

Python教程

原创 2021-05-12 14:41:06 149 阅读

python虎扑社区论坛数据爬虫分析报告

原文：http://tecdat.cn/?p=4115一、以下是摘自虎扑的官方介绍：虎扑是为年轻男性服务的专业网站，涵盖篮球、足球、F1、NFL等赛事的原创新闻专栏视频报道，拥有大型的生活/影视/电竞/汽车/数码网上交流社区，聊体育谈兴趣尽在虎扑。二、数据说明使用的数据来源：2018/1/1~1/19 两周半内虎扑论坛步行街各子版块的所有帖子，去除关注度极低的帖子，总数为...

Python开发

Python教程

原创 2021-05-12 14:41:04 389 阅读

Python时间序列选择波动率预测指数收益算法分析案例

原文http://tecdat.cn/?p=4092背景在传统的金融理论中，理性和同质的投资者是核心假设之一，表明每个投资者都有相同的信息，从而做出同样的决定。然而，投资者显然是不均衡的，信息的不对称在股市中很普遍。当知情投资者优先考虑某种类型的资产时，该类资产可能包含更多隐含信息。期权市场是知情投资者可能更积极参与的市场之一，正如布莱克在1975年提出的那样，让投资者倾向于以较高的...

Python开发

Python教程

原创 2021-05-12 14:41:03 374 阅读

Python用广义加性模型GAM进行时间序列分析

原文：http://tecdat.cn/?p=4130每当你发现一个与时间对应的趋势时，你就会看到一个时间序列。研究金融市场表现和天气预报的事实上的选择，时间序列是最普遍的分析技术之一，因为它与时间有着不可分割的关系 - 我们总是有兴趣预测未来。时间相关模型一种直观的预测方法是参考最近的时间点。今天的股价可能会比昨天的价格更接近五年前的价格。因此，在预测今天的价格时，我们会比最近...

Python开发

Python教程

原创 2021-05-12 14:41:02 730 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

拓端小助手