什么是数据分析？数据分析是用适当的方法对收集来的大量数据进行分析，帮助人们做出判断，以便采取适当行动。数据分析的流程：matplotlib :能将数据进行可视化，更直观的呈现使数据更加客观、更具说服力matplotlib：最流行的Python底层绘图库，主要做数据可视化图表，名字取材于MATLAB，模仿MATLAB构建。一、matplotlib折线图示例：from matplotlib impor
转载
2023-09-22 12:52:49
345阅读
MAT 简介MAT 工具是基于 Eclipse 平台开发的，本身是一个 Java 程序，是一款很好的内存分析工具，所以如果你的堆快照比较大的话，则需要一台内存比较大的分析机器，并给 MAT 本身加大初始内存，这个可以修改安装目录中的 MemoryAnalyzer.ini 文件。柱状图 在柱状图中，我们看到，其实它显示的东西跟 jmap –histo 非常相似的，也就是类、实例、空间大小。 但是 M
转载
2023-11-10 10:42:05
102阅读
前言近期刚接触到数学建模，而MATLAB是数学建模中一个非常重要的工具，所以对于数学建模来说是必不可少的，所以在这里做一个学习的笔记，方便以后查看，同时希望可以给以后想要学习MATLAB的读者提供一点个人线索。MATLAB概述关于MATLAB的相关概述，下面是一些资料：MATLAB是美国MathWorks公司出品的商业数学软件，用于算法开发、数据可视化、数据分析以及数值计算的高级技术计算语言和交互
转载
2024-01-18 21:02:23
92阅读
接上一篇ETL流程化处理数据,本篇基于ETL生成的数据进行清洗和分析…清洗不太会,没有洗衣粉,将就看HSQL吧,主要是开窗函数和优先级之间的关系,剩下的就是语法,就是干…MD数据格式请看上一篇 两个表 一个是use用户信息表,一个是content评论表,两个维度表 Table格式在这里 这个是Content表,words字段是评论区的内容,大部分都是以@分割的评论或转发内容,lotime字段是时间
转载
2024-01-16 22:28:07
70阅读
MACD是moving average convergence/divergence的缩写，其是技术分析中很常用的一个指标，其信号意义和双均线类似，只是MACD相对更精细和便与分析。 MACD指标由三部分构成：MACD线、信号线（signal line,MACD线的9日指数移动均线）、离差图（
转载
2024-01-15 20:26:21
161阅读
1.数据分析方法分类业务数据分析师（对数学建模的要求较低）、数据挖掘（对业务与数学建模的要求较高）、大数据分析（需要一定的编程能力）。层层进阶2.职位进阶3.数据分析结果数据可视化4.数据分析的流程在业务理解中要多问问题，了解需求，知道问题的核心。可以看书籍《学会提问》。5. 围绕数据分析师的三大类工作内容
原创
2022-04-15 21:35:17
1592阅读
不用任何公开参考资料，估算今年新生儿出生数量 解答：1）采用两层模型（人群画像人群转化）：新生儿出生数=Σ各年龄层育龄女性数量各年龄层生育比率 2）从数字到数字：如果有前几年新生儿出生数量数据，建立时间序列模型（需要考虑到二胎放开的突变事件）进行预测 3）找先兆指标，如婴儿类用品的新增活跃用户数量X表示新生儿家庭用户。Xn/新生儿n为该年新生儿家庭用户的转化率，如X2007/新生儿2007位为20
转载
2023-08-21 09:13:32
633阅读
当我们谈论IT服务管理（ITSM）世界中的大数据时，这里有两个非常不同的概念： • IT为业务提供的大数据工具/服务：对关键的业务运营数据进行数据索引。 • IT运营中的大数据：处理和利用复杂的IT运营数据。大数据中的业务运营服务在竞争日益激烈，数据驱动的世界中，企业管理者都在寻找能够有效管理和解释业务数据（尤其是大数据）的方法。数字化的业务操作，如：电子商务网站和银行移动APP，它们产生了大量的
转载
2023-10-03 08:52:17
206阅读
前段时间线上服务经常发生卡顿，经过排查发现是大对象引起的Fullgc问题,特此记录排查逻辑。
目录
• 目的
• 一、获得服务进程
• 二、生成dump文件
• 三、下载mat工具
• 四、使用mat工具导入第二步生成的dump文件
• 五、导入后得到如下界面
• 六、定位大对象（方法一）
• 七、定位大对象（方法二）
转载
2023-07-17 21:27:49
714阅读
一、简介一个实际的应用系统难免会出现问题。JVM能够实时的记录系统发生问题时JVM内部的运行状态，并将起存储在堆转储（Heap dump）文件中，dump文件为系统分析提供了重要依据。但是原始dump文件纯文本方式，难于理解，为了降低dump文件分析的复杂度，MAT（Eclipse Memory Analyzer）应运而生。MAT时公认的、强大的、“傻瓜式”堆转储文件分析工具。详细介绍见http:
1.Android 导出hprof到matmat工具：链接：https://pan.baidu.com/s/1lCi1ZKomRGjpT_D7kiZepg 提取码：sdvk 也可以https://www.eclipse.org/mat/ 通过官网下载1.1.Android studio生成hprof文件点击AS Profiler 这一项 点击下载按钮这一项， 堆转储界面点击红框处按钮 此时就生成
转载
2023-12-25 12:51:08
923阅读
大数据技术和数据分析有什么关系大数据经过多年发展形成了一个完整的产业链和技术链，大数据的产业链是围绕技术链来打造的，而大数据的技术链则围绕数据价值化这个中心来展开，涉及到数据的采集、存储、安全、分析、呈现和应用，那么大数据技术和数据分析有什么关系呢?1、从大数据的技术链来看：数据分析是其中的重要一环，也是目前大数据价值化的核心环节，所以很多人也把大数据就理解为数据分析了。虽然数据分析比较重要，但是
转载
2024-01-13 20:01:43
252阅读
2022年数据与分析有哪些新趋势？今年数据和分析主要趋势：1.激活多样性和活力使用自适应AI系统推动增长和创新同时应对全球市场的波动； 2.增强人员能力和决策以提供由业务模块化组件创建的丰富的、情境驱动的分析； 3.将信任制度化以大规模地实现数据和分析的价值。管理AI风险并实施跨分布式系统、边缘环境和新兴生态系统的互联治理。现在应该根据关键数据和分析技术趋势对于业务优先事项的紧迫性和匹配性来监测、
转载
2024-01-11 13:38:43
94阅读
二、数据预处理—数据清洗及特征处理我们拿到的数据通常是不干净的，所谓的不干净，就是数据中有缺失值，有一些异常点等，需要经过一定的处理才能继续做后面的分析或建模，所以拿到数据的第一步是进行数据清洗，本章将学习缺失值、重复值、字符串和数据转换等操作，将数据清洗成可以分析或建模的样子。1、缺失值观察、检索与处理载入库与数据1.1、观察：查看每一个特征缺失值的个数#方法一
pd.info()#方法二
df
转载
2024-08-26 00:02:59
108阅读
一个完整的数据分析流程，应该包括以下几个方面，建议收藏此图仔细阅读。（注：图保存下来，查看更清晰） 作为数据分析师，无论最初的职业定位方向是技术还是业务，最终发到一定阶段后都会承担数据管理的角色。因此，一个具有较高层次的数据分析师需要具备完整的知识结构。1. 数据采集了解数据采集的意义在于真正了解数据的原始面貌，包括数据产生的时间、条件、格式、内容、长度、限制条件等。这会帮助数据分析师更
转载
2023-08-24 14:56:23
215阅读
一、TuShare简介和环境安装 TuShare是一个著名的免费、开源的python财经数据接口包。其官网主页为：TuShare -财经数据接口包。该接口包如今提供了大量的金融数据，涵盖了股票、基本面、宏观、新闻的等诸多类别数据（具体请自行查看官网），并还在不断更新中。TuShare可以基本满足量化初学者的回测需求 环境安装：pip install tushare。如果是老版本升级，可以用升级
转载
2023-12-09 14:01:58
40阅读
做RFM分析的时候要知道RFM分析的数据格式有两种： 一种是交易数据，也就是每次交易占用一行，关键变量是客户ID、交易日期和交易金额； 另一种是客户数据，就是每个客户占用一行，关键变量是客户ID、交易金额、交易次数和最近交易日期。为了保证数据的准确性，建议采用交易数据格式进行分析，实际上交易数据是可以整理成为客户数据的，而客户数据是无法还原为交易数据的。我从我们后台导出来的就是客户数据，我这里
转载
2023-10-24 00:04:35
163阅读
统计杂碎记录PS: 记录一些自己平时遇到的数理统计概念，持续更新中，后续补充学习1. nested random intercept effects 建议参考：Visualizing Nested and Cross Random Effects2. 方差膨胀因子Variance Inflation Factor (VIF) 这个概念呢其实在做PCA, RDA或者其它类似的分析时可能会用到。 首先
转载
2023-12-22 22:15:08
148阅读
究竟什么是数据分析师？其定位和价值是什么？近年来互联网经济的蓬勃发展可谓给数据大规模累积提供了沃土，专家大拿们对大数据技术与应用的讨论和研究热度不减，对数据中隐含的深层价值及其应用的重视程度越来越高，更多人开始注重视量化分析、科学及高效地决策，这个过程中越来越多的企业就产生了对专业化的分析人才的需求。简单通用地讲，数据分析师是一类能够在建立明确分析目标基础上对数据进行搜集、加工、分析并挖掘出有价值
转载
2023-11-17 19:14:06
265阅读
注：部分文字来自官网，感觉翻译过来就变味了，所以直接上英文了。 谷歌分析(Google Analytics,以下简称GA)，按我的理解就是谷歌提供的一个数据分析统计的平台。 GA除了进行传统的网页统计之外，现在也支持对移动应用的统计和分析了， Google Analytics 发布的
