不管是哪个行业，当前处于任何阶段的产品经理，躲不开的一个词便是：数据分析。提到数据分析，它一般会出现在以下的场景中：做版本规划的时候，如何设立指标来进行功能验证？功能上线后，如何做数据复盘？如何通过数据来快速定位问题？在众多的数据中如何识别哪些是需要呈现的重要数据？......像大多人一样，几年前我也是试图寻求各种数据分析的书籍来找解决方案，在翻看了十几本数据分析的书后，结论如下：没想到这个行业发
先了解下excel版本区别 excel2003excel2007及以上后缀.xls.xlsx结构二进制格式xml数据结构特点存储容量有限xml压缩，占用空间小，操作效率高 可以看到2007及以上版本为xml数据结构，对后续海量数据处理起到关键作用。apachePoi官方对excel2007使用xssf对象，可以分为三种模式：用户模式：有很多封装的方法，但非常耗内存事件模式：基于
转载
2024-07-12 15:12:02
61阅读
最近的一项工作内容是比对数据，在这里把主要的一些思考过程和思路整理一下。 工作的目标是比对源数据和目标数据，逐字段逐条记录比较，找出不同的字段以及缺少的记录。由于数据量比较庞大，大约有七百多万条，源数据和目标数据分别是以文本方式来存储，因为数据量大，所以源数据和目标数据都会被拆分成多个文件，比如源数据会拆分成4个文件，目标数据可能会拆分成7个文件，每个文件可能都会有几十兆的大小，当然源数据和
转载
2024-05-20 22:22:27
71阅读
处理百万级以上的数据提高查询速度的方法： 1.应尽量避免在 where 子句中使用!=或<>操作符，否则将引擎放弃使用索引而进行全表扫描。 2.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 3.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，
转载
2024-07-27 22:11:45
221阅读
1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。
2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：
select id from t where num is null
可以在num上设置默认值0，确保表中num列没有null值，然后这样查询：
select id fro
在当今数据驱动的世界中，企业不断面对PB级数据分析的挑战。PB级数据不仅指数量庞大，更意味着业务决策的复杂度、数据处理的多样性以及信息提取的时效性。掌握PB级数据分析是推动企业发展的关键，因此，理解如何有效处理这些数据，能够显著提升企业的业务影响。
### 背景定位
在数据丰富的环境中，PB级数据分析的业务影响主要体现在决策效率和精准度的提升。通过对海量数据的深入分析，企业能够更加清晰地了解市
1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。
2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：
select id from t where num is null
可以在num上设置默认值0，确保表中num列没有nu
转载
2023-12-06 17:07:58
64阅读
# TB级数据分析：从数据挖掘到见解
随着数据获取技术的迅速发展，大量的数据被生成和存储，使得TB（千兆字节）级数据的分析成为一种必然的趋势。数据的规模不仅体现在存储空间，也体现在分析数据所需的计算能力上。如何有效地分析TB级数据，将成为企业和研究机构的一大挑战。
## 什么是TB级数据？
TB级数据是指大小在一个TB（1TB = 1024GB）的数据集合。随着社交媒体、物联网、电子商务等领
原创
2024-08-28 07:42:18
253阅读
刚体变换只有物体的位置和朝向发生改变，而形状不变，也就是只进行平移变换和旋转变换。射影变换（Projective Transformation）定义：由有限次中心射影的积定义的两条直线间的一一对应变换称为一维射影变换。由有限次中心射影的积定义的两个平面之间的一一对应变换称为二维射影变换。性质：交比不变性如果平面上点场的点建立了一个一一对应关系，并且满足： &nbs
OceanBase是阿里开发的分布式关系型(SQL)数据库，其目标是支持数百TB的数据量以及数十万TPS、数百万QPS的访问量，无论是数据量还是访问量，即使采用非常昂贵的小型机甚至是大型机，单台关系数据库系统都无法承受。案例：OceanBase分布式关系数据库渡过了一个成功的双十一：支持了支付宝核心的交易、支付、会员和账务等，并且创造了新的纪录：交易创建17.5万笔/秒、交易支付12万笔/秒、全天
转载
2023-08-31 21:16:30
410阅读
Spark大数据分析框架的核心部件Spark大数据分析框架的核心部件包含RDD内存数据结构、Streaming流计算框架、GraphX图计算与网状数据挖掘、MLlib机器学习支持框架、Spark SQL数据检索语言、Tachyon文件系统、SparkR计算引擎等主要部件。这里做一个简单的介绍。
一、RDD内存数据结构大数据分析系统一般包括数据获取、数据清洗、数据处理、数据分析、报表输出
转载
2023-11-19 08:49:56
59阅读
一、Java 通过hutool工具类ExcelWriter 导出运用到多线程分页查询这个采用的是Java的utool工具类ExcelWriter 导出踩过一些坑，尽量用一条sql 将所有数据查询出来，否则再循环时查询会随着表数据的增大查询速度会成倍增加，所以建议用一条sql把查询出结果。实测21列1.1w 多条数据查询 4067ms左右。还可以进一步优化。1.大量数据导出，先调整一下前端请求的re
转载
2024-02-27 12:11:38
377阅读
1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如： select id from t where num is null 可以在num上设置默认值0，确保表中num列没有null值，然后这样查询：&nbs
转载
2023-09-16 07:20:25
159阅读
一个项目到了汇总的时候，免不了形成一份相对完整的数据分析报告。报告也需要多种情况。按照应用场合可以划分多种类型：有的需要向上邮件汇报，有的需要给项目组里一个交代，有的是需要直接进行展示汇报等。按照项目类型也可以划分多种类型：新项目上线效果评估，AB test结果，日常数据汇总，活动数据分析等。文本也好，PPT也罢，数据分析报告核心的思路都是相通的。1. 你要一个故事我自己有个想法，就是产品经理应该
转载
2024-05-16 04:50:21
57阅读
我们在前面的文章中给大家介绍了数据分析报告概况、数据分析报告的类型、数据分析报告的特点与结构。但是只是知道这些知识是不够的，我们在进行撰写数据分析报告的时候还需要做好一些其他工作的。今天我们给大家详细讲解一下数据分析的分析思路和框架。下面就由小编为大家解答一下这个问题，希望能够给大家带来帮助。首先给大家说一说分析思路与框架。对于数据分析师来说，分析思路是数据分析的核心部分。那么分析的思路是什么呢
转载
2023-11-28 15:49:19
50阅读
波西格在《禅与摩托车维修艺术》一书中说“一旦你遇到了真正的难题，试过了所有的办法，绞尽了脑汁仍然没有任何进展，你就会知道这回你和老天爷较上劲了，于是你祭出正式的科学方法”。分析思维框架：1.明确目标1.1分析对象：确定分析对象、定义该对象、确定对象衡量标准1.2分析目的：原因、目标受众、最终收益1.3分别目标：原因定位、认知迭代、方案调整、战略升级2.界定问题1.1准确描述问题1.2结构化梳理问题
转载
2023-10-19 11:34:50
65阅读
1.对查询进行优化，要尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如： selectidfromtwherenumisnull 最好不要给数据库留NULL，尽可能的使用 NOT NULL填充数据库. 备注、描述、评论之类的可以设置为 NULL，
转载
2024-05-16 04:45:38
185阅读
1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：select id from t where num is null可以在num上设置默认值0，确保表中num列没有null值，然后这样查询：select id from t wh
转载
2023-08-08 19:51:46
332阅读
译者序原文于2017年6月21日发布，时过半载，将这篇既不是教程，也不是新闻的产品发布稿做了一番翻译，为何？只因去年下半年的时候，用R语言的博哥和龙少有Shiny这样的框架可以开发交互式整合Web数据分析报告，让我这个成天鼓吹用Python做数据分析的人眼馋不已。当时找了很久，试用了包括Bokeh、mpld3、Highcharts，以及键冬同学（Python中文社区专栏作者，GitHub开源项目P
数据分析的思维框架，那么今天课课家，就一步一步的教大家怎么建立，大神路过还请绕道，当然还可以交流一下。有需要的小伙伴，可以参考一下。 曾经有人问过我，什么是数据分析思维?如果分析思维是一种结构化的体现，那么数据分析思维在它的基础上再加一个准则： 不是我觉得，而是数据证明。 这是一道分水岭，“我觉得”是一种直觉化经验化的思维，工作不可能处处依赖自己的直
转载
2023-12-28 06:33:36
17阅读
