很多同学抱怨：自己东做一点，西做一点，没有见过完整的数据分析体系是啥样？实际上早在10年前， 很多大型银行就已经建立了很完善的数据分析体系，只是因为行业特殊性，导致外人知道的不多。今天跟大家详细介绍一下。一、建设的出发点满足业务需求，是建设数据分析体系的出发点，也是最终目的和最高要求。要注意的是，“业务需求”并没有统一的标准。不同部门，不同身份的人，需求是不一样的。从大的方面看，可以分作三个层级：
转载
2023-10-13 22:29:40
11阅读
摘要在做数据分析的过程中，经常会想数据分析到底是什么？为什么要做数据数据分析？数据分析到底该怎么做？等这些问题。对于这些问题，一开始也只是有个很笼统的认识。最近这两天，读了一下早就被很多人推荐的《谁说菜鸟不会数据分析》这本书。发现对这些问题讲的还是比较透彻，随后宝器对这本书的核心内容做了一个笔记。说明：笔记主要以思维导图的方式呈现。目录一、数据分析概述数据分析指用适当的统计分析方法对收集来的大量数
转载
2024-04-11 11:39:05
27阅读
a数据分析不仅是一个岗位名称，也是一项通用的职场技能。“数据调研”、“数据监控”、“数据复盘”、“数据总结”、“数据驱动业务”…… 都是贯穿我们互联网人日常工作的高频词汇。处处需要数据佐证，分析师以外的产品、运营同学同样需要会分析、懂分析。 今天我们就来聊一聊数据分析基础知识—构建分析框架。搜索查询“数据分析框架”相关内容，大家通常能够看到资深从业者介绍的通用框架模型，比如：“用户分析的3种分析
转载
2023-08-15 21:30:14
201阅读
大家都知道，数据分析师一门比较高深的学问，并且对于各行各业都有一个很大的帮助。但是大家知道不知道数据分析的数据架构知识呢？数据架构的知识有很多，下面就由小编为大家解答一下这个问题，希望这篇文章能够给大家带来帮助。就目前而言，很多的数据分析工作都是做的是隐藏工作，说白了就是隐藏在业务系统背后，但是具有非常重要的作用，数据分析的结果对决策、对业务发展有着举足轻重的作用。就目前而言，数
转载
2023-08-12 18:14:56
51阅读
作为一名优秀的数据分析师，既需要不断了解和掌握数据分析方法，同时还需要学习和熟练使用数据分析软件，毕竟借助工具既可以确保数据分析结果的价值，同时也能提升效率，接下来小编带你了解下目前常见的大数据分析软件有哪些：目前常见的大数据分析软件有哪些？1、Hadoop Hadoop是最流行的软件框架之一，它为大数据集提供了低成本的分布式计算的能力。使Hadoop成为功能强大的大数据工具之一的因素是其分布式文
转载
2023-09-14 17:02:41
43阅读
数据分析和数据挖掘，是大数据应用的核心技术，也是大数据应用的关键所在。数据分析重要，但是，很多时候却不知道该如何去做，面对大量的数据，却无从下手。概括起来，经常面临的困难有：分析目的不明确分析方法不清晰分析过程不清晰分析思路不完善解读数据能力差1、 不知道要分析什么？（分析目的）不知道要分析什么，也就是分析目的不明确。经常有学员告诉我，领导给了一大堆数据给我，要我分析一下，但我不知道要分析什么？除
转载
2023-11-02 10:49:16
51阅读
我们在前面的文章中提到了BI系统，从文章中我们不难发现BI系统处理数据的时候都是很有效的，但是当数据量过大的时候，我们系统的性能就会弱了很多。当然了，如果我们处理的数据在TB或者TB以上的数据量的时候，这个系统根本就不能够正常运行，所以，我们就需要解决这个问题。大家都知道数据库的规则是有很多的，数据库的规则，能够解决数据冗余的问题，是为了保障数据的一致性。但是对于数据仓库来说，
转载
2023-11-25 13:59:27
30阅读
Spark?英文是电火花、火星，可以做动词，发出火星··· 停，干哈，英语知识讲座？你好，再见。 少侠留步，这不百度说的嘛，我再看看，找到了： “Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架~” ··· ·· 说人
转载
2023-12-26 20:16:05
31阅读
数据分析离不开， 计量和记录一起促成了数据的诞生 。伴随着数据记录 。伴随着数据记录 的发展 （尤其是技术） （尤其是技术） （尤其是技术） ， 人类受益也越来多， 人类受益也越来多， 人类受益也越来多， 人类受益也越来多计算机 出现带来的 出现带来的 数字测量， 数字测量， 更 加大 的提高了数据化的效率。 提高了数据化的效率。 提高了数据化的效率。 人
转载
2023-08-30 12:39:26
84阅读
01模型背景&问题1. 整体情况首先介绍淘系的整体数据背景。淘系的数据中台成立至今已有7年左右，一直未作数据治理，整体数据生成构成比为：人工创建（22%）+机器生成78%。其中活跃数据占比：9%，不规范数据占比：21%。数据活跃以倒三角形状分布，整体分布比例为ads:dws:dwd:dim=8:2:1:1，分布还算合理。上图中下半部分是模型的生命周期，增长和留存情况。淘系的业务还属于快速变
转载
2023-07-21 14:38:11
299阅读
一、建设的出发点满足业务需求，是建设数据分析体系的出发点，也是最终目的和最高要求。要注意的是，“业务需求”并没有统一的标准。不同部门，不同身份的人，需求是不一样的。从大的方面看，可以分作三个层级：1、战略级：能决定公司整体方向的高级管理层2、战术级：决定一个具体职能工作的管理层（销售、运营、产品、售后……）3、战斗级：没有决定权，只有执行权的一线部门（业务员/客服/审核员/仓管员……）这三类人，需
转载
2023-08-31 21:14:35
8阅读
大数据分析平台作为大数据应用最前沿的技术，一直受到人们的期待和关注。大数据分析平台能承载从数据提取到数据价值变现过程中所有功能。而在这个过程中，有三个方面值得关注和重点发展。 数据清洗功能 在大数据应用技术中，前端的数据清洗功能远比我们想象的更重要。没有好的清洗自然也不可能有后续的数据建模和数据挖掘。数据清洗功能不仅受技术发展的限制，也和数据类型以及数据量息息相关。
转载
2023-07-07 20:38:54
84阅读
大数据系统应该包含的功能模块，首先是能够从多种数据源获取数据的功能，数据的预处理(例如，清洗，验证等)，存储数据，数据处理、数据分析等(例如做预测分析，生成在线使用建议等等)，最后呈现和可视化的总结、汇总结果。 大数据系统的这些高层次的组件： 1、各种各样的数据源 当今的IT生态系统，需要对各种不同种类来源的数据进行分析。这些来源可能是从在线Web应用程序，批量上传或feed，流媒体直播
转载
2023-08-30 13:18:49
199阅读
数据分析体系可分为数据整理、数据分析、数据呈现。数据整理包含对源数据的获取、筛选、清洗、整理和统计，数据整理是对源数据的初加工，是数据分析工作的前置。数据分析是运用数据分析的工具，根据自己的目的，对数据进行深层次的挖掘和分析，找出内在的联系和变化；数据呈现是对分析的结果进行呈现，大部分是通过专业图表来展示，是数据分析报告的重要组成部分，也即是数
转载
2024-01-15 19:45:59
93阅读
作者：刘天01 为什么需要数据分析体系在很多不成熟的公司中，虽然也有使用数据去验证产品的思路，但是他们在实际工作中往往是这样取用数据的：产品部同事找到数据分析师，问他昨天刚上线的版本用户点击率是多少。运营部同事找到数据分析师，问他前两天上线的拉新活动是否带来了用户量的增加。领导找到数据分析师，问他这两天的订单量是否有所增长，上月额环比增长是多少。可见，各个岗位都会有自己的数据需求，所以数据分析
转载
2023-08-15 16:02:29
11阅读
数据科学的框架分为三部分：底层技术框架/数据分析框架/工具选择框架
在搭建知识大厦之前，先需要建立知识的框架，然后才能高效的填充知识。所以本文主要跟大家分享如何建立框架。先看下数据科学的世界观，参考下面的思维导图：有了世界观，我们可以开始搭建自己的知识大厦了。在搭建知识大厦之前，先需要建立知识的框架，然后才能高效的填充知识。所以今天我们先建立框架。数据分
转载
2023-07-29 22:31:22
182阅读
# 传统数据分析架构科普
随着信息技术的快速发展，数据已成为各个领域的重要资产。为了高效管理和分析数据，许多企业和机构建立了传统数据分析架构。这种架构主要包括数据获取、数据存储、数据处理和数据可视化等多个步骤。本文将详细探讨传统数据分析架构，并提供相应的代码示例，帮助读者更好地理解这个过程。
## 1. 数据获取
数据获取是数据分析的第一步。通常，数据可以来自不同的来源，包括数据库、文件、A
# 数据分析BI架构实现指南
## 1. 整体流程概述
为了实现数据分析BI架构，我们首先需要了解整个流程，然后逐步实施每个步骤。下面是实现数据分析BI架构的流程表格：
```mermaid
gantt
title 数据分析BI架构实现流程
dateFormat YYYY-MM-DD
section 设计
确定需求 :done, 20
原创
2024-04-28 03:53:02
42阅读
结构分析法／拆解法／拆分法 多种叫法。何为结构？一般把构成整体的各个部分叫：结构。比如一家综合企业：小熊公司，有3条业务线（天猫店、实体店、小程序商城）同时在开展。则总业绩就是有天猫店业绩、实体店业绩、小程序业绩三部分构成的。这就是总业绩的结构。注意：总业绩的结构可能不止一种分类方式。比如，小熊公司有普通、黄金、钻石三档次会员，则总业绩=普通会员业绩+黄金会员业绩+钻石会员业绩；小熊公司有300款
转载
2023-07-21 23:03:35
81阅读
技术分析的前提假设技术分析的主要目的就是根据历史的价量数据来预测未来的价格趋势。任何人都可以根据一些技术指标工具来对投资做决策。但是我们不能认为这些工具得出的结论是不可靠的。技术分析工具已经被广泛应用长达一个世纪，人们根据过去的经验和长时间的观察总结得出的一套行之有效的工具。日本的交易员们最开始使用蜡烛图作为交易工具。这算是迄今为止最古老的技术分析工具了。现在有了计算的帮助，交易员们不但改良了一些
