离线数仓和bi开发的实践和思考背景什么是数据仓库分层设计维度建模低代码平台做什么？理想vs现实，数仓实践中踩坑以及思考 背景笔者在来唯品会之前主要的工作内容主要是依托于公司自研的bi低代码平台进行报表、图表开发工作，在此基础上做产品化的探索。因此在离线数仓建模和开发有过一些实践，也有一些思考，在此尝试做一点简要的梳理。什么是数据仓库首先先简单说明一下，什么是数据仓库。数据仓库是一个数据存储的集合
转载
2024-01-27 19:34:45
54阅读
大体方向为 临时提数-->报表系统及数据仓库建设-->自助数据分析平台-->数据应用 此方向是根据其基础性进行排序,非固定顺序, 如在临时提数阶段,也可以建设数据仓库,提高临时提数的质量与速度. 临时提数: 在初期, 因无一个成熟的报表系统,故业务部门会有很多日常数据需求, 此时BI会做很多临时提数需求.在这个过程
转载
2023-07-07 10:58:13
121阅读
数据仓库究竟是什么？它和事务交易处理系统（OLTP）又有什么区别？初次接触它的朋友往往觉得它很神秘、很复杂，其实不然。今天就和大家来认识一下数据仓库的本质，以及在实施商务智能过程中它的一些设计技巧。 Ralph Kimball，数据仓库（Data Warehouse，DW）领域最权威的专家之一，曾下过这样的结论：BI系统=数据仓库。或许这
转载
2023-08-18 21:14:06
326阅读
BI是Business Intelligence的英文缩写，中文解释为商务智能，用来帮助企业更好地利用数据提高决策质量的技术集合，是从大量的数据中钻取信息与知识的过程。简单讲就是业务、数据、数据价值应用的过程。传统的交易系统完成的是Business到Data的过程，而BI要做的事情是在Data的基础上，让Data产生价值，这个产生价值的过程就是Business Intelligence analy
转载
2023-11-25 14:32:25
69阅读
如果把商业智能（BI）比喻成一个房子，那么数据仓库就是它的地基。一句话总结：数据仓库是BI背后的引擎。 数据仓库：从字面意义上即数据的仓库，是为了把操作型数据集成到统一的环境中，以提供决策型数据访问。数据仓库关注的是解决数据一致性，可信性，集合性.......这些问题，把越来越复杂的业务数据转化成对于业务运营、业务分析来说简单易用的数据形式。数据仓库的终极目标是让数据应用人员(无论是CE
转载
2024-01-11 13:18:17
122阅读
一、什么是数据仓库数据仓库,最早由比尔·恩门（Bill Inmon）于1990年提出,主要功能是将组织或企业里面的联机事务处理(OLTP)所累积的大量数据，透过数据仓库理论所特有的储存架构，进行系统的分析整理，以利于各种分析方法如联机分析处理(OLAP)、数据挖掘(Data Mining)的进行，并进而支持如决策支持系统(DSS)、主管信息系统(EIS)的创建, 帮助决策者能快速有效的从大量数据中
转载
2023-11-06 13:07:42
70阅读
用我自己通俗的语言和你说的简单些其实它们都是具体的某种数据库（比如说oracle，informix它们的实例）
－－数据库用来存储业务数据
－－而数据仓库用来存储数据库的导出数据（通过ETL自动抽取、定时调度）
它们的最终目的是：企业管理者的决策支持与分析。
往高了谈，现在时兴的BI正包括数据库、数据仓库、ETL所有的知识，但它其实并不是一门新的知识。
以下是学术界对DW和BI的研究
转载
2023-11-20 23:44:19
52阅读
数据中台的数据仓库和商业智能BI的数据仓库本质上没有任何区别，都是在底层业务系统数据源和上层应用之间做了一个隔离层，进行上下两层的解耦合。从数据分析应用角度来讲，不管是大数据还是小数据，都是把业务系统中不规范、不规则的、不可分析的数据变成规范、规则、可分析的数据过程，都是把描述业务过程的数据模型变成描述业务分析数据模型的转换过程。不管你是做大数据、数据中台还是商业智能BI，只要实现数据仓库，本质过
转载
2024-01-02 22:11:03
89阅读
数据仓库是面向分析的,数据库是面向事务处理. 数据仓库的数据是基本不变得,而数据库的数据是由日常的业务产生的,常更新 数据仓库的数据一般有数据库的数据经过一定的规则转换得到得 数据仓库主要用来分析数据,一般是tb级的的数据,比如决策支持系统,数据挖掘等.--------------------------关于数据仓库------------------------------------一．
什么是BI:即商业智能（Business Intelligence），是指通过对数据的收集、管理、分析以及转化，使数据成为可用的信息，从而获得必要的洞察力和理解力，更好地辅助决策和指导行动。BI 使得企业的决策者能够对企业信息进行有效、合理地分析和处理，为决策提供可靠的依据。BI应用包括决策支持、查询和报表、联机分析处理OLAP、统计分析、预测和数据挖掘等活动。什么是ETL:ETL(Extract
转载
2023-10-17 19:29:01
86阅读
在这个信息爆炸式增长的时代，挖掘数据的潜在价值尤为重要，越来越多的人将目光聚集于商务智能BI领域。通过数据分析软件对来自不同的数据源进行统一的处理和管理，并以灵活的方式展示数据之间的联系，辅助企业进行决策。在BI越发重要的今天，如何学习BI应用并熟练掌握它呢？总结一下，大致需要从五个方向着手：1）学习数据库知识，掌握基础技能sql直白来讲，BI就是玩数据的，从数据中获取各种所需信息。因为BI的出发
转载
2024-08-26 07:44:15
55阅读
简介商业智能（BI，Business Intelligence）。BI（Business Intelligence）即商务智能，它是一套完整的解决方案，用来将企业中现有的数据进行有效的整合，快速准确的提供报表并提出决策依据，帮助企业做出明智的业务经营决策。商业智能的概念最早在1996年提出。当时将商业智能定义为一类由数据仓库（或数据集市）、查询报表、数据分析、数据挖掘、数据备份和恢复等部分组成的、
转载
2024-05-20 15:36:27
21阅读
数据，对一个企业的重要性不言而喻，如何利用好企业内部数据，发挥数据的更大价值，对于企业管理者而言尤为重要。作为最传统的数据应用之一，数据仓库在企业内部扮演着重要的角色，构建并正确配置好数据仓库，对于数据分析工作至关重要。一个设计良好的数据仓库，可以让数据分析师们如鱼得水；否则可能使企业陷入无休止的问题之中，并在未来的企业竞争中处于劣势。随着越来越多的基础设施往云端迁移，数据仓库是否也需要上云？上云
转载
2024-01-11 11:42:51
64阅读
前端时间，使用阿里云MaxCompute做数据仓库，处理大数据的分析处理，整理一下数据仓库的基础理论。BI（Business Intelligence 商业智能）的作用 操作性数据特点：细节化，分散化； 决策性数据：综合化，集成化； 企业对应用继承的需求：1，实时监控；2，决策支持；3，预测； 现有应用系统无法达到企业的要求：1，数据分散；2，数据不兼容；3，系统应用孤立； BI： 1，通过集成
转载
2023-07-27 18:09:12
114阅读
平时和朋友聊天，一谈到商业智能BI总是离不开数据仓库，有很多人不太明白数据仓库到底在商业智能BI项目中有什么作用，对数据仓库的作用有些争论，所以今天来聊聊数据仓库，探讨下数据仓库的真正用处。数据仓库的本质数据仓库的本质就是完成从面向业务过程数据的组织管理到面向业务分析数据的组织和管理的转变过程，也是商业智能BI中数据仓库的主要作用。商业智能BI数据仓库中，业务过程数据的组织管理实际上就是由各种业务
转载
2023-08-28 10:55:07
97阅读
一、简介 数据仓库(Data Warehouse,DW)由两个主要部分构成:首先是一个整合的决策支持数据库,其次是用于收集、清洗、转换、存储来自于各种操作型数据源和外部数据源数据的相关软件程序。两者结合以支持历史的、分析的和商务智能(Business Intelligence,BI)的需求。一个数据仓库也可能包括若干相关的数据集市,它们都是数据仓库数据库的子集副本。从广义上说,用于为商务智能提供
转载
2023-06-09 15:20:22
323阅读
数据仓库的概念与体系结构前言数据管理技术的发展人工管理阶段文件系统阶段数据库系统阶段数据库技术与分析性应用结合的问题数据仓库的基本概念元数据数据粒度数据模型ETL数据集市数据仓库的特点数据仓库的组成 前言任何企业都希望在如今严峻的市场竞争中利用全面的数据分析能力来获得更大更持久的竞争优势。例如，银行希望知道如何有效规避信贷风险、发现欺诈和洗钱等不合法行为；电信公司希望知道如何对市场业务的发展和竞
转载
2023-07-30 09:05:55
94阅读
Table of Contents 一：数据仓库1.1 概述1.2 维度建模1.2.1 星型模型 1.2.2 雪花模型 1.2.3 事实星座模型1.2.4 三种模型对比 1.3 事实表和维度表二：商业智能（BI） 三：OLAP 3.1 什么是OLA
转载
2023-08-24 13:01:10
240阅读
前言: 至于数据仓库架构该怎么建, 怎么优化, ETL怎么设计, 维度模型设计技巧等, 不在此讨论范围, 独立的讨论对于BI从业者来说如同天书, 不会有太多的感受和深入理解的, 因为太抽象, 很难与实际项目相结合. 另外关于数据仓库构建是"数据驱动", 还是"业务驱动", 通过本文会有一些见解.企业数据的整合与历史信息的存储; 二是支持BI的应用,所以数据仓库中有太多理论, 都是以围绕实
转载
2023-09-17 15:09:08
91阅读
一、BI 商业智能（Business Intelligence，简称：BI），又称商业智慧或商务智能，指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。 商业智能的概念在1996年最早由加特纳集团（Gartner Group）提出，加特纳集团将商业智能定义为： ...
转载
2021-10-09 09:37:00
355阅读
2评论
