随着大数据时代的到来，对海量数据进行数据分析，并依据分析结果进行精细化运营成为各大企业的重要课题。但大数据行业门槛高，自建平台成本高、难度大、效率低，因此企业越来越需要专业的大数据分析工具。针对市场需求，数数科技基于Hadoop、Presto、Kudu、Kafka等底层大数据组件，研发了一套企业级的海量数据即席分析系统——Thinking Analytics，简称“TA系统”。TA系统颠覆了传统的
转载
2023-07-11 21:22:27
235阅读
在开始介绍大数据平台通用架构之前，我们回顾下20世纪传统系统架构特点是哪些？简单介绍下传统架构特色：1、视图与业务分开；视图层负责交互UI，业务模型层负责业务实现，逻辑控制负责程序内部功能调度；三层结构分划明显，耦合性高。这种架构沿用至今，只是目前的架构中更喜欢考虑松耦合、高内聚（偏向接口适配广的产品化组件），同时过去的传统RDMS数据库已经无法满足低时延，高并发的产品需求。那么我们同样按照MVC
转载
2023-07-16 19:43:21
95阅读
Hadoop 起源于Google Lab开发的Google File System （GFS）存储系统和MapReduce数据处理框架。2008年，Hadoop成了Apache上的顶级项目，发展到今天，Hadoop已经成了主流的大数据处理平台，与Spark、HBase、Hive、Zookeeper等项目一同构成了大数据分析和处理的生态系统。Hadoop是一个由超过60个子系统构成的系统集合。实际使
转载
2023-07-20 20:11:01
165阅读
Hadoop一、入门1、大数据定义2、Hadoop 入门概念①Hadoop是什么？②Hadoop发展历史③Hadoop的三大发行版本④Hadoop的优势⑤Hadoop的组成 （重点）⑥大数据技术生态体系⑦推荐系统案例3、模拟虚拟机准备①安装`epel-releaes`②安装`net-tools`③关闭防火墙,关闭防火墙开自启④创建atguigu用户，并修改atguigu用户的密码⑤配置atgui
转载
2023-09-07 09:41:47
129阅读
点击0元报名后领取>>>软考18本电子版教材 & 15个科目知识点速记 + 17套历年真题试卷 + 80篇软考优秀论文6G资料包 整个系统生命周期是以项目规划作为起点的，这个阶段需要做的是:评估组织本身是否具备实施商业智能的条件，确定系统的规模和范围，规划各种资源并启动项日。 第二步是进行企业需求定义。一个商业智能项目的成功不是取决于技术，而是取决于它是否
转载
2023-08-10 12:59:23
173阅读
第5章 数据采集、传输、交换、同步服务5.1 数据交换服务场景和常见开源方案数据交换：不同系统之间传输和同步数据。1 、大数据平台数据交换服务业务场景 1）场景：数据采集到大数据平台-大数据平台回写或导出到业务系统-大数据开发平台组件间 2）常见数据源：关系型数据库：比如MySQL、Oracle……文件类：比如log、CSV、Excel等消息队列类：比如Kafka和各种MQ各类大数据相关组件：HD
转载
2023-09-19 07:09:18
39阅读
最近看了一本《大数据系统构建》的书，发现之前对于Lambda架构的理解还是不够深入和清晰。之前对Lambda架构的理解Azure文档上有一张Lambda架构的图，同时也配有对Lambda架构最基本的理解：批处理层（冷路径）以原始形式存储所有传入数据，对数据进行批处理。 该处理的结果作为 批处理视图 存储。
速度层（热路径）可实时分析数据。 设计此层是为了降低延迟，但代价是准确性也会降低。当初看L
转载
2024-09-20 19:57:10
42阅读
BI(Business Intelligence)，中文翻译是商务智能，是一套完整的解决方案，用来将组织中现有的数据进行有效的整合，快速准确的提供报表并提出决策依据，帮助组织做出明智的业务经营决策。大数据(Big Data)是从收集的海量数据中，通过算法将这些来自不同渠道、格式的数据进行直接分析，从中寻找到数据之间的相关性。简单而言，大数据更偏重于发现，以及猜测并印证的循环逼近过程。 不管定
大数据是指大数据集，这些数据集经过计算分析以揭示与数据的某个方面相关的模式和趋势。首先，还是要重新审视大数据的定义。行业里对大数据的定义有很多，有广义的定义，也有狭义的定义。 大数据的分析与挖掘，把数据盘活，让数据说话，发挥大数据的价值，使企业具有更强的决策力、洞察发现力和流程优化能力来适应海量、
转载
2020-11-03 23:31:00
369阅读
2评论
随着数字化时代的到来，数字经济已经以极高的增长速度取代传统经济成为当下国民经济的重要支柱，为了在新兴数字市场竞争中取得优势，国企和央企率先公布了数字化转型规划，提前进入以用户为中心，创建或重塑一种新的商业模式，进迈入商业创新的路径。企业进行数字化转型过程中，因为数字化建设的需要，商业智能BI成为了火热的市场宠儿，这种火热还因为企业的应用得到了高度的评价。随着数字化领域的日新月异，越来越多的企业开始
转载
2023-07-24 21:13:17
372阅读
数据分析工作虽然隐藏在业务系统背后，但是具有非常重要的作用，数据分析的结果对决策、业务发展有着举足轻重的作用。随着大数据技术的发展，数据挖掘、数据探索等专有名词曝光度越来越高，但是在类似于Hadoop系列的大数据分析系统大行其道之前，数据分析工作已经经历了长足的发展，尤其是以BI系统为主的数据分析，已经有了非常成熟和稳定的技术方案和生态系统，对于BI系统来说，大概的架构图如下：可以看到在BI系统里
转载
2023-07-10 11:45:11
334阅读
随着很多企业规模越来越大，逐步健全了ERP、POS、CRM、OA等IT系统，沉淀了海量的数据资源，如果还是从单一系统来看数据，对于最高决策层来说，就很难全局了解整个公司的整体运营情况，这时，企业对BI的需求就应运而生。BI是一个复杂的系统，涉及到技术的方方面面，而对于企业要实现的功能来说，主要包括数据集成、数据可视化、数据分析等功能。国外的BI厂商更倾向于做BI功能中的某一点，比如专门做可视化，而
转载
2023-07-13 17:32:22
383阅读
目录1 大数据体系架构图2 数据采集层3 数据计算层4 数据服务层5 数据应用层 1 大数据体系架构图2 数据采集层阿里的的日志采集包括两大体系： Aplus.JS是Web端的日志采集技术方案，UserTrack是APP端的日志采集技术方案；在采集技术基础上，阿里用面向各个场景的埋点规范，来满足通用浏览、点击、特殊交互、APP事件、H5及APP里的H5和Native日志数据打通等多种业务场景；同
转载
2023-09-26 12:11:26
98阅读
文章目录1. 独立数据集市架构2. 辐射状企业信息工厂Inmon架构范式建模维度建模3. 混合辐射状架构与Kimball架构4. 其他大数据平台架构Lambda、Kappa、SMACK 目前，经过长时间的演进，各种数仓架构之间的区别变得越来越小，且不论哪种数仓架构，都会涉及维度建模。下面是几种常见的数仓架构。 1. 独立数据集市架构 如图，独立数据集市以部门为单位来构建，不需要考虑企业
转载
2023-08-16 18:53:03
110阅读
一、大数据的发展史2004年Google前后发表三篇论文，也就是传说中的“三驾马车”分页式文件系统GFS大数据分布式计算框架MapReduceNoSQL数据库系统BigTable2006年Doug Cutting启动了一个赫赫有名的项目Hadoop，主要包括Hadoop分布式文件系统HDFS和大数据计算引擎MapReduce，分别实现了GFS和MapReduce其中两篇论文2007年HBase诞生
转载
2023-07-12 12:43:37
323阅读
大数据时代将改变人类生活的方式，比如说智慧医疗。日前，省卫计委下发《关于加快医疗卫生事业与大数据融合发展的指导意见》。提出到2020年，我省医疗卫生行业全面信息化管理和服务基本实现。什么概念呢？即通过大数据防病、治病，让非急重症全预约诊疗服务从梦想变为现实，贯穿到生活之中。我省2020年基本实现全面信息化管理服务根据该意见的发展目标，到2020年，贵州基于大数据、互联网+、远程医疗、居民健康卡的智
转载
2024-03-11 17:05:50
72阅读
商业智能系统应具有的主要功能： 读取数据——可读取多种格式（如Excel、Access、以Tab分割的txt和固定长的txt等）的文件，同时可读取关系型数据库 (对应ODBC)中的数据。 分析功能——关联/限定 关联分析主要用于发现不同事件之间的关联性，即一个事件发生的同时，另一个事件也经常发生。关联分析的重点在于快速发现那些有实用价值的关联发生的事件。 数
转载
2023-08-16 15:08:55
127阅读
BI 是商业智能（Business Intelligence）的缩写，是数据分析领域的一个大类，其内容包含多维分析、报表查询、数据可视化、系统管理等方面，属于典型的 OLAP（在线联机分析）业务。构成 BI 系统的各部分关系大概这样：固定报表和多维分析彼此独立，前者用于业务复杂、格式固定的报表查询，后者用于相对简单的用户自助查询；固定报表和多维分析都具备实施部分数据可视化的能力；BI 系统外围是相
转载
2023-12-26 13:11:44
181阅读
业务需求某家位列国内五大电信运营商之列的通信公司（以下简称“通信公司”）在多年的运营过程中，积累了大量的业务数据，分散在各个运营系统中（计费系统、九七工程、网管系统等）。这些系统主要是面向公司的日常运行和维护，虽拥有最全面详细的内容，但是却无法满足公司如市场分析、客户分析的需求。也就是说，这些数据库系统像一个个孤岛，很难得到综合利用。而这些数据分析对于公司的发展来说却是至关重要的。互联网技术的发展
转载
2024-05-19 08:34:54
74阅读
公司要用BI报表给业务来分析查询数据，对比了几个BI报表，不是收费，就是一般最后决定用superset BI报表，开始去git上找源码开始搭建环境了。我们是5月中下旬开始下的，当时superset的最新版本是0.36,我们从主分支master直接下载。我们之前一直弄java,python很少弄，走了很多坑，无数坑。 强烈建议 superset最好不要在window去弄强烈建议 super
转载
2024-01-31 06:14:10
66阅读
