大数据分析--淘宝美食产品数据分析一、选题背景随着网络技术的不断发展，大数据技术影响着人们生活的方方面面，人们可以利用大数据技术从海量的数据中提取有价值的信息。并且现在是一个信息爆炸的时代，我们可以通过电商购物平台网站购买商品，所以说电商平台对商品信息传播的作用不可忽视。各大电商平台商品评论中携带大量信息，如果浏览大量评论会浪费很多时间，所以对评论文本关键信息整合变得尤为重要。为了选择出自己喜欢的
转载
2023-07-17 19:51:45
156阅读
一、CognosVS BIEE（Oracle）1 产品体系结构比较对比项目CognosBIEEOLAPSERVER的集成产品已集成了MOLAP、ROLAP服务器。BIEE产品本身无OLAP服务器，需要连接独立的OLAP服务器如Essbase等。统一的产品架构Cognos采用统一的架构、统一的WEB界...
原创
2021-07-26 10:05:18
301阅读
本文来自网易云社区。 从20世纪80年代开始，商业智能的定义出现在人们面前，早期商业智能十分基础和杂乱，不仅仅会把数据处理放进去、还包含有一些可视化方面内容等。这个时期的BI主要的功能是支持多维分析和报表填写。 随着发展，基于语义层这类的工具产品日益成为主流，大家都在争先恐后的发展基于NLP的BI，
转载
2018-07-25 14:59:00
76阅读
2评论
商业智能的应用在国外已广为普及，而国内，BI工具也在慢慢的被更多人接受，BI产品的需求越来越明显，企业开始有意识的去建立一体数据分析平台，为经营决策提供支持。
原创
2019-01-08 17:28:43
1135阅读
“我家数据量都是亿级上下的，如果用BI软件来做数据可视化分析，带得动吗？”亿级上下的数据可视化分析，用BI软件就对了。BI软件本身就是专为海量数据做智能可视化分析而生的，特别适合做数据量大、分析效率高、灵活度直观度高的数据可视化分析。亿级数据量，就用专做亿级数据可视化分析的BI软件 或许会有人提出疑问说并不是所有的B
数据发展时代，企业也都搭上了大数据这台顺风车。在战略选择上，是更应该偏向于大数据，还是BI。这一直是讨论的话题。大数据与BI有什么联系，在选择上又有哪些区别点，下面我将分别介绍大数据与BI，揭开大数据BI的面纱。BI（商业智能）商业智能也被称为商业智慧或商务智能，人们习惯的称呼为“BI“，BI（商业智能）技术提供使企业迅速分析数据的技术和方法，包括收集、管理和分析数据，将这些数据转化为有用的信息，
一、BI数据分析是什么BI数据分析（Business Intelligence Analytics）是指利用各种技术和工具对企业数据进行分析，以便更好地了解企业的业务情况。这些工具和技术包括数据挖掘、数据可视化、数据建模、预测分析和多维分析等。BI数据分析还可以帮助企业从大量的数据中提取有用的信息，以便更好地了解客户需求、市场趋势和业务表现。在当前信息时代，各种企业都在面临着大数据的挑战，海量数据
转载
2023-07-04 13:10:54
269阅读
一.业务分析此次案例中，我们面临的业务需求时，有一张mysql表里存储了千万级别的数据，每次业务流程结束，这张表中就会增加至少8万条数据，而我们的系统要做的就是把这些数据按不同的需求统计展示，在代码中有大量的复杂计算和复杂sql语句，，并且该系统的业务会经常发生变化，这让整个系统变得缓慢和难以维护，即使在使用redis作为我们的缓冲层，也无法很好的解决查询效率问题，毕竟第一次加载真的太慢了，在面临
背景数据量不断增加，企业需要灵活快速地处理这些数据。处理器主频和散热遇到瓶颈，多核处理器成为主流，并行化计算应用不断增加。开源软件的成功使得大数据技术得以兴起。互联网技术的发展让大多数企...
转载
2021-06-11 09:31:26
373阅读
数据量不断增加，企业需要灵活快速地处理这些数据。处理器主频和散热遇到瓶颈，多核处理器成为主流，并行化计算应用不断增加。开源软件的成功使得大数据技术得以兴起。互联网技术的发展让大多数企业能够积累大量的数据，而企业需要灵活快速地从这些数据中提取出有价值的信息来服务用户或帮助企业自身决策。然而处理器的主频和散热遇到了瓶颈，CPU难以通过纵向优化来提升性能，所以多核这种横向扩展成为了主流。也因此，开发者需
转载
2021-03-29 22:14:04
219阅读
大数据的方向梳理 大数据出现的背景：4V特性 （数据量，数据种类，数据处理速度，价值密度低） 集群发展中，有两类比较常见的问题：水平瓶颈，单点故障1.平台侧 HDFS解决存储 yarn 技术框架 Zookeeper分布式协调 ,Kerberos&LDAP负责安全HDFS一、主从结构 主节点NameNode(单点故障用主备机制解决，水平瓶颈用联邦机制解决) 存储元数据fsimage元数据在内
转载
2023-10-20 16:27:27
56阅读
下面列出相对成熟和完整，并且现在市面上主流的开源bi工具。1、FineBI国内做的一流的BI工具，很炫酷，也比较实用。主打的是超大数据量性能和自助式分析2个特点，在功能方面跟Tableau很接近，适用于企业中的技...
转载
2019-03-27 10:39:00
355阅读
2评论
目录一、概述二、 FineBI 产品组成三、FineBI 架构四、功能概述1）数据准备（数据源）1、多数据源支撑2、数据管理3、数据关联4、基础数据处理2）数据处理（数据集）3）数据分析（数据可视化）1、可视化图表2、仪表板（可视化大屏）五、FineBI 安装六、简单使用1）连接数据源2）创建数据集3）可视化展示（仪表板）一、概述FineBI 是帆软软件有限公司推出的一款商业智能（Business
转载
2023-07-11 18:50:25
232阅读
一、云计算
云计算的概念最早是 2006 年由 Google 提出的。
1、云计算定义
云计算是一种可以通过网络方便地接入共享资源池，按需获取计算资源的服务模型。
资源包括：网络、服务器、存储、应用、服务等
共享资源池中的资源可以通过较少的管理代价和简单业务交互过程，而快速部署和发布。
2、云计算特点
按需提供服务：
以服务的形式为用户
原创
2021-08-20 09:54:38
8200阅读
# 建立大数据分析BI平台的入门指南
在技术不断发展的今天，大数据分析变得愈发重要。作为一名新手开发者，了解如何建立一个有效的商业智能（BI）平台将是你职业生涯的一个重要里程碑。本文将会用一个系统的流程来引导你，从而实现这个目标。
## 流程概述
首先，我们需要了解建立BI平台的大致流程。以下是一个简化的步骤表格：
| 步骤 | 说明
1. 概述产品设计逻辑和流程可以分为3个环节：用户需求调研梳理、产品设计流程和产品原型及需求文档 数据产品的本质是更好地为用户提供信息服务。数据产品设计的关键点和起点在于深刻准确地把握用户需求，而用户需求的调研需要注意“两个重点，一个难点”：（1）重点①：对象与内容 产品提供给谁？提供什么信息？不同对象所做的决策不同，所需的“信息”内容也就不同。用户需求调研首先应该明确产品使用对象和信息内容。 （
第5章 数据采集、传输、交换、同步服务5.1 数据交换服务场景和常见开源方案数据交换：不同系统之间传输和同步数据。1 、大数据平台数据交换服务业务场景 1）场景：数据采集到大数据平台-大数据平台回写或导出到业务系统-大数据开发平台组件间 2）常见数据源：关系型数据库：比如MySQL、Oracle……文件类：比如log、CSV、Excel等消息队列类：比如Kafka和各种MQ各类大数据相关组件：HD
转载
2023-09-19 07:09:18
35阅读
Hadoop一、入门1、大数据定义2、Hadoop 入门概念①Hadoop是什么？②Hadoop发展历史③Hadoop的三大发行版本④Hadoop的优势⑤Hadoop的组成 （重点）⑥大数据技术生态体系⑦推荐系统案例3、模拟虚拟机准备①安装`epel-releaes`②安装`net-tools`③关闭防火墙,关闭防火墙开自启④创建atguigu用户，并修改atguigu用户的密码⑤配置atgui
转载
2023-09-07 09:41:47
101阅读
在开始介绍大数据平台通用架构之前，我们回顾下20世纪传统系统架构特点是哪些？简单介绍下传统架构特色：1、视图与业务分开；视图层负责交互UI，业务模型层负责业务实现，逻辑控制负责程序内部功能调度；三层结构分划明显，耦合性高。这种架构沿用至今，只是目前的架构中更喜欢考虑松耦合、高内聚（偏向接口适配广的产品化组件），同时过去的传统RDMS数据库已经无法满足低时延，高并发的产品需求。那么我们同样按照MVC
转载
2023-07-16 19:43:21
83阅读
# 大数据平台主流技术架构
随着互联网的迅猛发展，数据量呈指数级增长。大数据技术应运而生，旨在解决数据存储、处理和分析的各种挑战。在这些技术中，主流架构通常包括数据采集、存储、处理和可视化四个部分。本文将具体阐述大数据平台的主要技术架构，并提供代码示例。
## 1. 数据采集
数据采集是大数据平台的第一步，通常使用工具如 **Apache Nifi** 或 **Kafka**。这些工具能够实
