从今天开始重新从头学习Hadoop，并每章写读书笔记一篇，记于次。 这篇笔记将主要概括mapreduce的基本原理和输入输出类。 1. Hadoop数据类型。
0、Hadoop hadoop主要是用来对海量数据进行存储和计算的。
它本身是一个分布式系统，核心由分布式文件系统hdfs，和分布式计算框架mapreduce组成，在存储和计算时能够发挥出集群中每台机器的能力。
所以，当单机文件系统没法存储，或者传统数据处理方式（例如数据库、shell脚本等）显得缓慢、没法忍受时，就可以考虑大数据方面的一些处理方案（例如nosql、
转载
2023-12-21 16:14:25
24阅读
hadoop起源在nutch项目中构建开源的web搜索引擎，无法有效将任务分配到多台计算机上，后来看到谷歌的GFS和mapreduce，才有了思路谷歌三驾马车 GFS MapReduce BigTable1. 初始hadoop1.1 数据数据产生量越来越大,从PB到ZB，目前大约十亿ZB。有句话：大数据胜于好算法，意思是不论算法多牛，基于小数据的推荐往往都不如基于大量数据的一般算法的推荐效果。1B
转载
2023-12-27 13:45:38
37阅读
在苹果、谷歌等美国企业陆续暂停俄罗斯业务之后，近日美国数据库公司Oracle（甲骨文公司）也暂停了俄罗斯业务，这不禁让人想起在国内云计算市场占据第一名的阿里巴巴，阿里巴巴在发展成为国内最大的云计算企业之后就开始自研数据库 OceanBase，这让人佩服它的前瞻性。阿里巴巴发展起电商业务和支付宝业务之后，产生了大量的数据，特别是双十一的数据喷发，让它深受困扰，于是根据它自身的需求发展起了云计算，到如
BI：商业智能（Business Intelligence）指通过对数据的收集、管理、分析以及转化，使数据成为可用的信息，从而获得必要的洞察力和理解力，更好地辅助决策和指导行动。DW：数据仓库（Data Warehouse）是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合。数据仓库是实现商业智能的基础平台OLTP：联机事务处理（Online Transaction Process），是
转载
2023-07-31 00:54:44
20阅读
前言背景:随着大数据时代的来临，数据量不断增长，传统小机上跑数据库的模式扩容困难且成本高昂，难以支撑业务发展。应对之法:很多用户开始转向分布式计算路线，用多台廉价的PC服务器组成集群来完成大数据计算任务。重要技术:Hadoop/Spark就是其中重要的软件技术，由于开源免费而广受欢迎。经过多年的应用和发展，Hadoop已经被广泛接受，不仅直接应用于数据计算，还发展出很多基于它的新数据库，比如Hiv
转载
2024-04-12 11:24:33
26阅读
BI系统，是企业利用数据驱动运营的一个典型系统。BI系统通过发掘企业运行过程中的数据，发现企业的潜在风险、为企业的各项决策提供数据支撑。传统的BI系统通常构建于关系型数据库之上。随着企业业务量的增大和对用户行为实时提取分析的需要越来越高，传统的BI架构对实时性的分析和大数据量的分析已经无法满足，新...
转载
2016-08-07 17:02:00
205阅读
2评论
IT行业的新鲜词层出不穷，最近几年，大家都在谈论大数据和BI，似乎不谈这些词都不好意思说自己是“圈内人”。虽然每天张口闭口都在说大数据和BI，可是你真的明白大数据和BI之间的区别了吗？大数据和BI之间的关系很密切，在大数据时代中，对于数据的挖掘、处理基本上是以传统BI业务模式进行的，但大数据的数据来源要比传统BI的数据来源更具多样性。本文将从概念、应用、发展趋势等多个角度对大数据和BI进行区分。从
一、云计算
云计算的概念最早是 2006 年由 Google 提出的。
1、云计算定义
云计算是一种可以通过网络方便地接入共享资源池，按需获取计算资源的服务模型。
资源包括：网络、服务器、存储、应用、服务等
共享资源池中的资源可以通过较少的管理代价和简单业务交互过程，而快速部署和发布。
2、云计算特点
按需提供服务：
以服务的形式为用户
原创
2021-08-20 09:54:38
8217阅读
随着大数据时代的到来，企业对于数据处理和数据分析的需求日益增长。软考Hadoop和BI系统集成作为大数据领域的重要技术，将两者相结合，为企业提供了高效、可靠、灵活的大数据分析解决方案。
一、软考Hadoop和BI系统集成概述
软考Hadoop是一个开源的大数据存储和分析平台，具有高可靠性、高扩展性和高效性等优点，适用于海量数据的处理和分析。而BI系统则是商业智能的简称，它是一套完整的解决方案，
原创
2023-10-25 15:23:38
89阅读
BI系统是一种商业智能系统，能够利用现代数据、仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值，如今这样的系统应用在跨境电商上，让跨境商家能够更好地管理和运营店铺；那么这里要提的是专注Lazada的Ushop BI系统，是Lazada商业可视数据分析软件，有着硬核科技加持，带领Lazada商家轻松狙击蓝海市场，所以这里，我们就来聊聊BI的优势，以及如何利用Ushop B
转载
2024-01-31 09:38:10
24阅读
Hadoop一、入门1、大数据定义2、Hadoop 入门概念①Hadoop是什么？②Hadoop发展历史③Hadoop的三大发行版本④Hadoop的优势⑤Hadoop的组成 （重点）⑥大数据技术生态体系⑦推荐系统案例3、模拟虚拟机准备①安装`epel-releaes`②安装`net-tools`③关闭防火墙,关闭防火墙开自启④创建atguigu用户，并修改atguigu用户的密码⑤配置atgui
转载
2023-09-07 09:41:47
129阅读
导读：Yahoo CTO Raymie Stata是领导海量数据分析引擎的关键人物。IB
转载
2022-12-05 14:39:33
59阅读
Hadoop是个非常流行的分布式计算解决方式，是Apache的一个开源项目名称。核心部分包含HDFS及MapReduce。当中。HDFS是分布式文件系统。MapReduce是分布式计算引擎。时至今日。Hadoop在技术上已经得到验证、认可甚至到了成熟期。同一时候也衍生出了一个庞大的生态圈。比較知名的
转载
2017-08-07 17:33:00
229阅读
2评论
【前言】
昨天论坛的SQL Server大版新增了一个BI板块，大家讨论得热火朝天，由于此前因为客户环境的问题，一直在使用sql 2000，没怎么关注这一块的东西，最近刚好要做购物篮的分析，所以到网上搜集了一些资料。为了跟大家保持“步调一致”，也写点或转点东西出来，和大家一起学习和分享。
&nbs
转载
精选
2010-04-17 16:16:04
531阅读
# 帆软BI BI架构解析及代码示例
## 一、什么是帆软BI？
帆软BI（FineBI）是一款国产的商业智能（Business Intelligence, BI）工具，旨在帮助企业高效分析数据、可视化展示，并进行决策支持。帆软BI的架构设计科学，强大而灵活，支持多种数据源的接入与处理，为用户提供了丰富的数据分析功能。
## 二、帆软BI的架构构成
帆软BI的架构主要由以下几个部分组成：
<iframewidth="933"height="700"src="https://app.powerbi.com/view?r=eyJrIjoiYWY4ZjljMGEtM2VlNS00M2Q5LWEyNjMtMTQwMWZiODc2MWE0IiwidCI6IjQ0MjA0ZjM2LTY0MDctNDk3MS05NDBkLTgyZWM2ZT
原创
2019-01-09 16:00:59
441阅读
商业智能也称作BI是英文单词Business Intelligence的缩写。商业智能通常被理解为将企业中现有的数据转化为知识，帮助企业做出明智的业务经营决策的工具。这里所谈的数据包括来自企业业务系统的订单、库存、交易账目、客户和供应商等来自企业所处行业和竞争对手的数据以及来自企业所处的其他外部环境中的各种数据。而商业智能能够辅助的业务经营决策，既可以是操作层的，也可以是战术层和战略层的决策。
转载
2021-08-01 15:51:35
288阅读
最后说一下国内唯一连续3年进入Gartner魔力象限ABI报告的瓴羊Quick BI。瓴羊Quick BI是阿里云旗下的BI软件产品，它能为企业客户提供强大的数据建模能力，移动、PC、数据大屏等多端数据访问能力，“零代码”开发的高效数据分析能力和专业的数据可视化能力，目前在服务零售行业、金融行业、快消行业、传媒行业、餐饮行业等都有大量成功应用的案例。
原创
2022-11-30 11:37:33
552阅读
点击0元报名后领取>>>软考18本电子版教材 & 15个科目知识点速记 + 17套历年真题试卷 + 80篇软考优秀论文6G资料包 整个系统生命周期是以项目规划作为起点的，这个阶段需要做的是:评估组织本身是否具备实施商业智能的条件，确定系统的规模和范围，规划各种资源并启动项日。 第二步是进行企业需求定义。一个商业智能项目的成功不是取决于技术，而是取决于它是否
转载
2023-08-10 12:59:23
173阅读
