安装docker，监控集群和服务器运行状态
原创
2021-06-09 23:10:16
757阅读
大数据几乎已成为所有商业领域共有的最新趋势，然而大数据究竟是什么？是噱头、泡沫，又或
转载
2023-04-13 11:19:36
163阅读
说到处理大数据的工具，普通的开源解决方案（尤其是Apache Hadoop）堪称中流砥柱。弗雷斯特调研公司的分析师Mike Gualtieri最近预测
转载
2022-08-08 10:30:31
125阅读
本片博客介绍大数据相关的开源系统以及他们对应的一句话简介, 对于各位想大概了解大数据都有哪些开源系统的同学有帮助。各种相关开源系统简介：
如下是Apache基金支持的开源软件hdfs
跟GFS类似, 一个分布式文件系统。
mapreduce
转载
2024-05-10 11:58:55
139阅读
1 查询引擎 1.1 phoenix 1.2 stinger 1.3 presto 1.4 shark 1.5 pig 1.6 cloudera impala 1.7 apache drill 1.8 apache tajo 1.9 hive 2 流式计算 2.1 facebook puma 2.2
转载
2018-03-16 21:29:00
159阅读
2评论
大数据平台是对海量结构化、非结构化、半机构化数据进行采集、存储、计算、统计、分析处理的一系列技术平台。大数据平台处理的数据量通常是TB级，甚至是PB或EB级的数据，这是传统数据仓库工具无法处理完成的，其涉及的技术有分布式计算、高并发处理、高可用处理、集群、实时性计算等，汇集了当前IT领域热门流行的各
原创
2021-05-21 11:48:23
1957阅读
实时计算：流处理引擎：Apache Flink消息队列：Apache Kafka数据存储：Apache Cassandra离线计算：批处理引擎：Apache Spark数据仓库：Apache Hadoop HDFS或Apache Hive数据处理：Apache Pig或Apache Beam数据模型设计：数据库：MySQL或PostgreSQL数据仓库：Apache Hadoop HDFS或Apa
转载
2023-10-23 07:43:29
57阅读
前言目前大数据相关的技术可以说是蓬勃发展 百花齐放，对于初人者来说，一个个响亮的名字， 一个个眼花缭乱的框架，之前刚了解了一个，很快又跳出来一个，真是让人眼花缭乱,无从下手,但是万变不离其宗，不管这些技术如何变化、名词如何新颖，它们都属于下图介绍的某个具体流程和环节，因此下面将结合前面所述的数据流程来介绍当前1.数据采集传输主要技术：数据采集传输工具和技术主要分为两大类：离线批处理和实时数据采集和
转载
2023-09-01 23:57:10
153阅读
考虑到现有技术解决方案的复杂性与多样化，企业往往很难找到适合自己的大数据收集与分析工具。然而，混乱的时局之下已经有多种方案脱颖而出，证明其能够帮助大家切实完成大数据分析类工作。下面我们将整理出一份包含十款工具的清单，从而有效压缩选择范畴。数据已经成为现代化企业中最为重要的宝贵资源。一切决策、策略或者方法都需要依托于对数据的分析方可实现。随着“大数据分析”逐步替代其上代版本，即“商务智能”，企业正面
转载
2017-09-11 13:06:00
273阅读
Orange 是一个基于组件的数据挖掘和机器学习软件套装，它的功能即友好，又很强大，快速而又多功能的可视化编程前端，以便浏览数据分析和可视化，基绑定了Python以进行脚本开发。它包含了完整的一系列的组件以进行数据预处理，并提供了数据帐目，过渡，建模，模式评估和勘探的功能。其由C++ 和 Python开发，它的图形库是由跨平台的Qt框架开发。
Rapid
转载
2024-04-22 15:49:44
68阅读
QStreaming 背景首先在进入主题之前我们先来回顾下经典的大数据 ETL 架构有哪些？1. Lambda 架构2. Kappa 架构3. 混合架构它们之间的区别如下：七牛的大数据平台在搭建过程中也经历了上面几个架构的变迁，也就是从最早的 Lambda 架构，到尝试使用 Kappa 架构，再到后面的新型混合 ETL 架构，为了满足业务需求，开发人员在这几个架构中进行折中选择，但是我们发现上面几
转载
2023-11-20 11:21:07
79阅读
大数据的来源多种多样，在大数据时代背景下，如何从大数据中采集出有用的信息是大数据发展的最关键因素。大数据采集是大数据产业的基石，大数据采集阶段的工作是大数据的核心技术之一。为了高效采集大数据，依据采集环境及数据类型选择适当的大数据采集方法及平台至关重要。下面介绍一些常用的大数据采集平台和工具。1、FlumeFlume作为Hadoop的组件，是由Cloudera专门研发的分布式日志收集系统。尤其近几
转载
2023-11-17 17:07:24
89阅读
去年，IBM宣布以17亿美元收购数据分析公司Netezza；EMC继收购数据仓库软件厂商Greenplum后再次收购集群NAS厂商Isilon；Teradata收购了Aster Data 公司；随后，惠普收购实时分析平台Vertica等，这些收购事件指向的是同一个目标市场——大数据。是的，大数据时代已经来临，大家都在摩拳擦掌，抢占市场先机。 而在这里面，最耀眼的
转载
2023-09-14 16:12:46
73阅读
.NET for Apache® Spark™ 开源大数据分析工具： 1、官方文档： https://dotnet.microsoft.com/apps/data/spark 2、介绍：https://devblogs.microsoft.com/dotnet/introducing-net-for
原创
2021-07-26 15:10:11
232阅读
Intel近日开源了GraphBuilder测试版本的源码。GraphBuilder由英特尔研究院（Intel Labs）开发，是首个针对大数据的可扩展的开源Java库，可以将大数据集构建成图形——能够反映数据之间关系的网络状结构图，帮助行业和学术界的科学家或数据分析师快速分析大型数据集。GraphBuilder使用MapReduce并行编程模型进行扩展，其主要组件及与Hadoop MapReduce的关系如下图所示。GraphBuilder的源码基于Apache 2许可协议，可以通过官网来获得源码。详细信息：GraphBuilder博客、白皮书
转载
2012-12-10 23:23:00
194阅读
2评论
开源可视化大数据分析工具
随着大数据时代的到来，数据分析成为了一个重要的话题。数据分析可以帮助我们从庞大的数据中挖掘有用的信息，并作出有效的决策。而在数据分析过程中，可视化是非常重要的一环。可视化可以帮助我们更直观地理解数据，发现数据中的模式和趋势。在本文中，我们将介绍几种开源的可视化大数据分析工具，并提供相应的代码示例。
一、Matplotlib
Matplotlib是Python中最流行
原创
2023-10-25 18:03:16
55阅读
说
到处理大数据的工具，普通的开源解决方案（尤其是Apache Hadoop）堪称中流砥柱。弗雷斯特调研公司的分析师Mike
Gualtieri最近预测，在接下来几年，“100%的大公司”会采用Hadoop。Market
Research的一份报告预测，到2011年，Hadoop市场会以58%的年复合增长率（CAGR）高速增长；到2020年，市场产值会超过10亿美
元。IBM更是非常看好开源大
转载
精选
2015-08-11 18:03:57
353阅读
说到处理大数据的工具，普通的开源解决方案（尤其是Apache Hadoop）堪称中流砥柱。弗雷斯特调研公司的
转载
2022-05-11 22:03:11
66阅读
当前，数据在现代化企业经营中是非常重要的资源。很多企业的经营决策、策略和方法都需要对数据进行分析。今天这篇文章主要是对大数据开源架构的相关知识的探讨。一起来看看大数据开源架构都包括了哪些内容。1、业务应用 也就是是数据采集，用什么方式收集数据。互联网搜集数据是比较简单的，渠道比较多，开源通过网页、APP等方式来搜集，如果做得更细化，就可以切分出很多维度，做的工作就更深了。2、数据集成 指的就是ET
# 实现开源大数据架构指南
## 1. 流程图展示
```mermaid
flowchart TD
A(准备工作)
B(数据采集)
C(数据存储)
D(数据处理)
E(数据分析)
F(数据展示)
A --> B
B --> C
C --> D
D --> E
E --> F
```
## 2. 步骤及代
原创
2024-03-26 07:40:36
40阅读
