安装docker，监控集群和服务器运行状态
原创
2021-06-09 23:10:16
757阅读
随着大数据与预测分析的成熟，开源作为底层技术授权解决方案的最大贡献者的优势越来越明显。 如今，从小型初创企业到行业巨头，各种规模的供应商都在使用开源来处理大数据和运行预测分析。借助开源与云计算技术，新兴公司甚至在很多方面都可以与大厂商抗衡。 以下是一些大数据方面的顶级开源工具，分为四个领域：数据存储、开发平台、开发工具和集成、分析和报告工具。数据存储：Apache
转载
精选
2014-04-16 09:39:05
750阅读
大数据几乎已成为所有商业领域共有的最新趋势，然而大数据究竟是什么？是噱头、泡沫，又或
转载
2023-04-13 11:19:36
163阅读
说到处理大数据的工具，普通的开源解决方案（尤其是Apache Hadoop）堪称中流砥柱。弗雷斯特调研公司的分析师Mike Gualtieri最近预测
转载
2022-08-08 10:30:31
125阅读
# 如何实现“教育领域NLP的开源工具”
在教育领域中，自然语言处理（NLP）是一项极具潜力的技术。构建一个开源的教育领域NLP工具，可以帮助教师和学生更好地处理和分析教育数据。本篇文章将指导你通过一系列步骤，成功实现这样一个工具。我们将详细探讨每一步的具体操作，包括必要的代码示例和注释。
## 项目流程
在开始之前，让我们先理清工作流程。下表概述了实现教育领域NLP开源工具的主要步骤：
原创
2024-09-08 03:48:08
35阅读
交通大数据干货总结（1）本文列举了交通领域的相关学者、会议、论文、数据集、书籍以及代码 以上资料均提供了超链接和简要说明前言当前，城市交通正面临着安全、堵塞、环境污染三大难题。随着云计算、物联网、移动互联网、大数据等新兴技术的发展，城市交通进入智能化阶段。而智能化实现需要利用各种技术获取有价值的数据资源，提供决策依据。交通大数据为交通决策与服务带来了新的解决思路和方法【1】。相关学者（待完善）（注
转载
2023-08-20 15:07:17
625阅读
本片博客介绍大数据相关的开源系统以及他们对应的一句话简介, 对于各位想大概了解大数据都有哪些开源系统的同学有帮助。各种相关开源系统简介：
如下是Apache基金支持的开源软件hdfs
跟GFS类似, 一个分布式文件系统。
mapreduce
转载
2024-05-10 11:58:55
139阅读
1 查询引擎 1.1 phoenix 1.2 stinger 1.3 presto 1.4 shark 1.5 pig 1.6 cloudera impala 1.7 apache drill 1.8 apache tajo 1.9 hive 2 流式计算 2.1 facebook puma 2.2
转载
2018-03-16 21:29:00
159阅读
2评论
大数据平台是对海量结构化、非结构化、半机构化数据进行采集、存储、计算、统计、分析处理的一系列技术平台。大数据平台处理的数据量通常是TB级，甚至是PB或EB级的数据，这是传统数据仓库工具无法处理完成的，其涉及的技术有分布式计算、高并发处理、高可用处理、集群、实时性计算等，汇集了当前IT领域热门流行的各
原创
2021-05-21 11:48:23
1957阅读
实时计算：流处理引擎：Apache Flink消息队列：Apache Kafka数据存储：Apache Cassandra离线计算：批处理引擎：Apache Spark数据仓库：Apache Hadoop HDFS或Apache Hive数据处理：Apache Pig或Apache Beam数据模型设计：数据库：MySQL或PostgreSQL数据仓库：Apache Hadoop HDFS或Apa
转载
2023-10-23 07:43:29
57阅读
众所周知，大数据正在以惊人的速度增长，几乎触及各行各业，许多组织都被迫寻找新的创造性方法来管理和控制如此庞大的数据，当然这么做的目的不只是管理和控制数据，而是要分析和挖掘其中的价值，来促进业务的发展。想要深入发展大数据，闭门造车是不可能的，共通共融是现在趋势，因此，开源让越来越多的项目可以直接采用大数据技术。如今，从小型初创企业到行业巨头，各种规模的供应商都在使用开源来处理大数据和运行预测分析。借
转载
2022-05-13 21:45:30
884阅读
长文预警！这是一篇数据体系介绍文章，并不涉及开发实践。
原创
2021-07-05 10:10:16
810阅读
一、数据采集和传输层 Flume Flume一个分布式、可靠的、高可用的用于数据采集、聚合和传输的系统。常用于日志采集系统中，支持定制各类数据发送方用于收集数据、通过自定义拦截器对数据进行简单的预处理并传输到各种数据接收方如HDFS、HBase、Kafka中。之前由Cloudera开发，后纳入Apa ...
转载
2021-05-26 23:33:00
278阅读
2评论
大家好，我是 梦想家Alex ~想必大家都知道，大数据的来源多种多样，在大数据时代背景下，如何从大数据中采集出有用的信息是大数据发展的最关键因素。大数据采集是大数据产业的基石，大数据采集阶段的工作是大数据的核心技术之一。为了高效采集大数据，依据采集环境及数据类型选择适当的大数据采集方法及平台至关重要。下面介绍一些常用的大数据采集平台和工具。1、FlumeFlume作为Hadoop的组件，
转载
2022-10-24 16:05:23
674阅读
前言目前大数据相关的技术可以说是蓬勃发展 百花齐放，对于初人者来说，一个个响亮的名字， 一个个眼花缭乱的框架，之前刚了解了一个，很快又跳出来一个，真是让人眼花缭乱,无从下手,但是万变不离其宗，不管这些技术如何变化、名词如何新颖，它们都属于下图介绍的某个具体流程和环节，因此下面将结合前面所述的数据流程来介绍当前1.数据采集传输主要技术：数据采集传输工具和技术主要分为两大类：离线批处理和实时数据采集和
转载
2023-09-01 23:57:10
153阅读
Orange 是一个基于组件的数据挖掘和机器学习软件套装，它的功能即友好，又很强大，快速而又多功能的可视化编程前端，以便浏览数据分析和可视化，基绑定了Python以进行脚本开发。它包含了完整的一系列的组件以进行数据预处理，并提供了数据帐目，过渡，建模，模式评估和勘探的功能。其由C++ 和 Python开发，它的图形库是由跨平台的Qt框架开发。
Rapid
转载
2024-04-22 15:49:44
68阅读
考虑到现有技术解决方案的复杂性与多样化，企业往往很难找到适合自己的大数据收集与分析工具。然而，混乱的时局之下已经有多种方案脱颖而出，证明其能够帮助大家切实完成大数据分析类工作。下面我们将整理出一份包含十款工具的清单，从而有效压缩选择范畴。数据已经成为现代化企业中最为重要的宝贵资源。一切决策、策略或者方法都需要依托于对数据的分析方可实现。随着“大数据分析”逐步替代其上代版本，即“商务智能”，企业正面
转载
2017-09-11 13:06:00
273阅读
QStreaming 背景首先在进入主题之前我们先来回顾下经典的大数据 ETL 架构有哪些？1. Lambda 架构2. Kappa 架构3. 混合架构它们之间的区别如下：七牛的大数据平台在搭建过程中也经历了上面几个架构的变迁，也就是从最早的 Lambda 架构，到尝试使用 Kappa 架构，再到后面的新型混合 ETL 架构，为了满足业务需求，开发人员在这几个架构中进行折中选择，但是我们发现上面几
转载
2023-11-20 11:21:07
79阅读
互联网的迅速发展推动信息社会进入到大数据时代，大数据催生了人工智能，也加速推动了互联网的演进。再对大数据的应用中，有很多工具大大提高了工作效率，本篇文章将从大数据可视化工具和大数据分析工具分别阐述。 大数据分析工具：RapidMiner在世界范围内，RapidMiner是比较领先的一个数据挖掘的解决方案。很大程度上，RapidMiner有比较先进的技术。RapidMiner数据挖掘的任务
转载
2023-12-04 11:28:49
49阅读
ETL常用的三种工具介绍及对比Datastage，Informatica和KettleETL是数据仓库中的非常重要的一环，是承前启后的必要的一步。ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。下面给大家介绍一下什么是ETL以及ETL常用的三种工具——Datastage，Inf
转载
2023-08-18 16:02:32
203阅读
