Orange 是一个基于组件的数据挖掘和机器学习软件套装，它的功能即友好，又很强大，快速而又多功能的可视化编程前端，以便浏览数据分析和可视化，基绑定了Python以进行脚本开发。它包含了完整的一系列的组件以进行数据预处理，并提供了数据帐目，过渡，建模，模式评估和勘探的功能。其由C++ 和 Python开发，它的图形库是由跨平台的Qt框架开发。
Rapid
转载
2024-04-22 15:49:44
68阅读
######################################################################################################一、服务器分布###########################################################################################
转载
2024-09-13 13:23:04
51阅读
<link rel="stylesheet" href="">
<div class="htmledit_views">
<p>大数据技术的体系庞大且复杂，基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等各种技术范畴和不同的技术层面。首先给出一个通
本片博客介绍大数据相关的开源系统以及他们对应的一句话简介, 对于各位想大概了解大数据都有哪些开源系统的同学有帮助。各种相关开源系统简介：
如下是Apache基金支持的开源软件hdfs
跟GFS类似, 一个分布式文件系统。
mapreduce
转载
2024-05-10 11:58:55
139阅读
2018年国内大数据公司50强榜单排名已经公布了出来，大快以黑马之姿闯入50强，并摘得多项桂冠。Hanlp自然语言处理技术也荣膺了“2018中国数据星技术”奖。对这份榜单感兴趣的可以找一下看看。本篇承接上一篇《DKM平台监控参数说明》，继续就大快的大数据一体化处理架构中的平台监控参数进行介绍和说明。DKhadoop大数据处理平台架构的安装相关文章已经分享过，详细的内容可以找一下看看。在上一篇中已经
转载
2024-05-24 16:18:17
56阅读
在9月16日召开的“2022 OSCAR开源产业大会”上，中国信息通信研究院发布了一系列开源研究成果和开源表彰，网易数帆发起的开源项目Apache Kyuubi荣获“OSCAR尖峰开源项目及开源社区”，有数大数据基础平台NDH荣获“OSCAR尖峰开源技术创新（二次开发）”。此外，网易数帆发起的云原生开源项目Slime和Curve分别获得了“可信开源社区共同体（TWOS）”和“TWOS 银河计划成员
转载
2023-12-12 22:02:42
71阅读
在上一篇的文章中已经明确说过DKM作为大快发行版DKhadoop的管理平台，它的四大功能分别是：管理功能，监控功能，诊断功能和集成功能。管理功能已经给大家列举了一些做了说明，今天就DKM平台的监控功能再给大家做细致的分享分析。DKM 提供了许多监控功能，用于检测集群健康，组件性能以及集群中运行的作业的性能和资源需求。具体包括以下监控功能：1、服务监控：查看服务和角色实例级别健康检查的结果，并
转载
2024-04-08 10:42:33
42阅读
写在前面，阅读本文前，你需要了解熔断器相关内容SpringCloud微服务：Hystrix组件，实现服务熔断一、聚合监控简介1、Dashboard组件微服务架构中为了保证程序的可用性，防止程序出错导致网络阻塞，出现了断路器模型。断路器的状况反应程序的可用性和健壮性，它是一个重要指标。HystrixDashboard是作为断路器状态的一个组件，提供了数据监控和直观的图形化界面。2、Turbine组件
转载
2024-02-19 22:47:34
45阅读
一、项目需求与组件架构1.1需求1、三种日志内容：行为日志、内容日志、业务日志。针对这三种日志会采取不同的手段，将数据采集到hdfs中，再建立转化为不同的hive表，以供后续的数据需求分析2、行为日志和内容日志被采集到hdfs中时，要自动按照每一天的日期来划分数据存储目录。3、数据采集好之后，统一使用azkaban来进行shell脚本的调度。因为数据的采集过程需要很多步骤来完成，而这些步骤统一使用
转载
2024-03-04 02:09:29
93阅读
考虑到现有技术解决方案的复杂性与多样化，企业往往很难找到适合自己的大数据收集与分析工具。然而，混乱的时局之下已经有多种方案脱颖而出，证明其能够帮助大家切实完成大数据分析类工作。下面我们将整理出一份包含十款工具的清单，从而有效压缩选择范畴。数据已经成为现代化企业中最为重要的宝贵资源。一切决策、策略或者方法都需要依托于对数据的分析方可实现。随着“大数据分析”逐步替代其上代版本，即“商务智能”，企业正面
转载
2017-09-11 13:06:00
273阅读
QStreaming 背景首先在进入主题之前我们先来回顾下经典的大数据 ETL 架构有哪些？1. Lambda 架构2. Kappa 架构3. 混合架构它们之间的区别如下：七牛的大数据平台在搭建过程中也经历了上面几个架构的变迁，也就是从最早的 Lambda 架构，到尝试使用 Kappa 架构，再到后面的新型混合 ETL 架构，为了满足业务需求，开发人员在这几个架构中进行折中选择，但是我们发现上面几
转载
2023-11-20 11:21:07
79阅读
史上最全的开源大数据工具，非常实用，请务必收藏! 查询引擎 PhoenixSalesforce公司出品，Apache HBase之上的一个SQL中间层，完全使用Java编写 Stinger原叫Tez，下一代Hive, Hortonworks主导开发，运行在YARN上的DAG计算框架 PrestoFacebook开源 Spark SQLSpark上的SQL执行引擎 Pig基于Hadoo
## 开源Hadoop大数据平台介绍
在当今信息时代，大数据已经成为企业决策和业务发展的重要基石。为了更好地处理和分析海量数据，开源的Hadoop大数据平台应运而生。Hadoop是一个开源的分布式存储和计算框架，它为用户提供了高效地处理海量数据的能力。
### Hadoop架构
Hadoop由HDFS（Hadoop Distributed File System）和MapReduce两个主要
原创
2024-03-12 05:08:24
60阅读
# Python大数据平台开源
## 导言
在数据科学和大数据领域，Python成为了一种非常受欢迎的编程语言。Python提供了丰富的开源库和工具，使得开发人员可以轻松地处理、分析和可视化大规模数据集。本文将介绍一些常用的Python开源工具和库，用于构建大数据平台。
## 什么是大数据平台？
大数据平台是一种用于处理和分析大规模数据集的软件系统。它可以从多个数据源中提取、转换和加载数据
原创
2023-10-04 03:44:50
83阅读
产品概述：统一监控是南大通用数据技术股份有限公司开发的数据库产品的组成部分。为用户提供了可信的集群监控数据，及时的报警功能，直观的集群状态和性能趋势展示，可靠的数据分布视图和集群会话、系统日志等展示。统一监控支持对单个或多个集群的监控，通过对集群节点 Server 的系统资源利用情况、网络通讯情况、进程运行情况和集群运行状态等信息的采集，并根据用户设定的报警策略进行计算，如有报警，及时通知用户报警
转载
2024-04-10 17:56:15
123阅读
作者简介陈晓鹏2008年进入腾讯，2012年调入微信运维开发组负责运维监控系统的改造，是微信当前运维监控系统的主要设计开发人员。前言本文分享的是微信运维监控系统的具体设计实践。在分享开始之前先看如下图中微信后台系统的现状，面对庞大的调用量及复杂的调用链路，单靠人力难以维护，只能依赖一个全方位监控、稳定、快速的运维监控系统。我们的运维监控系统主要有三个功能:第一个是故障报警;第二个是故障分析和定位;
转载
2024-05-28 21:48:41
72阅读
项目简介集监控点监控、日志监控、数据可视化以及监控告警为一体的国产开源监控系统，直接部署即可使用。 监控数据类型丰富，提供多种富有表现力的图表，满足对数据可视化的需要，目前支持折线图、饼图、地理位置图，后续会引入 更多富有表现力的图表以加强对数据可视化的支持。相比其它开源监控系统优势支持插件功能, 监控插件无需开发，自由选择监控插件，安装即可使用集成告警功能,
转载
2024-03-21 22:41:21
185阅读
数据库状态监控活动活动过程纠正措施列出当前状态为down的Segment。如果有任何行被返回，就会生成一个警告或者告警。推荐频率：每5到10分钟重要度： IMPORTANT在postgres数据库中运行下例查询：SELECT * FROM gp_segment_configurationWHERE status <> 'u';如果该查询返回任何行，按照这些步骤来纠正问题：验证宕机的Se
转载
2022-01-21 10:05:49
254阅读
1、云计算与大数据是什么关系? 云计算的关键词在于“整合”，无论你是通过现在已经很成熟的传统的虚拟机切分型技术，还是通过google后来所使用的海量节点聚合型技术，他都是通过将海量的服务器资源通过网络进行整合，调度分配给用户，从而解决用户因为存储计算资源不足所带来的问题。 他俩之间的关系你可以这样来理解，云计算技术就是一个容器，大数据正是存放在这个容器中的水，大数据是要依靠云计算技术来进行存
转自：一、Facebook Scribe贡献者：Facebook简介：Scribe是Facebook开源的日志收集系统，在Facebook内部已经得到大量的应用。它能够从各种日志源上收集日志，存储到一个中央存储系统（可以是NFS，分布式文件系统等）上，以便于进行集中统计分析处理。它为日志的“分布式收集，统一处理”提供了一个可扩展的，高容错的方案。当中央存储系统的网络或者机器出
