作为openEuler中专注于大数据领域的SIG，BigData SIG致力于构建和完善openEuler社区下的大数据生态体系，搭建活跃的
原创
2024-07-30 11:03:11
306阅读
近日，在OpenAtom openEuler（简称"openEuler"）BigData SIG与Linaro的携手努力下，** Apache Bigtop于2024年7月8日发布的3.3.0新版本中，正式宣告了对openEuler操作系统的原生支持**。这一里程碑式的进展，标志着openEuler在大数据生态适配方面取得了Bigtop社区的权威认可，进一步夯实了openEul
原创
2024-07-20 11:15:18
89阅读
什么是Apache Zookeeper？Apache ZooKeeper是Apache Software Foundation的一个软件项目，为大型分布式系统提供开源分布式配置服务，同步服务和命名注册表。ZooKeeper是Hadoop的一个子项目，但现在它本身就是一个顶级项目。 启动Zookeeper服务器实例docker run --name some-zookeeper
前言
安装部署分为以下五个大步骤1.资源准备2.操作系统配置3.数据库配置4.ambari配置5.bigtop组件安装必要说明
all 表示全部主机都要执行server表示ambari-server安装的主机执行${key}表示需要根据实际情况修改的变量，例如{server.ip}应替换成server所在主机的ip资源准备
需要准备3台centos7虚拟机，建议规格4C*16G*60G；ambar
原创
精选
2023-04-10 22:43:59
1914阅读
ambari+bigtop发行版大数据平台编译指南
原创
2023-04-09 21:34:32
3583阅读
点赞
1评论
Bigtop是去年apache基金会推出的一个对Hadoop及其周边生态进行打包，分发和测试的工具。推出的时间不长，加上官方的文档很简单，只告诉你如何用bigtop安装hadoop，其他都不讲。这两天深入的玩了一下，就个人体会来说，Bigtop算是个比较有趣的玩具。实用价值不大，尤其是对准备在hadoop本身上做文章的公司和个人来说，是一个看上去很美，但实际部署是很值得商榷的玩意。Bigtop，本
推荐
原创
2013-07-06 17:55:23
10000+阅读
点赞
Ambari-bigtop搭建hadoop数据仓库架构 我将这些组件分为几大类以便理解： 核心存储与资源管理（数据湖基石） HDFS (Hadoop Distributed File System)： 分布式文件系统，是整个大数据平台的存储基石。它将以块的形式将海量数据分布式存储在多台机器上，提供高 ...
我上大学时那时候安卓的版本才到安卓4.4,在智能手机出来普及以前,各大网站的数据量并没有那么多,但是随着智能手机的普及,互联网巨头家里的数据呈现几何级增长,像什么微博,微信,视频网站的数据;需要找到合适的存储方式—>>分布式存储架构,可以水平扩展,实现存储数据类型多样化,二维可以实现高容错高吞吐量,轻松实现大文件存储(支持P级别的
原创
2023-03-15 11:01:42
572阅读
大数据啊大数据！浪尖浪尖聊大数据开始本文之前，希望大家参与一下下面的投票。做这个投票的主要原因是最近经常有找浪尖咨询大数据，自学，培训及找工作的事情，问题归类如下：大数据要不要培训自学一段时间，发现很痛苦，没人指导想放弃，培训费用太高了培训发现跟不上，举步维艰培训结束了，为啥面试机会甚少下面分类回答一下。1.大数据需要培训吗？对于java老鸟，因为有比较强的编程经验，可以买点视频或者找大牛付费专栏
原创
2021-03-19 13:47:02
10000+阅读
我安装所使用的系统是CentOS6，也可以是red5、6都可以。Bigtop官方网上有Ubuntu系统安装的具体过程。1. 安装系统依赖1.1 系统更新并安装新的包Building Bigtop requires the following tools: · &
原创
2014-07-01 13:48:12
5559阅读
1.大数据对思维方式的影响是使得分析全样而非抽样、效率而非精准、相关而非因果。 2.区别：大数据侧重于对海量数据的存储、处理与分析，从海量数据中发现价值，服务于生产和生活；云计算本质上旨在整合和优化各种IT资源，并通过网络以服务的方式廉价地提供给用户；物联网的发展目标是 实现物物相连，应用创新是物联网发展的核心。 联系：从整体上看
转载
2024-01-16 00:39:18
318阅读
大数据框架 系统平台 Hadoop、CDH、HDP 监控管理 CM、Hue、Ambari、Dr.Elephant、Ganglia、Zabbix、Eagle 文件系统 HDFS、GPFS、Ceph、GlusterFS、Swift 、BeeGFS、Alluxio 资源调度 YARN、Mesos 协调框架
原创
2022-07-30 00:54:47
954阅读
大数据最全知识点整理-HBase篇基础问题：1、Hbase是什么2、Hbase架构3、Hbase数据模型4、Hbase和hive的区别5、Hbase特点6、数据同样存在HDFS，为什么HBase支持在线查询，且效率比Hive快很多7、Hbase适用场景8、RowKey的设计原则9、HBase中scan和get的功能以及实现的异同？10、Scan的setCache和setBatchsetCache
今天听了一场报告会，是清华计算机系60周年系列讲座之一，主讲人是哈工大软院院长李建中教授，主题《计算和数据资源受限的大数据计算的复杂性理论与高效算法研究》，李老师介绍的大数据计算理论体系很...
原创
2022-04-29 22:22:20
2137阅读
近年来，伴随手机的普及以及移动互联网技术的迅猛发展，手机使用中产生的大数据资源的研究与应用价值受到学者们的重视。然而，合理开发、利用手机大数据的边界尚未确定，海量数据仍处于“沉睡”之中。忠实记录用户行为据2016年1月工信部发布的2015通信运营业统计公报，中国移动电话用户总数达13.06亿户。如此规模的移动电话用户群体将产生海量数据。同济大学建筑与城市规划学院副教授钮心毅介绍，手机数据包括通话详
转载
2024-01-22 19:43:20
171阅读
看过来！！！2017年，大数据已经从概念走向落地；2019年，中低端IT工程师紧随浪潮加速向大数据转型，企业对大数据人才争夺直接进入白热化阶段。因此，对于想学IT技术的、想月入过万不是梦的人而言，我建议，直接选择学习大数据技术是符合潮流和就业需求的选择。一、大数据是什么？1、大数据简介一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的
转载
2024-05-08 10:47:21
192阅读
Spark-Core介绍计算引擎，类似MapReduce，将数据存放在内存中，减少磁盘IO，他是有scala编写的总体技术栈讲解Spark Streaming流式计算框架Spark GraphX图形计算引擎ML Base机器学习Spark SQL使用SQL处理业务优点更快易于使用Spark Sql支持多种环境运行模式Local多用于本地测试，如在 eclipse ， idea 中写程序测试等。St
转载
2024-06-30 04:57:46
76阅读
