摘要：集群的存在意义是为了保证高可用、数据安全、扩展性以及负载均衡，作者从一个比较高的层面解读了数据库集群技术，从数据库应用层面的Share-Disk集群直到集群的最高形式能够提供负载均衡的集群。
【编者按】随着数据量得指数增加，数据库所需要解决的问题不再仅仅是记录程序正确的处理结果，还面临着诸多挑战，例如当数据库性能遇到问题时，是否能够横向扩展、数据库
大数据疫情监控项目（Ⅱ）—Flask入门Flask概述创建Flask项目第一个 hello wordFlask请求参数Flask调用模板使用Ajax刷新页面小结 近日在小破站看到的项目，觉得有趣，便尝试动手实操，实现脑图如下，仅以此项目向逆行者表以最崇高的敬意。Flask概述 Flask 是一个使用 Python 编写的轻量级 Web 应用框架。其 WSGI（Python Web Server
转载
2024-09-06 21:24:51
35阅读
在大数据集群数据迁移的项目中涉及到很多技术细节，本博客记录了迁移的大致的操作步骤。迁移借用Hadoop自带的插件：distcp。
原创
2023-12-28 09:51:18
239阅读
一、Spark集群基础概念 将DAG划分为多个stage阶段，遵循以下原则： 1、将尽可能多的窄依赖关系的RDD划为同一个stage阶段。2、当遇到shuffle操作，就意味着上一个stage阶段结束，下一个stage阶段开始 关于RDD中的分区，在默认情况下（也就是未指明分
转载
2023-06-19 06:48:36
86阅读
Zookeeper 集群操作集群操作集群安装1)集群规划在 hadoop113、hadoop114 和 hadoop115 三个节点上都部署 Zookeeper。2)解压安装步骤与本地模式一样，多的操作有：(1) 在/opt/module/zookeeper-3.5.7/zkData 目录下创建一个 myid 的文件
vim myid
在文件中添加与 server 对应的编号(注意:上下不要有空行
转载
2024-03-21 14:02:21
19阅读
大数据根基于互联网，数据仓库、数据挖掘、云计算等互联网技术的发展为大数据应用奠定基础。对于任何一个大数据的从业者或初接触者，或者都会有个共同的感触：大数据对人们的生活能够起到极大作用。 大数据的作用有哪些? 一、对大数据的处理分析正成为新一代信息技术融合应用的结点。移动互联网、物联网、社交网络、数字家庭、电子商务等是新一代信息技术的应用形态，这些应用不断产生大数据。云计算为这些海量、多样化
转载
2023-08-13 16:54:12
61阅读
点击0元报名后领取>>>软考18本电子版教材 & 15个科目知识点速记 + 17套历年真题试卷 + 80篇软考优秀论文6G资料包2016下半年信息安全工程师下午案例分析真题试题3与答案点击查看：2016下半年信息安全工程师下午案例分析真题汇总点击查看：2016下半年信息安全工程师真题与查分专题（综合与案例分析）试题三（共19分） 阅读下列说明和图，回答问题1至
转载
2023-08-04 19:57:23
61阅读
随着移动互联网的飞速发展，信息的传输日益方便快捷，端到端的需求也日益突出，纵观整个移动互联网领域，数据已被认为是继云计算、物联网之后的又一大颠覆性的技术性革命，毋庸置疑，大数据市场是待挖掘的金矿，其价值不言而喻。可以说谁能掌握和合理运用用户大数据的核心资源，谁就能在接下来的技术变革中进一步发展壮大。 大数据，可以说是史上第一次将各行各业的用户、方案提供商、服务商、运营商以及整个生态链上游厂商
转载
2024-07-24 12:18:12
51阅读
大数据学习（一）搭建大数据集群新建虚拟机网络配置关闭防火墙SSH免密配置 新建虚拟机打开vmware，新建虚拟机 典型安装 稍后安装操作系统 我这里用的是CentOS-7-x86_64-Minimal-1708，所以选择CentOS7 选一个位置进行安装 这里可以默认 点击自定义硬件 我们添加一下镜像文件 内存和处理器核数想改也可以改一下 开启虚拟机 安装 按下enter键 这里安装过程的语言选
转载
2023-11-27 21:46:40
51阅读
分享——是技术突飞猛进的很好体验!在千锋学习大数据技术，开始学会了分享，班里五十个人，每个人就能得到49份不同技术探讨。每次到分享的时刻，总会收获不同的想法，今天千锋大数据培训学员给大家带来的技术分享是——Hadoop集群同步。 一、同步方式 选择一个机器，作为时间服务器(这里选择hadoop01)，所有的机器与这台集群时间进行定时的同步，比如，每隔十分钟，同步一次时间。 二、所需工具
原创
2021-11-08 17:05:55
83阅读
yarn和zookeeper在大数据集群中的作用
在高效管理大数据集群时，Apache Hadoop的YARN和Apache Zookeeper的角色至关重要。YARN负责资源管理和作业调度，而Zookeeper则提供了分布式协调服务。在接下来的内容中，我将详细介绍它们各自的作用、环境准备和安装过程，并给出故障排查的方法和扩展部署的策略。
## 环境预检
在部署YARN和Zookeeper
什么是用户画像？在互联网逐渐步入大数据时代后，不可避免的给企业及消费者行为带来一系列改变与重塑。其中最大的变化莫过于，消费者的一切行为在企业面前似乎都将是“可视化”的。随着大数据技术的深入研究与应用，企业的专注点日益聚焦于怎样利用大数据来为精准营销服务，进而深入挖掘潜在的商业价值。于是，“用户画像”的概念也就应运而生。 大数据助力企业营销的核心在于：在「合适的时间」，基于对用户的了解，
转载
2023-11-23 14:40:02
98阅读
我们先来看看这张图，这是某公司使用的大数据平台架构图，大部分公司应该都差不多：从这张大数据的整体架构图上看来，大数据的核心层应该是：数据采集层、数据存储与分析层、数据共享层、数据应用层，可能叫法有所不同，本质上的角色都大同小异。所以我下面就按这张架构图上的线索，慢慢来剖析一下，大数据的核心技术都包括什么。一、数据采集数据采集的任务就是把数据从各种数据源中采集和存储到数据存储上，期间有可能会做一些简
转载
2023-07-10 14:08:34
308阅读
网上有很多zookeeper集群部署教程，开始试了好几个都没起来，报了很多错，踩了很多坑，最后自己摸索出来一套最佳实践方法如下：一.zookeeper节点必须是奇数个，因为zookeeper选举的规则：leader选举，要求可用节点数量必须大于总节点数量/2，所以我们这次选用了三台机器部署 三台机器的内网ip分别为 172.31.36.230 172.31.36.231 172.31.36.232
转载
2023-11-14 19:30:36
0阅读
大数据方面核心技术有哪些？大数据技术的体系庞大且复杂，基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等各种技术范畴和不同的技术层面。首先给出一个通用化的大数据处理框架，主要分为下面几个方面：数据采集与预处理、数据存储、数据清洗、数据查询分析和数据可视化。 一、数据采集与预处理对于各种来源的数据，包括移动互联网数据、社交网络的数据等，这些
随着科技的发展和社会的进步，大数据、人工智能等新兴技术开始进入了我们的生活。我们已经从信息时代跨入了大数据时代，而大数据是一个十分火热的技术，现如今大数据已经涉及到了各行各业的方方面面。但是目前而言，很多人对于大数据不是十分清楚，下面我们就给大家讲一讲大数据的架构知识。1.大数据架构的特点一般来说，大数据的架构是比较复杂的，大数据的应用开发过于偏向底层，具有学习难度大，涉及技术
转载
2023-07-11 20:48:06
155阅读
大数据技术，就是从各种类型的数据中快速获得有价值信息的技术。大数据领域已经涌现出了大量新的技术，它们成为大数据采集、存储、处理和呈现的有力武器。大数据处理关键技术一般包括：大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用(大数据检索、大数据可视化、大数据应用、大数据安全等)。一、大数据采集技术数据采集是指通过RFID射频数据、传感器数据、社交网络交互数据及移动互联网数
转载
2024-04-10 13:43:16
42阅读
云计算与大数据密切相关，大数据是计算密集型操作的对象，需要消耗巨大的存储空间，云计算的主要目标是在集中管理下使用巨大的计算和存储资源，用微粒度计算能力提供大数据应用，云计算的发展为大数据的存储和处理提供了解决方案，大数据的出现也加速了云计算的发展，基于云计算的分布式存储技术可以有效地管理大数据，借助云计算的并行计算能力可以提高大数据采集和分析的效率。研究机构Gartner定义∶大数据是需要新的处理
转载
2023-10-23 14:41:33
0阅读
随着多年的大数据的技术发展和积累，越来越多的人发现各个公司所使用的大数据技术大致可以分为两大类，分别是离线处理技术和实时处理技术，要么个别公司只有离线处理技术，要么个别公司只有实时处理技术，但是绝大部分公司基本上都是两种技术架构都带着一起在做，以为我们的业务一、lamda架构基本介绍 1、业务系统基本流程介绍 2、lamda架构基本介绍 lamda架构最早是由storm的创始人，Nat
转载
2023-08-12 15:49:35
224阅读
目录（一）通用框架概述（二）数据收集层（三）数据存储层（四）资源管理与服务协调层（五）计算引擎层（六）数据分析层（七）数据可视化层 （一）通用框架概述自底向上，与OSI类似，通用框架下的大数据体系有七层：数据源、数据收集层、数据存储层、资源管理与服务协调层、计算引擎层、数据分析层及数据可视化层。图示如下： （二）数据收集层 数据收集层直接与数据源对接，负责采集产品使用
转载
2023-08-15 22:30:12
167阅读
