转载
2023-07-04 09:39:07
148阅读
大数据环境搭建linux环境安装VM虚拟机centos创建用户并赋予权限ssh免密登录配置编写集群分发脚本xsync安装jdk集群所有进程查看脚本hadoop环境配置Hadoop集群Hadoop环境hadoop集群节点核心配置文件 core-site.xml配置hdfs-site.xml配置yarn-site.xmlMapReduce配置文件 mapred-site.xml配置workers配置
转载
2023-09-06 15:27:40
55阅读
1- 启动项目 安装.NETCORE SDK，教程在网上可以搜索的到，这里就不讲述了。简单粗暴的方式就是安装最新的VS2015.2-搭建框架 2.1 打开VS新建一个项目，在弹出的新建项目对话框中，选中NET CORE选项，右边出现的选项就是.NET CORE的所有可建项目了。然后和创建传统.NET项目一样的创建项目就行了。  
转载
2023-08-11 10:48:29
347阅读
工作四五年了，做了不少项目，学了不少技术框架，了解不不少设计思想，自身的技术积累也有不少了，今天用头脑风暴的方式梳理一下，可能不全，后面会不断完善。技术栈 1.java：集合、多线程、JVM原理 1) Collection List &
转载
2023-09-05 16:42:54
71阅读
大数据框架 系统平台 Hadoop、CDH、HDP 监控管理 CM、Hue、Ambari、Dr.Elephant、Ganglia、Zabbix、Eagle 文件系统 HDFS、GPFS、Ceph、GlusterFS、Swift 、BeeGFS、Alluxio 资源调度 YARN、Mesos 协调框架
原创
2022-07-30 00:54:47
954阅读
Java 类集框架1. Java类集框架产生的原因 在基础的应用中，我们可以通过数组来保存一组对象或者基本数据，但数组的大小是不可更改的，因此出于灵活性的考虑和对空间价值的担忧，我们可以使用链表来实现动态的数组。灵活的代价是操作上的繁琐，在计算机的世界，处理繁琐问题的不二法门就是将其封装，只向外暴露以供调用的方法视
转载
2024-05-08 13:26:01
45阅读
1、HDFS读流程和写流程1.1 HDFS写数据流程① 客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。② NameNode返回是否可以上传。③ 客户端请求第一个 Block上传到哪几个DataNode服务器上。④ NameNode返回3个DataNode节点，分别为dn1、dn2、dn3。⑤ 客户端
转载
2023-11-14 09:37:11
79阅读
在今天的互联网时代，数据已经成为了一种极其宝贵的资源，而大数据技术的兴起使得人们可以更好地处理和分析海量的数据，为企业决策、产品优化等提供支持。而在大数据技术中，Kubernetes（简称K8S）作为一个开源的容器编排引擎，可以帮助我们更好地管理大规模的容器化应用程序，让大数据的搭建变得更加高效和便捷。
今天我就来教你如何通过Kubernetes来搭建大数据环境。首先，让我们来看一下整个流程：
原创
2024-04-30 10:54:56
65阅读
1.Spark介绍Spark是一种通用的大数据计算框架,是基于RDD(弹性分布式数据集)的一种计算模型。那到底是什么，可能还不是太理解，通俗讲就是可以分布式处理大量极数据的，将大量集数据先拆分，分别进行计算，然后再将计算后的结果进行合并。这一篇主要给大家分享如何在Windows上安装Spark。2.Spark下载我们要安装Spark，首先需要到Saprk官网去下载对应的安装包，Spark官网：ht
转载
2023-09-07 09:29:34
23阅读
第 1 部分: 大数据分类和架构简介第 2 部分: 如何知道一个大数据解决方案是否适合您的组织第 3 部分: 理解大数据解决方案的架构层第 4 部分: 了解用于大数据解决方案的原子模式和复合模式第 5 部分: 对大数据问题应用解决方案模式并选择实现它的产品概述大数据可通过许多方式来存储、获取、处理和分析。每个大数据来源都有不同的特征，包括数据的频率、量、速度、类型和真实性。处理并存储大数据时，会涉
转载
2023-10-28 18:08:16
44阅读
概述 大数据可通过许多方式来存储、获取、处理和分析。每个大数据来源都有不同的特征，包括数据的频率、量、速度、类型和真实性。处理并存储大数据时，会涉及到更多维度，比如治理、安全性和策略。选择一种架构并构建合适的大数据解决方案极具挑战，因为需要考虑非常多的因素。 这个 “大数据架构和模式” 系列提供了一种结构化和基于模式的方法来简化定义完整的大数据架构的任务。因为评估一个业务场景是否存在大数据
转载
2023-11-29 10:51:35
99阅读
clickhouse是什么？clickhouse集群搭建刚开始搭建集群的时候，发现有很多相关的博客，但是难过的是都不太完整，跟着博客操作总是达不到效果，最后自己也是根据官网的doc一步步的进行，读文档，读配置文件，如果你跟着博客已经失败了2次，那么我觉得你应该看官网的文档了。clickhouse官方集群部署文档过程梳理1单机部署clickhouse-server2修改配置文件，添加metrika.
转载
2023-09-21 11:54:56
69阅读
目录：简介pysparkIPython Notebook安装配置spark编写框架：首先开启hdfs以及yarn1 sparkconf2 sparkcontext3 RDD（核心）4 transformation（核心） 5 action（核心）当然也可以指定运行py程序简介：不可否认，sp
转载
2024-02-26 15:01:15
63阅读
1、什么是大数据？在互联网技术发展到现今阶段，大量日常、工作等事务产生的数据都已经信息化，人类产生的数据量相比以前有了爆炸式的增长，以前的传统的数据处理技术已经无法胜任，需求催生技术，一套用来处理海量数据的软件工具应运而生，这就是大数据！ 2、数据的处理技术处理海量数据的核心技术：海量数据存储：分布式海量数据运算：分布式 3、常用的大数据框架这些核心技术
转载
2023-11-17 20:24:29
75阅读
二、Hadoop集群搭建2.1、Hadoop安装将Hadoop安装包导入hadoop102的/opt/software文件夹下将Hadoop安装包解压至/opt/module文件夹下[atguigu@hadoop102 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/配置Hadoop的环境变量在/etc/profile.d/my_en
转载
2023-11-11 20:41:10
83阅读
本文主要为帮助大家理解ES原理，了解它为啥快，简化部分内容便于理解。1. ES用途1.1 ES是什么？ES是建立在Lucene基础之上的分布式准实时搜索引擎。核心：分布式和Lucene全文搜索。1.2 什么场景需要用ES1. 业务需要进行大量数据实时检索时，传统关系型数据库无法支撑。2. 需要进行分词检索，语义检索3. 需要大数据分析符合上面特征都可以考虑，如日志收集、订单数据链查询，文章检索等。
转载
2024-02-19 17:56:47
118阅读
1. JDK的安装 参考jdk的安装，此处略。2. 安装Zookeeper 参考我的Zookeeper安装教程中的“完全分布式”部分。3. 安装Kafka 参考我的Kafka安装教程中的“完全分布
原创
2017-10-30 16:26:44
10000+阅读
1摘要利用虚拟机实现Spark环境搭建，理解掌握大数据分析集群工作原理。2题目解析面对海量的各种来源的数据，如何对这些零散的数据进行有效的分析，得到有价值的信息一直是大数据领域研究的热点问题。大数据分析处理平台就是整合当前主流的各种具有不同侧重点的大数据处理分析框架和工具，实现对数据的挖掘和分析，一个大数据分析平台涉及到的组件众多，如何将其有机地结合起来，完成海量数据的挖掘是一项复杂的工作。 在搭
转载
2024-03-12 13:53:28
114阅读
转载
2021-07-27 16:12:51
229阅读
在当今大数据时代，构建一个稳定高效的大数据平台已经成为许多企业追求的目标。Kubernetes（K8S）作为一种开源容器编排引擎，能够为大规模部署的容器化应用提供自动化部署、扩展和管理。通过Kubernetes，我们可以轻松地构建一个高可用的、弹性的大数据平台。本文将教您如何使用Kubernetes构建自己的大数据平台。
**构建大数据平台的步骤如下：**
| 步骤
原创
2024-04-30 10:57:01
103阅读
