大数据-Hadoop是什么，如何部署1.是什么？2.架构2.1 HDFS(分布式文件系统)2.1.1NameNode（简称nn）2.1.2DataNode（dn）2.1.3Secondary NameNode（2NN）2.2 YARN（资源管理器/协调者）2.2.1 Resource Manager2.2.2 NodeManager2.2.3 AppllicationMaster2.3 MapR
转载
2024-10-22 07:39:09
29阅读
本篇博客重点介绍如何使用Kylin来构建大数据分析平台。根据官网介绍，其实部署Kylin非常简单，称为非侵入式安装，也就是不需要去修改已有的Hadoop大数据平台。你只需要根据的环境下载适合的Kylin安装包，选择一个Hadoop节点部署即可，Kylin使用标准的Hadoop API跟各个组件进行通信，不需要对现有的Hadoop安装额外的Agent。最底层是数据来源层，我们可以通过Sqoop等工具
转载
2023-07-15 13:58:12
271阅读
大数据平台生产环境部署指南@(Hadoop)总结一下在生产环境部署Hadoop+Spark+HBase+Hue等产品遇到的问题、提高效率的方法和相关的配置。集群规划假设现在生产环境的信息如下：服务器数量：6操作系统：Centos7Master节点数：2Zookeeper节点数：3Slave节点数：4划分各个机器的角色如下：主机名角色运行进程hadoop1MasterNamenodehadoop2M
转载
2023-10-17 12:52:53
311阅读
一、大数据平台大数据在工作中的应用有三种：与决策相关，数据科学的领域，了解统计学、算法，这是数据科学家的范畴；与工程相关，如何实施、如何实现、解决什么业务问题，这是数据工程师的工作。数据工程师在业务和数据科学家之间搭建起实践的桥梁。本文要分享的大数据平台架构技术选型及场景运用偏向于工程方面。如图所示，大数据平台第一个要素就是数据源，我们要处理的数据源往往是在业务系统上，数据分析的时候可能不会直接对
转载
2024-04-30 22:16:05
294阅读
prefacePython在大数据行业非常火爆近两年，as a pythonic，所以也得涉足下大数据分析，下面就聊聊它们。Python数据分析与挖掘技术概述所谓数据分析，即对已知的数据进行分析，然后提取出一些有价值的信息，比如统计平均数，标准差等信息，数据分析的数据量可能不会太大，而数据挖掘，是指对大量的数据进行分析与挖倔，得到一些未知的，有价值的信息等，比如从网站的用户和用户行为中挖掘出用户的
转载
2023-08-22 15:40:28
138阅读
本次视频直播的整理文章整理完毕，如下内容。数据分析和机器学习大数据基本都是建立在Hadoop系统的生态上的，其实一个Java的环境。很多人喜欢用Python和R来进行数据分析，但是这往往对应一些小数据的问题，或者本地数据处理的问题。如何将二者进行结合使其具有更大的价值？Hadoop现有的生态系统和现有的Python环境如上图所示。MaxComputeMaxCompute是面向离线计算的大数据平台，
转载
2024-06-05 08:46:32
127阅读
标签（空格分隔）：大数据运维专栏一：datasophon的介绍1.1datasophon的介绍DataSophon是近日开源的一款国产自研大数据管理平台，致力于快速实现部署、管理、监控以及自动化运维大数据服务组件和节点的能力，帮助你快速构建起稳定、高效的大数据集群服务。主要有以下特性:极易部署，1小时可完成300节点的大数据集群部署国产化兼容，兼容ARM服务器和常用国产化操作系统监控指标全面丰富，
推荐
原创
2023-01-11 15:36:41
6272阅读
点赞
OpenStack领域的盛会OpenStack Summit上周在东京盛大举办，引起业界广泛关注。UnitedStack有云亮相峰会，并在会上宣布在其系统UOS平台上新增的MySQL服务，用来帮助用户打造可扩展和高可靠性的云数据库。UOS的数据库服务提供快速部署的高性能数据库集群服务，支持在线扩容、实时备份、监控告警等多种高效数据库运维工具，实现应用服务与数据库无缝隙运维和管理。本次推出的MySQ
转载
2023-09-06 16:55:21
95阅读
笔记内容：一、模块Python越来越被广大程序员使用，越来越火爆的原因是因为Python有非常丰富和强大标准库和第三方库，几乎可以实现你所想要实现的任何功能，并且都有相应的Python库支持，比如用于简单绘图的turtle标准库，网络爬虫的requests请求库、解析库lxml、BeautifulSoup等等的第三方库这些都是Python的模块。这些库也就是我们所说的模块。标准库：不需要下载安装就
转载
2024-06-03 15:37:40
51阅读
对于Pandas运行速度的提升方法，之前已经介绍过很多回了，里面经常提及Dask，很多朋友没接触过可能不太了解，今天就推荐一下这个神器。1、什么是Dask？Pandas和Numpy大家都不陌生了，代码运行后数据都加载到RAM中，如果数据集特别大，我们就会看到内存飙升。但有时要处理的数据并不适合RAM，这时候Dask来了。Dask是开源免费的。它是与其他社区项目（如Numpy，Pandas和Scik
转载
2023-10-02 06:03:55
73阅读
更多精彩 第一时间直达✎摘要在大数据库领域，Python是最常被使用的编程语言，因此了解与其相关的数据分析工具是很有必要的。如果你正在使用virtualenv、pyenv或其他变体在自己的环境中运行Python，那么，可以尝试本文推荐的三大开源工具。（注：本文示例使用IPython，请确保已经安装）本文选取的示例数据是最近几天从某网站获取的实际生产日志数据，从技术层面来看，这些数据并不能算作是大数
转载
2023-09-14 16:49:31
57阅读
现如今，数据的重要性日益凸显。在运用数据的一起，数据的运用和挖掘也决定着企业的竞赛价值。数据从开始的原始状况经过数据分析技术的整合，变成关于企业有利的数据源。那么，业务数据分析的思路有哪些呢? 1、简单趋势 经过实时拜访趋势了解供货商及时交货状况。如产品类型，供货商区域(交通因子)，收购额，收购额对供货商占比。 2、多维分化 依据分析需要
转载
2023-12-15 17:19:28
191阅读
## 自动部署loongarch hadoop大数据平台的流程
### 流程图
```mermaid
flowchart TD
A[准备环境] --> B[下载Hadoop安装包]
B --> C[解压Hadoop安装包]
C --> D[配置Hadoop集群]
D --> E[启动Hadoop集群]
```
### 步骤详解
#### 1. 准备环境
在进行Hadoop大
原创
2023-11-23 10:27:17
66阅读
大数据是信息化发展到一定周期的产物。伴随着信息技术和人类生产生活深度融合，互联网迅速普及，全世界数据呈爆发增长、海量集聚的特征，对经济增长、社会进步、国家整治、群众生活都产生了重大影响。我国大数据发展有着特有优势综观全球，我国大数据发展有着特有优势。我国大数据发展总体上仍处于起步时期。尽管迅速发展的局势基本形成，但在数据开放分享、关键技术提升、以大数据驱动转型等领域都遭遇重重挑战。在推进施行国家大
转载
2024-09-09 09:34:06
89阅读
Hadoop全分布部署：分布式搭建完成后，根据Hadoop两大核心组成，可以通过检测这 HDFS 分布式文件系统和 MapReduce 来完成监测工作
原创
2021-04-13 20:37:29
561阅读
作者：猛禽1. 基本结构其实没什么高深的东西，无非是常用的那一套：pandas, numpy, matplotlib…但是为了更方便使用，加持了 jupyter notebook（即以前的ipython notebook）……又为了更方便使用，前端加了nginx或apache反代……双为了更安全，加持了Let’s Encrypt的HTTPS（只是这台服务器没有80端口，原因你懂的，所以不能用我以前
转载
2023-12-09 21:26:05
68阅读
零基础怎么系统学习大数据?大数据技术是指从各种各样类型的巨量数据中，快速获得有价值信息的技术。解决大数据问题的核心是大数据技术。零基础怎么系统学习大数据?首先我们先了解一下什么是大数据。"大数据"是一个体量特别大，数据类别特别大的数据集，并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理和处理。大数据工程师需要学习哪些知识?一、从入门到进阶，大致罗列了8大学习阶段：第一阶段 Java语言
转载
2023-08-04 14:58:18
106阅读
大家好，我是明哥！1. 趋势介绍与阐述：大数据和云计算进一步深度融合, 拥抱云计算走向云原生化首先我们来解读下“大数据和云计算进一步深度融合, 拥抱云计算走向云原生化”：云原生（Cloud Native）理念，本质上是一套“利用云计算技术为用户降本增效”的最佳实践与方法论；大数据拥抱云计算走向云原生化，其驱动力来自于以下四个方面：一是各个具体的大数据组件都在主动改变自身架构，积极“云化”以适应云部
转载
2024-03-13 16:18:49
110阅读
大数据分析平台作为大数据应用最前沿的技术，一直受到人们的期待和关注。大数据分析平台能承载从数据提取到数据价值变现过程中所有功能。而在这个过程中，有三个方面值得关注和重点发展。 数据可视化功能 数据可视化是当下最热门的大数据应用技术，数据可视化就是将数据或者数据分析结果以图表的形式展示在各种平台上。这要求大数据分析平台有着强大的数据图表渲染功能，并且要内置丰富的可视化
转载
2023-12-23 21:09:50
68阅读
今天给大家分享一个制作数据大屏的工具，非常的好用，100行左右的Python代码就可以制作出来一个完整的数据大屏，并且代码的逻辑非常容易理解。PywebIO介绍Python当中的PywebIO模块可以帮助开发者在不具备HTML和JavaScript的情况下也能够迅速构建Web应用或者是基于浏览器的GUI应用，PywebIO还可以和一些常用的可视化模块联用，制作成一个可视化大屏，我们先来安装好需要用
转载
2023-08-21 11:06:23
234阅读
