1.Hadoop集群搭建及使用(1).集群规划；(2).虚拟机准备；1、创建虚拟机（具体步骤不再展示）；2 、配置网络；ping外网：ping baidu.com如果ping不通#修改如下文件：
vi /etc/sysconfig/network-scripts/ifcfg-ens-33重启网络服务：service network restart配置静态IP：打开VMware->编辑->
转载
2024-05-28 10:07:29
103阅读
点赞
1评论
概述：谨以此文献给对数据有热情，想长期从事此行业的年轻人，希望对你们有所启发，并快速调整思路和方向，让自己的职业生涯有更好的发展。 根据数据应用的不同阶段，我将从数据底层到最后应用，来谈谈那些数据人的必备技能。
1、大数据平台目前很火，数据源头，各种炫酷新技术，搭建Hadoop、Hive、Spark、Kylin、Druid、Beam~，前提是你要懂Java，很多平台都是用Java开发的。目前
转载
2024-01-29 11:25:05
35阅读
不少人把数据中心、云计算数据中心、大数据搞混淆，觉得这三者是一样的产品，其实有显著的区别，数据中心机房是一整套复杂的设施，如今，云计算即将成为信息社会的公共资源，而数据中心则是支撑云计算服务的基础设施，所以自从云计算横空出世，一切信息技术都开始围着它转，云计算有如神一样地存在着，下面看看数据中心、云计算、大数据之间有什么区别和联系? 大数据 1、大数据(BigData)又称为巨量资料，指需
转载
2023-10-22 12:52:28
19阅读
# 大数据云平台发展
## 1. 什么是大数据云平台
大数据云平台是指基于云计算技术构建的用于存储、管理、处理和分析大规模数据的平台。通过云平台，用户可以方便地访问和处理海量数据，实现数据的价值挖掘和应用。
## 2. 大数据云平台的发展历程
随着云计算、大数据技术的不断发展，大数据云平台也逐渐成为企业数据处理和分析的首选解决方案。大数据云平台的发展历程一般可以分为以下几个阶段：
- 阶
原创
2024-04-25 06:43:39
40阅读
# 大数据云平台研发入门指南
在当今信息化时代，大数据云平台的研发已经成为技术领域的重要方向。对于刚入行的小白来说，了解整个研发过程以及具体实现步骤是至关重要的。本文将为你提供一个完整的流程，并逐步指导你在一个项目中如何实现大数据云平台的开发。
## 流程概述
以下是大数据云平台研发的主要流程：
| 步骤 | 描述 |
|------|---
EDAS(微服务管理平台)EDAS兼容SpringCloud,Dubbo,HDFS，它是阿里提供的微服务管理平台ECS（云服务器）云服务器,阿里云提供的性能高,稳定可靠，弹性扩展的云计算服务,实现计算资源的即开即用,弹性伸缩。 RDS（关系型数据库）云关系型数据库稳定可靠的,可弹性伸缩的在线数据库服务阿里云关系型数据库RDS包含MySQL、SQL Server、PolarDB、PostgreSQL
转载
2023-08-06 12:04:12
164阅读
在今天的大数据时代，大数据平台的运维搭建是至关重要的，而Kubernetes（K8S）作为一个功能强大的容器编排工具，可以帮助我们更高效地管理大规模的容器化应用。在本文中，我将教会你如何实现大数据平台运维搭建，通过使用K8S来管理和部署大数据应用。
整个搭建过程可以分为以下几个步骤：
| 步骤 | 操作 |
|-----|------|
| 1 | 搭建K8S集群 |
| 2 | 部署
原创
2024-04-30 10:57:17
71阅读
一、概述 数据 库运维服务服务是指针对用户数据库开展的软件安装、配置优化、备份策略选择及实施、数据恢复、数据迁移、故障排除、预防性巡检等一系列服务。二、主要服务内容 1、数据库安装与配置；主要指定制数据库安装配置方案，检查软件安装环境，安装数据库软件，完成数据库配置，并测试之；
转载
2024-10-21 13:37:29
48阅读
之前几周的时间一直是在围绕DKhadoop的运行环境搭建写分享，有一些朋友留言索要了dkhadoop安装包，不知道有没有去下载安装一探究竟。关于DKHadoop下载安装基本已经讲清楚了，这几天有点空闲把大快DKM大数据运维管理平台的内容整理了一些，作为DKHadoop相配套的管理平台，是有必要对DKM有所了解的。DKM 是DKHadoop管理平台。作为大数据平台端到端Apache Hadoop 的
转载
2024-07-26 01:13:01
58阅读
# 大数据云平台建设标准入门
在现代科技发展的背景下，大数据的应用日渐广泛。为了有效地管理、存储和分析海量数据，越来越多的企业开始构建大数据云平台。本文将介绍大数据云平台建设的标准，并通过代码示例和图表进行说明。
## 什么是大数据云平台？
大数据云平台是一种通过云计算技术来支持数据存储和分析的综合性服务平台。它结合了大数据技术与云计算，为企业提供可扩展、高效的数据处理能力。构建这样的平台需
# 大数据云平台开发项目入门指南
## 简介
大数据云平台是处理和分析大量数据的关键基础设施。本文将指导你整个开发流程，包括从需求分析到项目上线的每个步骤，同时提供示例代码，便于理解如何实现这些步骤。
## 项目开发流程
下面是一个简要的开发流程表：
| 步骤 | 描述 |
|------------|-------
原创
2024-09-18 06:06:59
94阅读
作者简锋, 阿里云 EMR Studio 负责人2021年11月，EMR Studio：新一代开源大数据开发平台正式开启公测。EMR Studio 能够无缝关联 EMR 集群（EMR on ECS 和 EMR on ACK）的计算引擎提交任务，提供了交互式开发、任务调度和任务监控等开源大数据开发使用服务。覆盖了大数据处理 ETL、交互式数据分析、机器学习和实时计算等多种应用场景。本文主要
未来，应用和软件正朝着智能的方向发展：无论是云、本地化开发
原创
2023-03-09 15:46:22
317阅读
1.最后分析或真空或创建表或等... Select * from pg_stat_operations where schemaname='SCHEMA NAME ' and actionname in ('ANALYZE','VACUUM') order by statime;2.长时间查询空闲： Select * from pg_stat_activity order by query_
原创
2022-01-25 09:42:11
314阅读
1.如何获取查询运行时和已用时间。例子:Select tstart, tfinish, (tfinish-tstart) as total_time, trim(query_text) from queries_history Where tstart >= '2011-07-07 11:00:00' and tstart < '2011-07-07 13:00:00'and db =
原创
2022-01-20 17:47:53
184阅读
在当今的大数据时代，大数据平台的搭建与运维是至关重要的。Kubernetes（K8S）作为一个优秀的容器管理平台为大数据平台搭建与运维提供了便利。在本文中，我将向你介绍如何使用Kubernetes搭建和运维一个大数据平台。
首先，让我们来看看整个流程的步骤：
| 步骤 | 操作 |
|------|--------------
原创
2024-04-30 10:57:48
97阅读
# 实现大数据平台搭建及运维
作为一名经验丰富的开发者，我将向你介绍如何实现大数据平台的搭建及运维。大数据平台是一个包含多个关键组件的复杂系统，包括Hadoop、Spark、Kafka等工具。我们将主要关注Kubernetes（K8S）作为大数据平台的管理工具，通过Kubernetes可以方便地部署、扩展和管理大数据应用。
## 整体流程
首先，让我们来看看实现大数据平台搭建及运维的整体流程
原创
2024-04-30 10:57:33
133阅读
一,操作命令01,启动gpstart参数说明 View Code 操作实例gpstart -m只启动mastergpstart -a -y正常启动不提示确定信息,同时不启动master standy执行过程1 1)获取环境变量,如GPHOME, MASTER_DATA_DIRECTORY等信息。 2 3 2)检查Greenplum的版本,如果gpstart脚本的版本与数据目录的Gre
原创
2022-01-25 09:54:02
850阅读
如今企业对于数据的需求已经不单单需要一个大数据底层和大数据存储的方案，而是想要从数据获取到大数据全链条端到端整体的解决方案。人类对数据的管理挖掘和需求越来越旺盛，在解决问题的时候，牵扯到的数据量和维度也是不断爆炸、不断增长的，如何更好、更轻松地挖掘和管理数据是如今面临的最大问题。 随着系统的不断增加和积累，沉淀在系统深处的数据也更加难以提取和整合，后期的报表展示和可视化分析也就成
转载
2023-08-20 15:00:48
98阅读
一、研发背景应当前大数据趋势的步伐，我们公司成立大数据开发部主攻大数据方面的研发，也颇有成效的研发出一些产品，但这些产品，分布较为分散，从整体规划来说，不利于统一管理；对于客户使用来说，没有整体关联性，客户会对大数据管理平台内都包含哪些产品模糊不清；所以想就大数据管理平台来做个首页，来解决以上的问题。二、需求阶段走过的坑 对公司整体对大数据平台的规划理解不清晰，导致目标定位不明确 ①当前大数据
转载
2023-08-07 17:04:01
151阅读
