ZooKeeper（简称 ZK）是一个分布式的，开放源码的分布式应用程序协调服务，是 Google 的 Chubby 一个开源的实现，它是集群的管理者，监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。最终，将简单易用的接口和性能高效、功能稳定的系统提供给用户Zookeeper 主要服务于分布式系统，应用场景包括统一配置管理、统一命名服务、分布式锁和集群管理，使用分布式系统就无法避免
转载
2024-03-22 10:34:51
67阅读
大数据篇：ElasticSearchElasticSearch是什么ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java语言开发的，并作为Apache许可条款下的开放源码发布，是一种流行的企业级搜索引擎。ElasticSearch用于云计算中，能够达到实时搜索，稳定，可靠，快
转载
2024-03-06 22:04:18
15阅读
Alluxio在携程大数据平台中的实践过往记忆大数据过往记忆大数据本文来自于2018年10月27日由Alluxio、七牛主办，示说网协办的AlluxioMeetup上海站。分享嘉宾郭建华，携程大数据平台研发工程师,2016年硕士毕业于上海大学后,一直在携程的大数据平台部门从事离线平台的维护与研发工作,对存储框架HDFS、Alluxio,计算框架SparkSQL和Hive有一定的了解。本文的主要内容
原创
2021-04-01 15:51:39
299阅读
本文来自于2018年10月27日由 Alluxio、七牛主办，示说网协办的Alluxio Meetup 上海站。分享嘉宾郭建华，携程大数据平台研发工程师,2016年硕士毕业于上海大学后,一直在携程的大数据平台部门从事离线平台的维护与研发工作,对存储框架HDFS、Alluxio,计算框架Spark SQL和Hive有一定的了解。本文的主要内容包括离线和实时在携程大数据中都占据重要地位，为了解决资源竞
原创
2021-04-06 10:00:42
224阅读
在大数据时代，大数据平台承载着海量的数据处理和存储任务，数据服务作为大数据平台与用户交互的重要环节，其质量直接影响到整个
大数据概念2011年，美国麦肯锡在研究报告《大数据的下一个前沿：创新、竞争和生产力》中定义大数据是指大小超出典型数据库软件工具收集、存储、管理和分析能力的数据集。但是这个定义过于简单，作为对照理解，Gartner研究机构定义的大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。后者“信息量”比较大，突出了以下几点：大数据是海量、高增长率和多样化的
# 如何实现“spark 大数据平台中的位置”
## 一、流程步骤
| 步骤 | 描述 |
| ---- | ---- |
| 1 | 导入数据 |
| 2 | 数据清洗 |
| 3 | 数据处理 |
| 4 | 位置识别 |
| 5 | 结果展示 |
## 二、具体操作步骤及代码
### 步骤 1：导入数据
```markdown
// 代码示例
val data = spark.re
原创
2024-05-15 06:39:23
45阅读
Zookeeper 集群操作集群操作集群安装1)集群规划在 hadoop113、hadoop114 和 hadoop115 三个节点上都部署 Zookeeper。2)解压安装步骤与本地模式一样，多的操作有：(1) 在/opt/module/zookeeper-3.5.7/zkData 目录下创建一个 myid 的文件
vim myid
在文件中添加与 server 对应的编号(注意:上下不要有空行
转载
2024-03-21 14:02:21
19阅读
假如数据表为Demo，这里中的最大值、最小值、平均值的计算要单位一致，如果单位不一致计算有误。这里给出的只是命令，命令使用
原创
2022-06-15 17:33:40
96阅读
ApacheSpark在海致大数据平台中的优化实践翟士丹大数据技术与架构本文来自由海致网络技术公司翟士丹分享。专注于大数据技术领域，ApacheSparkContributor，有丰富的SparkSQL引擎调优经验。海致全称海致网络技术公司，成立于2013年7月。作为一家技术驱动的创业型公司，海致的创始班底拥有丰富的技术经验。核心团队成员来自百度、微软、IBM、EMC、硅谷等知名企业的资深互联网专
原创
2021-04-03 22:35:59
332阅读
本文来自由海致网络技术公司翟士丹分享。专注于大数据技术领域，Apache Spark Contributor，有丰富的Spark SQL引擎调优经验。海致全称海致网络技术公司，成立于2013年7月。作为一家技术驱动的创业型公司，海致的创始班底拥有丰富的技术经验。核心团队成员来自百度、微软、IBM、EMC、硅谷等知名企业的资深互联网专家。大数据数据平台的核心组成部分多数据整合自助式数据准备...
原创
2021-06-10 20:58:58
295阅读
本文来自由海致网络技术公司翟士丹分享。专注于大数据技术领域，Apache Spark Contributor，有丰富的Spark SQL引擎调优经验。海致全称海致网络技术公司，成立于2013年7月。作为一家技术驱动的创业型公司，海致的创始班底拥有丰富的技术经验。核心团队成员来自百度、微软、IBM、EMC、硅谷等知名企业的资深互联网专家。大数据数据平台的核心组成部分多数据整合自助式数据准备...
原创
2021-06-10 20:58:57
246阅读
本文来自由海致网络技术公司翟士丹分享。专注于大数据技术领域，Apache Spark Contributor，有丰富的Spark SQL引擎调优经验。 海致全称海致网络技术公司，成立于2013年7月。作为一家技术驱动的创业型公司，海致的创始班底拥有丰富的技术经验。核心团队成员来自百度、微软、IBM、EMC、硅谷等知名企业的资深互联网专家。大数据数据平台的核心组成部分多数据整合自助式数据准备可视化探
原创
2021-03-14 13:56:24
257阅读
yarn和zookeeper在大数据集群中的作用
在高效管理大数据集群时，Apache Hadoop的YARN和Apache Zookeeper的角色至关重要。YARN负责资源管理和作业调度，而Zookeeper则提供了分布式协调服务。在接下来的内容中，我将详细介绍它们各自的作用、环境准备和安装过程，并给出故障排查的方法和扩展部署的策略。
## 环境预检
在部署YARN和Zookeeper
网上有很多zookeeper集群部署教程，开始试了好几个都没起来，报了很多错，踩了很多坑，最后自己摸索出来一套最佳实践方法如下：一.zookeeper节点必须是奇数个，因为zookeeper选举的规则：leader选举，要求可用节点数量必须大于总节点数量/2，所以我们这次选用了三台机器部署 三台机器的内网ip分别为 172.31.36.230 172.31.36.231 172.31.36.232
转载
2023-11-14 19:30:36
0阅读
一．Spark是什么Spark是伯克利大学2009年开始研发的一个项目，它是大数据时代下的一个快速处理数据分析工作的框架。spark发展十分迅速，2014年，Hadoop的四大商业机构均宣称全力支持Spark，今后将全面接收基于Spark编写的数据挖掘与分析算法，多家世界顶级的数据企业例如Google，Facebook等现已纷纷转向Spark框架。近两年，Spark在中国的发展达到了一个前所未有的
转载
2023-10-09 11:40:09
59阅读
在这个 AI 浪潮改变人们生活方方面面的时候，人工智能技术也在改变各个岗位的技术研发生态，阿里在这方面走还是非常前端，以阿里前端智能化小组为例，不仅有D2C（Design to Code）的 Imgcook ，前端算法工程体系Pipcook，也有 C2C （Code to Code），智能 UI 等能力。本文重点介绍了C2C 在阿里云飞天大数据平台中的一些实践，期望通过实际的方案介绍让大家对前端智
原创
2021-04-08 10:53:40
766阅读
有没有更简单的办法，可以直接将SQL运行在大数据平台？
原创
2022-04-19 15:40:20
372阅读
点赞
大数据平台 YARN, Zookeeper, Spark 的关系
在如今大数据领域，YARN、Zookeeper和Spark 被广泛应用于数据的处理与存储，它们之间的关系对于企业的业务发展以及系统的稳定性至关重要。我们通过分析这三者的相互关系，提升了系统性能，有效满足了用户的需求和反馈。
用户的原始反馈：
> “我们在大数据平台上遇到性能瓶颈，希望找出 YARN, Zookeeper 和 Sp
