饿了么技术团队花了1年多的时间，实现了业务的整体异地多活，能够灵活的在多个异地机房之间调度用户，实现了自由扩容和多机房容灾的目标。本文介绍这个项目的中五大核心基础组件中的DAL与GZS，关于项目整体介绍以及其它组件的实现细节可以参考本系列的其它文章。 GZS （Global Zone Service：全局状态协调器）背景多活改造的一个核心是多活流量路由，来源主要包括三个方面:从ezone
转载
2024-01-05 18:05:55
191阅读
对于大数据的学习,没有想象中的那么简单.首先在学习真正的大数据技术之前,你要熟练掌握一门编程语言,比如java等,在学习大数据期间你还会接触到其他的编程语言,比如说Scala、Python等编程语言,不过这些语言都是相通的,你掌握了一门编程语言其他的就很好学习了.大数据的学习需要掌握以下技术:Hadoop、spark、storm等核心技术,如果去培训机构学习的话,一定要注意的是学习周期的分布,有的
原创
2021-07-28 15:30:23
245阅读
2评论
华为大数据认证有用么
在当今数字化时代，大数据已成为企业决策和运营的关键驱动力。随着大数据的快速发展和应用，越来越多的企业开始关注大数据认证，以确保数据的准确性和可靠性。华为作为全球通信技术领先企业，也推出了华为大数据认证，受到了广泛关注。然而，对于大多数人来说，华为大数据认证是否有用仍然存在一定的疑问。
首先，华为大数据认证对于企业和个人来说都有着重要意义。对于企业而言，通过参与华为大数据认
原创
2024-02-06 12:39:54
108阅读
# 饿了么大数据架构：技术与应用的结合
在当前这个信息化的时代，数据已经成为了企业决策与业务发展的重要基础。作为国内领先的外卖配送平台，饿了么在处理海量数据上有着自己独特的大数据架构。本文将为您全面介绍饿了么的大数据架构，包括其核心组成部分，数据流转方式以及一些简单的代码示例。
## 饿了么大数据架构概述
饿了么的大数据架构主要由以下几个部分组成：
1. **数据采集层**
2. **数据
文章目录1. 简介1.1. innodb 的数据页查询1.2 B+ 树是如何检索记录？2. 如何计算B+树的高度？2.1 定位表的根页2.2 找到mysql的数据目录2.3 计算 page_level3. 一棵树可以存放多少行数据？3.1 指针数如何计算？3.2 实战演练 1. 简介计算机有五大组成部分：控制器，运算器，存储器，输入设备，输出设备。存储器范围比较大，但是数据具体怎么存储，有自己的
本节开始涉及MapReduce的编程设计。1. MapReduce基础1.1 MapReduce1.0 模型简介MapReduce最早是由Google公司提出的一种面向大规模数据处理的并行计算模型和方法。是Hadoop面向大数据并行处理的计算模型、框架和平台。 ① MapReduce将复杂的、运行于大规模集群上的并行计算过程高度地抽象到了两个函数：Map和Reduce。② 编程容易，不需要掌握分
转载
2024-09-21 22:38:40
67阅读
华为大数据认证难么
随着科技的迅速发展，大数据已经成为了一个热门的话题。在大数据时代，数据的价值被越来越多的企业所认可，并且大数据技术也被广泛应用于各个领域。而作为与大数据相关的企业，华为公司一直以来都是领先者之一。然而，华为大数据认证是否难以获得，成为了人们争议的焦点。
首先，我们需要明确一点，即大数据认证是一项技术认证，旨在评估个人或企业在大数据领域的专业能力。与其他技术认证一样，大数据认
原创
2024-02-06 12:00:58
22阅读
**大数据开发需要Java吗？**
作为一名经验丰富的开发者，我可以告诉你，大数据开发通常需要使用Java作为主要编程语言。虽然大数据领域也有其他语言如Python、Scala等被广泛应用，但Java在大数据开发中的地位仍然非常重要。
**流程**
下面是实现大数据开发所需的一般步骤：
| 步骤 | 描述
原创
2024-05-08 10:50:58
67阅读
第4章HDFS 4.1 HDFS 的读写流程细节？HDFS 中的 fsimage 里面存储的是什么信息？副本的存放策略？ 答：这个大家最好回家准备一个详细的流程图然后根据自己的图讲给面试官看4.2 HDFS 的机架感知？ 答：根据副本的存放策略，HDFS 是如何知道多个不同 node 是否在同一个机架上呢 ?在namenode 启动时如果 net.topology.script.file.name
转载
2024-07-16 15:53:59
42阅读
随着互联网在各行各业的不断渗透，“大数据”这个名词出现的频率越来越高，无论是传统行业还是互联网仿佛都在被“大数据”这一抽象化的标签支配着，不由得引起越来越多的人反问：
大数据具体是什么？
大数据和曾经的小数据有什么区别？
是否过誉了？
他到底能在行业上发挥什么作用？
接下来我们一起来认识下大数据究竟是何方神圣~
为什么觉得大数据华而不实？
因为媒体、厂商对大数据的解读，都在给人们造成一种认
转载
2021-06-16 21:37:55
421阅读
前两天，有星球球友问我一个问题，说：
他在某电商平台看上了 iPad Pro，准备买，其实已经有优惠了，但是一想到双十一了，于是就想着等双十一再买，肯定更优惠，然而到了双十一当天，他懵了，256g 双十一价格反而涨了 50，64g 的涨了 200。
他百思不得其解，问我难道双十一都是套路么？
讲真，我是一点不惊讶的。
要问，双十一会不会便宜
原创
2023-04-06 14:54:23
220阅读
万丈高楼平地起在优美的语言也是由一个个文字组合而成，在复杂的程序也是一个个代码敲出来的，只有知道代码的含义，才能组合成模块，才能构造程序世界。\0int main(){ "abcd\0";//字符串语句，没有存入内存不能被使用没有任何意义 '\0';//转义字符，字符串的结束标志 0;//字面常量，表示数字0 '0';//字符 0 在ASCII码中是数字 48 return 0;}比较大
原创
2022-05-06 14:05:41
103阅读
本文作者：盛赫，花名白茶，就职于阿里本地生活中台研发部，多年交易系统建设开发经验，目前转入营销领域继续探索。 叮~,您有新的饿了么订单，正在阿里云上被接单。 这篇文章成型于交易系统重构一期之后，主要是反思其过程中做决策的思路，我没有使用「架构」这个词语，是因为它给人的感受充满权利和神秘感，谈论「架构」让人有一种正在进行责任重大的决策或者深度技术分析的感觉。 如毕玄在系
一、负载均衡技能 负载均衡集群是由一组彼此独立的计算机体系构成，通过常规网络或专用网络进行衔接，由路由器衔接在一起，各节点彼此协作、共同负载、均衡压力，对客户端来说，整个群集能够视为一台具有超高性能的独立服务器。 1、完成原理 完成数据库的 负载均衡技能，首先要有一个能够操控衔接数据库的操控端。在这里，它截断了数据库和程序的直接衔接，由所有的程序来访问这个中间层，然后再
转载
2024-03-04 02:15:29
19阅读
随着科技的发展和信息技术的迅猛进步，大数据概念逐渐走入人们的视野，成为各行各业的热门话题。然而，一些人对大数据持怀疑态度，认为其只是一种虚幻的概念，华而不实。那么，大数据的本质究竟是什么呢？
原创
2023-07-12 15:32:13
125阅读
最近公众号后台收到一个读者的留言，竟然是一篇文章，写了关于他离开传统行业的心路历程，征求了他的意见将内容稍作脱敏和整理分享给大家，希望能够引发大家的思考：我是双非二本，就是媒体永远不会...
转载
2022-12-14 14:44:13
80阅读
K8S（Kubernetes）作为一个开源的容器编排引擎，可以实现自动化部署、扩展和操作应用程序容器，同时也支持大规模集群管理、故障发现和自我修复。那么，K8S会淘汰大数据吗？实际上，K8S与大数据并不是一个竞争的关系，而是可以相互配合的。
下面我将介绍如何在K8S集群中部署大数据应用，以展示K8S与大数据的结合。首先，我们来看一下整个过程的步骤：
| 步骤 | 操作 |
| --- | --
原创
2024-03-20 09:44:31
50阅读
