Hadoop 可以通过 HDFS 来存储结构化、半结构甚至非结构化的数据，它是传统数据库的补充，是海量数据存储的最佳方法，它针对大文件的存储，批量访问和流式访问都做了优化，同时也通过多副本解决了容灾问题。但是 Hadoop 的缺陷在于它只能执行批处理，并且只能以顺序方式访问数据，这意味着即使是最简单的工作，也必须搜索整个数据集，无法实现对数据的随机访
转载
2023-07-12 20:39:42
58阅读
# 科普文章：HBase滴滴
## 1. 介绍
在大数据领域，HBase是一种常用的分布式NoSQL数据库，它具有高可靠性、高性能和高扩展性的特点。滴滴作为中国最大的出行服务平台之一，也在其大数据平台中广泛使用HBase来存储和查询海量数据。本文将介绍HBase在滴滴中的应用以及相关的代码示例。
## 2. HBase基础概念
### 2.1 数据模型
HBase的数据模型是基于行（ro
原创
2024-03-17 06:30:57
26阅读
大家好，我是不才陈某~无论多么复杂的业务场景，一条数据的一生都体现在CRUD操作上，正是创建、查询、修改、删除。正如人的生死轮回，数据亦是如此，一条数据随着时间的流逝，其价值也是在逐渐变小。数据存在的价值则是在于它被使用的程度，在不同的系统中，人们对于不同时期的数据有着不同的需求。比如12306、携程上的火车、机票订单，人们往往只关注30天之内的订单，而携程正是默认只保留30天的订单信息，超过30
转载
2024-02-01 11:23:43
107阅读
桔妹导读：滴滴HBase团队日前完成了0.98版本 → 1.4.8版本滚动升级，用户无感知。新版本为我们带来了丰富的新特性，在性能、稳定性与易用性方便也均有很大提升。我们将整个升级过程中面临的挑战、进行的思考以及解决的问题总结成文，希望对大家有所帮助。 1. 背景 目前HBase服务在我司共有国内、 ...
转载
2020-06-10 17:44:00
137阅读
2评论
关键算法 / 流程
region定位
系统如何找到某个row key (或者某个 row key range)所在的region
bigtable 使用三层类似B+树的结构来保存region位置。
第一层是保存zookeeper里面的文件，它持有root region的位置。
转载
2023-07-12 11:14:32
173阅读
同时记了大量笔记，整理后分享出来，希望对大家有所帮助，拓展眼界非常重要。内容比较多（已经精简过），大家可以挑自己感兴趣的学习，强烈建议三连 ，这波实在是太花费时间和精力了，不要白嫖 ????。目录百度内部业务 ServieMesh 实践。云原生开发平台在腾讯游戏运营中的实践。快狗打车可持续交付实践。网易数帆从微服务框架到服务网格架构平滑演进及最佳实践。不破不立：企业级研发效能提升的创新实
333333333333333
原创
2013-01-27 11:39:45
751阅读
前言 前段时间小编分享过GIS矢量数据压缩技术-GeoBuf，并对源码做了相关完善，后面一直想将该技术应用在实际的工程中。于是在2021年年末有了新的想法，刚好想做一个Hbase数据管理的工具箱，涉及到shp、gdb等数据存到Hbase数据库中以及Hbase数据写出至shp或gdb中，其中有数据传输过程，便将geobuf技术融合到工具中。背景&n
转载
2023-07-14 15:56:21
192阅读
台式电脑开机的时候会有嘀嘀嘀的响声这一个特点，不知道各位经常使用电脑的用户时候会有发现，同时也是否会留意到我们的电脑在开机的时候其实是会有不同数量以及模式的滴滴声响。如果各位有发现的话，就会明白其实这个滴滴响的声音其实和我们的电脑状况有很大的联系。那么接下来，小编就来给大家介绍一下如果我们的电脑在开机的时候，响三声的话到底是什么意思，以及我们的电脑为什么会滴滴响的原因吧。电脑为什么会滴滴响电脑刚开
有网友反映自己电脑蓝屏后主机发出滴滴的响声，很担心是不是坏了，其实不一定，可以试着解决。下面就由学习啦小编跟大家分享一下解决方法吧，希望对大家有所帮助~电脑蓝屏后主机滴滴的响处理方法1. 按住“电源按钮”保持5秒左右支持系统关机;2. 按“电源按钮”将电脑开机;3. 重复1-2步骤3次;4. 你将看到恢复界面，选择“高级恢复选项”---“疑难解答”5. 选择“高级选项”;6. 选择“启动设置”;7
转载
2024-10-19 11:13:05
69阅读
桔妹导读：本文是对滴滴智能客服团队的论文《Towards Building an Intelligent Chatbot for Customer Service: Learning to Respond at the Appropriate Time》的详细解读，在这篇论文中，滴滴提出一种应用于智能对话系统的多轮应答时机触发模型（Multi-turn Response Triggering Mo
转载
2024-04-22 11:55:21
57阅读
linux系统的启动流程关于linux系统的启动流程我们可以按步进行划分为如下：BIOS POST自检BIOS(Boot Sequence)引导操作系统 加载对应引导上的MBR(bootloader)主引导设置加载其BootLoader加载操作系统启动BIOS，准备实模式下的中断向量表和中断服务程序电脑启动后，CPU逻辑电路被设计为只能运行内存中的程序，没有能力直接运行存在于软盘或硬盘中的操作系统
转载
2024-09-06 11:32:35
74阅读
# Swift发出滴滴滴声音
在Swift编程语言中，我们可以通过使用特定的库和方法来实现发出滴滴滴声音的效果。在本文中，我们将介绍如何使用Swift语言来实现这一功能，并通过代码示例演示具体的实现方法。
## 使用AVFoundation库
为了发出声音，我们可以使用AVFoundation库中的AVAudioPlayer类。这个类提供了一种简单的方法来播放音频文件。首先，我们需要导入AV
原创
2024-03-21 07:13:41
89阅读
出品 | 滴滴技术▍前言：现在很多互联网公司都有自己的机器学习平台，冠以之名虽然形形色色，但就平台所要解决的问题和技术选型基本还是大同小异。所谓大同是指大家所要处理的问题都相似，技术架构和选型也差不太多，比如都会使用 GPU 集群、采用 Spark 或 K8s 平台等。所谓小异是指各家规模不同，各家都在结合自己的情况、所处的阶段并根据自己的特点解决平台化的问题。滴滴机器学习平台的治理思路主要是：减
转载
2023-07-12 15:58:41
301阅读
先简单交代一下背景吧，某不知名 985 的本硕，17 年毕业加入滴滴，之后跳槽到了头条，一直从事后端研发相关的工作。之前没有实习经历，算是两年半的工作经验吧。这两年半之间完成了一次晋升，换了一家公司，有过开心满足的时光，也有过迷茫挣扎的日子，不过还算顺利地从一只职场小菜鸟转变为了一名资深划水员。在这个过程中，总结出了一些还算实用的划水经验，有些是自己领悟到的，有些是跟别人交流学到的，在这里跟大家分
转载
2023-11-28 23:24:32
131阅读
正文HBase 客户端会将查询过的 HRegion 的位置信息进行缓存，如果客户端没有缓存一个HRegion 的位置或者位置信息是不正确的，客户端会重新获取位置信息。如果客户端的缓存全部失效，则需要进行多次网络访问才能定位到正确的位置。1. Region 的分配任何时刻，一个Region 只能分配给一个 RegionServer。Master 跟踪当前有哪些可用的 RegionServer，以及当
转载
2024-07-01 18:31:16
72阅读
HBase和Phoenix的优势大家众所周知，想要落地实践却问题一堆？replication的随机发送、Connection的管理是否让你头痛不已？本次分享中，滴滴以典型的应用场景带大家深入探究HBase和Phoenix，并分享内核改进措施。本文将围绕一下几个方面进行介绍：1. HBase特性应用与内核改进2. Phoenix改进与实践3. GeoMesa应用简介与展望4. 稳定性&am
原创
2021-04-01 20:04:02
442阅读
今天，在中国网约车市场，滴滴是一家独大。
原创
2021-12-31 16:16:04
199阅读
决策树C#的实现探索关于GBDT的概念性的文章，这里不再重复了，请自行百度一下。决策树（分类）组委会是要求测算GAP值，是个定量问题。在这之前，我们看一下是否能够限定性分析一下GAP的高低呢？从滴滴算法大赛的数据可以知道，数据的特征值大约有这些：天气相关：天气类型，PM2.5(离散化处理)，温度(离散化处理)交通状态：需要将原有数据重新计算为一个新的指标，例如将拥挤度进行加权平均。POI数据：挑选
转载
2024-05-27 16:59:56
62阅读
在第一章里，我们对监控系统做了概要介绍，这一章，重点深入讲解监控数据采集。监控数据采集是整个监控系统的第一环节，小伙伴们搬个小板凳，注意听讲了。来，开篇一张图，内容全靠编，监控指标全景蓝图： 说是监控指标全景蓝图，略有噱头之嫌，其实缺少了链路和端的监控指标，这个图描述的主要是服务端相关的指标。一、资源层面这个层面的指标，主要是包括各种硬件设备、操作系统等，比如通过ipmi采集到的一些风
转载
2024-03-21 09:32:47
70阅读
