概述：缓存是分布式系统中的重要组件，主要解决高并发，大数据场景下，热点数据访问的性能问题。提供高性能的数据快速访问。热数据：是需要被计算节点频繁访问的在线类数据。冷数据：是对于离线类不经常访问的数据，比如企业备份数据、业务与操作日志数据、话单与统计数据。缓存常见问题（1）缓存穿透：访问一个不存在的key，缓存不起作用，请求会穿透到DB，流量大时DB会挂掉。 解决的办法：1采用布隆过滤器
HDFS简介HDFS:Hadoop Distributed File System(hadoop分布式文件系统) 分布式，感觉好厉害的样子啊，有网络文件系统，有本地文件系统，现在又多了一个分布式的文件系统。之所以是要分布式，是数据要放到多个主机上面去。放的东西在集群中，就是分布式啦！ 想要了解这个东东，先找一张原理图瞅瞅。 看不懂没关系，继续往下瞅就是了。HDFS 1.0每个一学习的模块要搞懂
前言 这两天因为项目组需要迁移演示系统环境，因数据库数据量太大，小k考量之下决定使用冷备份来实现。下面小k给大家简单介绍一下oracle数据库冷备份异机恢复的步骤吧。一、 准备工作1、 查询oracle是什么版本，SELECT * FROM V$VERSION;（要数据库版本一致）2、
同时对于 FutureRetailer 来说，过去的数据分析只是一个方面，更为重要的是对于未来的预测和分析。比如未来商品销售估计，并据此制订采购计划 。随着新零售的兴起，未来的消费者需要的是更为个性化的服务和产品，如何将这种个性化的商品和服务提供给消费者？马爸爸也说过：“纯电商时代过去了，未来十年是新零售的时代”。对 FutureRetailer 来说，未来的购物也许将会是如下情景：1 ）一位资深
转载
2024-09-29 11:23:31
70阅读
HDFS主要用于最初由Yahoo提出的分布式文件系统，以下它的主要用途：1、保存大数据2、提供快速读取大数据的能力Heroop帧的主要特征是通过将数据和计算分布在集群中的各节点服务器来实现分布式计算的目的。在计算逻辑和所需数据接近这一点上，并行计算分区后进行汇总。基本模块HDFS：分布式文件系统(by Yahoo)Mpredues：分布式计算帧(by Google)HBCD：分布式、非关系型数据库
我们在分布式存储原理总结中了解了分布式存储的三大特点：数据分块，分布式的存储在多台机器上数据块冗余存储在多台机器以提高数据块的高可用性遵从主/从(master/slave)结构的分布式存储集群HDFS作为分布式存储的实现，肯定也具有上面3个特点。HDFS分布式存储：在HDFS中，数据块默认的大小是128M，当我们往HDFS上上传一个300多M的文件的时候，那么这个文件会被分成3个数据块： 
转载
2024-04-28 12:35:04
47阅读
导入总览导入（Load）功能就是将用户的原始数据导入到 Doris 中。导入成功后，用户即可通过 Mysql 客户端查询数据。Doris 支持多种导入方式。建议先完整阅读本文档，再根据所选择的导入方式，查看各自导入方式的详细文档。基本概念Frontend（FE）：Doris 系统的元数据和调度节点。在导入流程中主要负责导入规划生成和导入任务的调度工作。Backend（BE）：Doris 系统的计算
转载
2024-06-18 18:27:36
312阅读
智能互联网时代，数据正在以几何级的数量爆炸增长，如何存储并管理这些海量数据，是很多企业面临的一个难题。如果采用传统通用型服务器存储策略，这意味着要建设庞大的数据中心系统，导致存储成本极速攀升。对于那些云服务提供商而言，大量不断增长的数据例如图片等都属于不经常访问，但却又无法删除的，即使客户很久不会访问这些信息，但依然不能随意删除，并且不允许停机归档，也无法实现洪峰数据控制。对于这些不常访问的"冷"
转载
2024-09-05 12:44:05
105阅读
如今，亚马逊网络服务，谷歌云平台，以及微软公司都提供了冷数据云存储服务的产品。每个公司都有一个不同的方法，那么他们的方法如何进行比较? 这是一个专门为数据访问不太频繁设计的的存储服务器。其作用是存储例如存储在Facebook网站中的老照片。该公司优化了低硬件成本，高容量和存储密度，以及低功耗。Facebook公司建立了独立的简化的数据中心，只是为了容纳这些冷数据存储服务器。 处理海量数据
概述对于任何一种数据库类软件来说，无论其基于传统数据库模型还是基于分布式结构，作为核心的永远是数据本身。而数据的生命周期，则体现在CRUD操作（创建、查询、更新、删除）上。任何一条数据从其生成的时刻开始，数据价值随着时间的推移而逐渐降低，直至成为无用数据，最终删除。作为使用数据的主体用户，对于各种数据的需求程度是不同的，人们往往对重要的数据有更高效、稳定的访问需求；而对于不重要的数据则没有这么高的
在《HDFS源码分析DataXceiver之整体流程》一文中我们知道，无论来自客户端还是其他数据节点的请求达到DataNode时，DataNode上的后台线程DataXceiverServer均为每个请求创建一个单独的后台工作线程来处理，这个工作线程就是DataXceiver。并且，在线程DataXceiver处理请求的主方法ru
转载
2024-09-21 06:52:27
69阅读
如果我们一次性入库hbase巨量数据，处理速度慢不说，还特别占用Region资源，一个比较高效便捷的方法就是使用“Bulk Load”方法，即HBase提供的HFileOutputFormat类。 它是利用hbase的数据信息按照特定格式存储在hdfs内这一原理，直接生成这种格式文件，然后上传至合适位置，即完成巨量数据快速入库。配合mapreduce完成，高效便捷，而且不占用region资源。
转载
2024-08-23 13:58:49
104阅读
场景：
有一个订单功能，里面的主表有几千万数据量，加上关联表，数据量达到上亿。我们尝试了优化表结构、业务代码、索引、SQL 语句等办法来提高响应速度，但查询速度还是很慢。一、什么是冷热分离最终，我们决定采用一个性价比高的解决方案，在处理数据时，我们将数据库分成了冷库和热库 2 个库，不常用数据放冷库，常用数据放热库。这就是“冷热分离”。二、什么情况下使用冷热分离？数据走到终态后，只有读没有写的需求
转载
2024-07-09 14:47:43
259阅读
本次为大家带来的是第一期内容回顾： 《Doris核心功能介绍——数据模型和物化视图》
本期主讲人：缪翎百度研发工程师Doris PPMC 讲座主要分为四部分内容：Doris是什么Doris的两种数据模型Doris的物化视图适用场景总结 Doris是什么 首先 Doris 是一个有着MPP架构的分析型数据库产品。对于PB数量级、结构化数据可以做到亚秒级查询响应。
导读 本文详细地介绍了Doris的compaction机制。
首先，从producer-consumer模式以及compaction任务提交的permission机制对compaction的总体设计和架构原理进行了剖析；然后，针对cumulative compaction的size_based策略进行了详细地介绍；最后，对base compaction的流程进行了深入地
转载
2024-05-13 15:47:50
243阅读
数据库相关术语：（1）冷备份： 冷备份是将数据库关闭之后，将数据文件、联机日志文件、控制文件拷贝到其他地方进行备份。此外，冷备份也可以包括对参数文件和口令文件的备份，但是这两种文件的备份是可以根据需要进行选择的，冷备份实际上也是一种物理备份。（2）热备份： 热备份是相对于冷备份而言的，不需要停机操作，直接可以在线采用archive mod
存储的一个基本原则是不要将需要访问的项目迅速放入难以再次获取的位置：这就像是把速溶咖啡放倒保险箱里，自己给自己找麻烦。 有价值的数据不应该与常规数据一起保存在速度较低的磁盘驱动中。热数据——经常需要使用的信息——应该保存在速度较快的磁盘驱动上。但是这些驱动不应与旧数据混到一起。存储管理员对此已经有了几年的了解，但是他们仍然需要解决下列问题：热数据是如何被识别，并从快速存储转移到慢速存储，以及应多
再写 HDFS Federation机制的时候，发现基础不扎实，需要将之前的hadoop再详细记录一下原理（重点只说Hadoop2.0版本）： Hadoop2.0版本，引入了Yarn。核心：HDFS+Yarn+MapreduceYarn是资源调度框架。能够细粒度的管理和调度任务。此外，还能够支持其他的计算框架，比如spark等。存储的基础知识以及原理：元数据信息和
转载
2024-09-19 13:14:19
49阅读
HDFS的读写流程 & secondary namenode的数据写入流程1）HDFS的数据写入流程
2）HDFS的数据读取流程
3）SNN的数据写入的流程1）HDFS的数据写入流程（1）客户端发送写入请求给 namenode（2）namenode 接收到请求，然后首先判断当前操作的用户是否具有写入的权限，如果没有则拒绝请求，如果有权限，接着判断要写入的数据目录下是否存在这个文件，如果存在
转载
2024-09-27 14:47:38
61阅读
有Sqoop和DataX之类数据处理为何还要用Apache SeaTunnel，这就要得益于Apache SeaTunnel依赖Flink和Spark天然分布式处理数据的特性，前两者是单机同步数据不适于海量数据同步，以低代码方式用配置文件就可以启动Flink数据处理应用，本篇从基本概念和原理入手，并通过部署SeaTunnel演示了多个基于Flink的Source和S
