Sqoop：sqoop在hadoop生态系统中也是应用率比较高的软件，主要是用来做ETL工具，由yadoo研发并提交给Apache。Hadoop整个生态圈里面，大部分的应用都是Yadoo研发的，贡献非常大。Yahoo里面出来两拨人，分别组建了Cloudera和Hortonworks。所谓ETL，就是数据的抽取(extract)加载(load)转换(transform)。将一种格式或表现形式的数据，
转载
2023-12-05 09:22:18
79阅读
导读本文介绍了某国有大行推出的本地生活服务类 APP 在数字时代的创新应用实践。该 APP 利用金融科技和互联网平台模式，打造“金融+非金融”的线上生态服务平台，满足了用户多样化的生活需求。为应对用户增长和数据量增加带来的挑战，该 APP 决定采用新一代 HTAP 数据库 TiDB 替换原系统中的 Oracle RAC，以提升整个系统的处理能力、扩展能力和服务能力。 文章介绍了 TiDB
转载
2024-09-09 18:20:48
66阅读
目录一、方案选择1.1 对比1.2 小结二、tidb安装体验2.1 ubuntu14.04安装tidb2.2 数据导入2.3 项目运行测试2.4 分布式事务测试 一、方案选择当数据库表中的记录量达到百万级别以上，那么就必须考虑分库分表或者使用分布式数据库。分库分表是比较常见的方案，一种是在客户端直接实现，比较出名的有sharding-jdbc，另一种是使用代理方式，常用的有mycat。分布式数据
转载
2023-11-17 20:30:11
8阅读
# TiDB和MySQL的区别
## 简介
TiDB是一个分布式的NewSQL数据库，由PingCAP公司开发并维护。与传统的关系型数据库MySQL相比，TiDB具有许多独特的特点和优势。本文将介绍TiDB和MySQL的区别，并提供相应的代码示例来说明这些区别。
## 分布式架构
TiDB采用分布式架构，将数据和查询操作分散在多个节点上，以实现高可用性和横向扩展能力。相比之下，MySQL是
原创
2024-01-20 09:32:14
232阅读
一、概述 TiDB 是 PingCAP 公司设计的开源分布式 HTAP (Hybrid Transactional and Analytical Processing) 数据库，结合了传统的 RDBMS 和 NoSQL 的最佳特性。TiDB 兼容 MySQL，支持无限的水平扩展，具备强一致性和高可用性。TiDB 的目标是为 OLTP (Online Transactional Processin
转载
2023-10-01 20:16:53
176阅读
对于刚接触大数据的用户来说，要想区分Hive与HBase是有一定难度的。本文将尝试从其各自的定义、特点、限制、应用场景等角度来进行分析，以作抛砖引玉之用。
转载
2023-05-21 15:23:54
175阅读
1、什么是大数据？基本概念在互联网技术发展到现今阶段，大量日常、工作等事务产生的数据都已经信息化，人类产生的数据量相比以前有了爆炸式的增长，以前的传统的数据处理技术已经无法胜任，需求催生技术，一套用来处理海量数据的软件工具应运而生，这就是大数据！ 换个角度说，大数据是：1、有海量的数据2、有对海量数据进行挖掘的需求3、有对海量数据进行挖掘的软件工具（hadoop、spark、storm、
转载
2024-07-02 20:28:58
51阅读
OpenTSDB基础概念、HBase的介绍OpenTSDB的基础概念HBase的介绍HBase的存储HBase的逻辑存储HBase的物理存储HBase的整体架构HBase特殊表HBase自定义表HBase读取数据流程HRegion中的核心组件 OpenTSDB的基础概念metric：时序数据的指标名称，一般不适用中文，而使用简短、类似变量的名称。timestamp：表示一条时序数据中点对应的具体
转载
2023-09-23 14:32:00
171阅读
八年磨一剑1.1 HBase 的前世今生关系型数据库的发展已经经历了 40 多年的历史了，而 HBase 以及大数据这套东 西的历史大概从 2006 年被认为是大数据的发起时期到现在，也就是 13 年左右 而已。那么，为什么会出现 HBase 以及 Hadoop 整体生态链的这些内容呢?这 是因为在大数据时代，传统数据库需要面对很多挑战，出现了数据量增多、业务 复杂度提升、非结构化数据和结构化数据
转载
2023-12-07 21:35:44
0阅读
Hadoop是由Apache基金会开发的一个大数据分布式系统基础架构，最早版本是2003年原Yahoo!DougCutting根据Google发布的学术论文研究而来。用户可以在不了解分布式底层细节的情况下，轻松地在Hadoop上开发和运行处理海量数据的应用程序。低成本、高可靠、高扩展、高有效、高容错等特性让Hadoop成为最流行的大数据分析系统，然而其赖以生存的HDFS和MapReduce组件却让
转载
2023-09-27 04:55:34
78阅读
• 在数据库不断发展的今天，尤其是大数据技术的发展，不断的涌现出各种海量数据存储及分析的数据库及相关工具令人演化缭乱，有的基于Hadoop构建，有的基于分布式理论自行构建，但是这些工具和数据库之间究竟有什么区别，都使用于什么场景，在查询了相关材料之后我进行了一个简单的总结，以备后用。仅供参考。
转载
2023-07-12 06:58:13
42阅读
目录数据库构架MPP和批处理MPP概念MPP的设计缺陷将MPP和Batch进行结合MPP例子 Hadoop解决的问题MPP和Hadoop的区别小结数据库构架数据库构架设计中主要有Shared Everthting、Shared Nothing、和Shared Disk：Shared Everthting:一般是针对单个主机，完全透明共享CPU/MEMORY/IO，并行处理能力是最差的，典
转载
2023-08-21 11:52:19
270阅读
什么是hadoop?Hadoop无非就是：HDFS(文件系统)，yarn(任务调配)，mapReduce(编程模型，大数据并行运算)，我们安装完hadoop就已经包括了以上；Hadoop集群其实就是HDFS集群，说到HDFS,下面来谈谈什么是HDFSHDFS：其实就是个文件系统，和fastDFS类似，像百度云，阿里云等就是个文件存储系统，当然一般如果仅仅是为了用来存储文件的话直接fastDFS这个
转载
2024-02-10 20:05:48
99阅读
如果熟悉 Hadoop MapReduce 中的 shuffle 过程，可能会按照 MapReduce 的思路去想象 Spark 的 shuffle 过程。然而，它们之间有一些区别和联系。从 high-level 的角度来看，两者并没有大的差别。从 low-level 的角度来看，两者差别不小。 Hadoop MapReduce 是 sort-based，进入 combine() 和 r
转载
2024-01-04 09:27:19
61阅读
Hadoop与Alpach Spark的区别1、概述2、解决问题的层面不一样3、两者可合可分4、Spark数据处理速度秒杀MapReduce5、数据恢复6、二者的区别总结： 1、概述 谈到大数据，相信大家对Hadoop和Apache Spark这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上，并没有对它们进行深入的思考，下面不妨跟我一块看下它们究竟有什么异同。侧重点： Hadoop：
转载
2023-09-29 23:07:40
0阅读
Hadoop：Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞生的。不是一个工具，也不是一种技术，是一种技术的合称HDFS：分布式文件系统。传统的文件系统是单机的，不能横跨不同的机器。比如你说我要获取/hdfs/tmp/file1的数据，你引用的是一个文件路径，但是实际的数据存放在很多不同的机器上。你作为用户，不需要知道这些，就好比在单机上你不关心文件分散在什么磁道什
转载
2023-07-11 18:57:03
134阅读
1. ESD:静电放电，指带有不同静电电势的物体或表面之间的静电电荷转移。2. ESSD:静电敏感器件，指产品在生产、存储和运输过程中，容易因静电放电而遭受损伤的器件 。3. ESDS：静电敏感度，指器件能承受而不至于遭受损伤的最大静电放电电压。4. 十二英寸原则：静电源远离静电敏感器件30cm。5. EPA:静电防护区域,它可以是一个工作台、一个房间或整栋建筑。6. 器件失效中EOS
转载
2024-03-18 08:29:17
190阅读
一、背景提到大数据不得不提 Hadoop，当下的 Hadoop 已不仅仅是当初的HDFS + MR(MapReduce) 这么简单。基于 Hadoop 而衍生的 Hive、Pig、Spark、Presto、Impala 等一系列组件共同构成了 Hadoop 生态体系。Hadoop 生态为今天的大数据领域提供着稳定可靠的数据服务。Hadoop 生态体系解决了大数据界的大部分问题，当然其也
转载
2023-07-29 19:26:22
669阅读
ceph(分布式存储)特性：
可扩展性：可以分布在几百台的集群规模，而已性能会随着集群规模的增长而增长；
低成本：分布式存储系统具有自动容错和自动负载均衡机制；
高性能：无论是针对整个集群还是单台服务器，都要求分布式系统具备高性能；
易用：分布式存储系统需要对外提供易用的接口，另外，也要求具备完善的运维、监控工具，方便与系统进行集成；
Hadoop HDFS：大数据分布式文件系统
适用于数据吞吐量
转载
2023-07-11 09:49:15
390阅读
1，ceph介绍ceph是一个可靠的，自动重均衡，自动恢复的分布式存储系统。根据场景可以分为三大块：对象存储，块设备存储和文件服务系统。ceph相比于其他存储，优势点在于它不单单是存储，同时还充分利用了存储节点上的计算能力，在存储每一个数据时，都会通过计算得出该数据存储的位置，尽量将数据分布均衡，同时由于Ceph的良好设计，采用了CRUSH算法，HASH等方法，使得它不存在传统的单点故障问题，且随
转载
2023-10-14 17:02:53
168阅读
