随着互联网和移动互联网的发展，时下我们正处在一个大数据的时代。在数据金山的诱惑下，各个机构纷纷开始探索从数据中提取洞见并指导实践
原创
2023-06-15 00:09:52
108阅读
一.Hadoop简介Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。简单地说来，Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。Hadoop的核心组件是HDFS、MapReduce。随着处理任务不同，各种组件相继出现，丰富Hadoop生态圈，目前生态圈结构大致如图所示：二.Ha
转载
2020-09-25 13:42:59
897阅读
点赞
大数据Hadoop生态圈-组件介绍 Hadoop是目前应用最为广泛的分布式大数据处理框架，其具备可靠、高效、可伸缩等特点。 Hadoop的核心组件是HDFS、MapReduce。随着处理任务不同，各种组件相继出现，丰富Hadoop生态圈，目前生态圈结构大致如图所示： 根据服务对象和层次分为：数据来源
转载
2021-06-03 08:49:00
121阅读
2评论
HDFS是整个大数据架构的底层，它提供了一个文件系统Spark(Spark core(RDD)) 和 MapReduce 是一个
原创
2022-05-26 00:20:48
348阅读
大数据平台架构大数据技术已经被应用到各行各业，涉及人们生活的方方面面。大数据技术大大提高了数据存储和计算能力，从而为企业快速决策提供了数据支撑，能够助力企业改进业务流程、控制成本、提高产品质量，应用大数据技术为企业核心竞争力的提升打下了坚实的基础。大数据技术在企业项目开发中主要涉及数据采集、数据存储和数据计算三个方面：数据采集是利用采集技术将各种数据源、不同格式的数据快速采集到大数据平台。数据存
原创
2022-03-23 14:27:52
10000+阅读
担保机制债权人为保障其债权实现的，要求债务人向债权人提供担保的合同。内存分配担保机制，从字面来看，就是新生代（债务人）为用户（债权人）提供内存，一旦发生无法分配的情况，就会以老年代（合同）作为担保，来分配内存。 JVM内存区域分为：堆、栈、本地方法栈、方法区、程序计数器、堆外内存。其中堆分为新生代、老年代
根据《担保法》第2条第2款规定：本法规定的担保方式为保证（信用）、抵押、质押、留置和定金。1.保证（信用）保证是指保证人和债权人约定，当债务人不履行债务时，由保证人按照约定履行主合同的义务或者承担责任的行为。保证人的权利（1）保证人承担保证责任后，享有向主债务人请求偿还的权利。其实际清偿额大于主债权的，保证人只能在主要债权范围内对债务人行使追偿权。保证人求偿权适用2年的诉讼时效...
原创
2023-04-15 08:13:11
113阅读
yarn 的执行流程 Spark wordCount 执行流程 mr 的shuffle 过程
转载
2017-07-19 15:19:00
515阅读
2评论
hadoop：https://hadoop.apache.org/docs/stable/hive：https://cwiki.apache.org/confluence/display/Hive/GettingStartedhbase：https://hbase.apache.org/book.htmlyarn：https://hadoop.apache.org/docs/cu...
原创
2021-08-26 09:13:50
190阅读
hadoop：://hadoop.apache.org/docs/stable/hive：://cwiki.apache.org/confluence/display/Hive/GettingStartedhbase：://hbase.apache.org/book.htmlyarn：://hadoop.apache.org/docs/cu...
原创
2022-04-22 13:33:20
140阅读
很多老观念早该颠覆了，比如“路遥知马力，日久见人心”。据统计，现代人看篇文章平均不超过5分钟、每次嘿咻平均不超过6分钟。如此讲究效率，哪有心思体验“马力”，哪有工夫跟你“日久”！大数据时...
转载
2021-06-11 09:31:30
312阅读
1.Hadoop 生态圈Hadoop是目前应用最为广泛的分布式大数据处理框架，其具备可靠、高效、可伸缩等特点。 Hadoop的核心组件是HDFS、MapReduce。随着处理任务不同，各种组件相继出现，丰富Hadoop生态圈，目前生态圈结构大致如图所示： 根据服务对象和层次分为：数据来源层、数据传输层、数据存储层、资源管理层、数据计算层、任务调度层、业务模型层。1.1.HDFS（分布式文件系统）H
转载
2023-08-31 10:28:23
159阅读
为什么需要？新生代采用的复制算法，留空一个 survivor 作为空间备份，当大量对象在 minor gc后仍然存活，survivor 无法放下，则会直接进入老年代， 需要老年代的空间保证能容纳得下这些对象。如何担保？空间担保比较的是 老年代最大的连续空闲空间 和 年轻代所有对象的内存大小 或 历次晋升到老年代的平均对象大小做比较为什么需要是连续的空间？分配担保机制中，无论是新生代所有对象总和还是
转载
2021-03-17 22:59:55
665阅读
2评论
Spark：计算引擎，框架媒介，调用配置所处位置下的机器的硬件设施来实现调用配置。使用内存来存储数据，运算快，断电丢失。对应于Hadoop圈中的MapReduceHbase：分布式、面向列的数据库，存储和读取媒介，来源于BigTable（一个结构化数据的分布式存储系统），但HBase是一个非结构化数据存储的数据库。是Hadoop项目的子项目非结构化、面向列、稀疏Hadoop：分布式系统基础框架，管
转载
2023-07-20 10:10:43
0阅读
重点在于流程化、一体化、把组件之间连接起来，渗透和强化数据分析和处理思路，把需求直接翻译成数据分析方案。
转载
2021-07-27 15:18:19
247阅读
文章目录Druid小传RDBMS劣势Druid简述Druid的介绍Druid的典型应用架构国内哪些公司在使用DruidDruid 对比其他OLAPDruid小传RDBMS劣势项目中采用的关系型数据库是mysql，那么关系型数据库有哪些优劣势，我们可以参考下面的分析： 关系型数据库的优点： 1.基于ACID，支持事务，适合于对安全性和一致性要求
原创
2022-04-24 15:26:27
145阅读
