Spark Core提供了三种创建RDD的方式，包括：使用程序中的集合创建RDD；使用本地文件创建RDD；使用HDFS文件创建RDD。
1、并行化集合
如果要通过并行化集合来创建RDD，需要针对程序中的集合，调用SparkContext的parallelize()方法。Spark会将集合中的数据拷贝到集群上去，形成一个分布式的数据集合，也就是一个RDD。相当于是，集合中
转载
2024-03-21 19:22:31
76阅读
文章目录Hadoop框架HDFS NN、SNN、DN工作原理HDFS概述HDFS架构NameNodeSecondary NameNodeSecondary NameNode的工作流程什么时候checkpiontDataNode上传一个CentOS-7.5-x86_64-DVD-1804.iso大文件来体现分布式管理系统通过ui页面观察文件被block划分HDFS的Trash回收站 Hadoop框
转载
2024-06-15 13:01:47
87阅读
hadoop fs、hadoop dfs和hdfs dfs的区别fs、dfs区别？fs是文件系统， dfs是分布式文件系统。fs > dfs。分布式环境情况下，fs与dfs无区别。本地环境中，fs就是本地文件，dfs就不能用了。fs涉及到一个通用的文件系统，可以指向任何的文件系统如local，HDFS等。但是dfs仅是针对HDFS的。 为什么会对同一个功能提供两种命令标记? fs涉及到一个通
转载
2024-05-05 13:37:11
78阅读
Doris分析型数据库 Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。基于此，Apache Doris 能够较好的满足报表分析、即时
转载
2024-04-11 16:44:58
540阅读
HadoopHadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流
转载
2024-04-03 21:34:27
258阅读
再写 HDFS Federation机制的时候，发现基础不扎实，需要将之前的hadoop再详细记录一下原理（重点只说Hadoop2.0版本）： Hadoop2.0版本，引入了Yarn。核心：HDFS+Yarn+MapreduceYarn是资源调度框架。能够细粒度的管理和调度任务。此外，还能够支持其他的计算框架，比如spark等。存储的基础知识以及原理：元数据信息和
转载
2024-09-19 13:14:19
49阅读
有Sqoop和DataX之类数据处理为何还要用Apache SeaTunnel，这就要得益于Apache SeaTunnel依赖Flink和Spark天然分布式处理数据的特性，前两者是单机同步数据不适于海量数据同步，以低代码方式用配置文件就可以启动Flink数据处理应用，本篇从基本概念和原理入手，并通过部署SeaTunnel演示了多个基于Flink的Source和S
Doris 查询简介Doris Query 接收Doris Query ParseDoris Query AnalyzeDoris Query RewriteDoris Query 单机PlanDoris Query 分布式PlanDoris Query 调度Doris Query 执行总结Doris 查询简介Doris 的查询和大多数数据库一样，需要经过 Parse,Analyze,Optimi
HDFS的读写流程 & secondary namenode的数据写入流程1）HDFS的数据写入流程
2）HDFS的数据读取流程
3）SNN的数据写入的流程1）HDFS的数据写入流程（1）客户端发送写入请求给 namenode（2）namenode 接收到请求，然后首先判断当前操作的用户是否具有写入的权限，如果没有则拒绝请求，如果有权限，接着判断要写入的数据目录下是否存在这个文件，如果存在
转载
2024-09-27 14:47:38
61阅读
写流程数据导入方式1. Broker Load说明Broker Load是异步方式，支持的数据源取决于Broker进程支持的数据源。适用场景（1）源数据在Broker可以访问的存储系统中。（2）数据量在几十到百GB级别 。原理用户在提交导入任务后，FE会生成相应的导入执行计划（plan），BE会执行导入计划将输入导入Doris中，并根据BE的个数和文件的大小，将Plan分给多个BE执行，每个BE导
在一个现代化的时候，界面不好看的 Eclipse 和操作易用性相比而言更高的 IntelliJ Idea。而在进行 Hadoop 进行编程的时候，最基本的是需要导入相应的 Jar 包，而更为便宜的则是使用 Maven 来进行包的依赖管理，而本文则结合 Gradle 来处理引入最基本的 Hadoop 包，配置运行环境。新建一个 Gradle 项目在新建时要选择 Gradle 项目，并在连接过程中自动
转载
2024-09-20 12:46:34
115阅读
Swagger UI 允许任何人（无论您是开发团队还是最终用户）都可以可视化 API 资源并与之交互，而无需任何实现逻辑。它是根据您的 OpenAPI（以前称为 Swagger）规范自动生成的，具有可视化文档，可简化后端实现和客户端使用。为什么使用Swagger跨语言性，支持 40 多种语言，Swagger 已经慢慢演变成了 OpenAPI 规范；Swagger UI 呈现出来的是一份可交互式的
转载
2024-06-21 19:01:51
205阅读
实验背景：192.168.122.101 namenode
192.168.122.102 dadanode
192.168.122.103 datanode
192.168.122.104 datanode
关闭几台主机的火墙,selinxnfs的实现如何让新加的结点，同步之前结点的数据?1.首先关闭之前的伪分布式[ha@server1 hadoop]$ sbin/stop-dfs.sh
hdfs集群组成结构： 安装hdfs集群的具体步骤：1、学习阶段，用虚拟机即可！ 先准备4台虚拟机：1个namenode节点 + 3 个datanode 节点 2、修改各台机器的主机名和ip地址主机名：hdp-01 对应的ip地址：192.168.33.61主机名：hdp-02 对应的ip地址：192.168.33.62主机名：hd
同时对于 FutureRetailer 来说，过去的数据分析只是一个方面，更为重要的是对于未来的预测和分析。比如未来商品销售估计，并据此制订采购计划 。随着新零售的兴起，未来的消费者需要的是更为个性化的服务和产品，如何将这种个性化的商品和服务提供给消费者？马爸爸也说过：“纯电商时代过去了，未来十年是新零售的时代”。对 FutureRetailer 来说，未来的购物也许将会是如下情景：1 ）一位资深
转载
2024-09-29 11:23:31
70阅读
在对NameNode节点进行格式化时，调用了FSImage的saveFSImage()方法和FSEditLog.createEditLogFile()存储当前的元数据。Namenode主要维护两个文件，一个是fsimage，一个是editlog。fsimage ：保存了最新的元数据检查点，包含了整个HDFS文件系统的所有目录和文件的信息。对于文件来说包括了数据块描述信息、修改时间
转载
2024-10-07 09:31:25
75阅读
概述：缓存是分布式系统中的重要组件，主要解决高并发，大数据场景下，热点数据访问的性能问题。提供高性能的数据快速访问。热数据：是需要被计算节点频繁访问的在线类数据。冷数据：是对于离线类不经常访问的数据，比如企业备份数据、业务与操作日志数据、话单与统计数据。缓存常见问题（1）缓存穿透：访问一个不存在的key，缓存不起作用，请求会穿透到DB，流量大时DB会挂掉。 解决的办法：1采用布隆过滤器
一、关于 Apache Doris 和 DorisDB、StarRocks 的关系Doris 最早是解决百度凤巢统计报表的专用系统，随着百度业务的飞速发展对系统进行了多次迭代，逐渐承担起百度内部业务的统计报表和多维分析需求。2013 年，我们把 Doris 进行了 MPP 框架的升级，并将新系统命名为 Palo ，2017 年我们以百度 Palo 的名字在 GitHub 上进行了开源，2018 年
目录一、常用的Linux命令二.HADOOP3.0分布式集群搭建环境变量脚本.bashrc/ZSY/soft/hadoop-3.1.3/etc/hadoop路径下，配置Hadoop的脚本文件core-site.xml三、Yarn的基本配置编辑 四、常见错误合集待续未完。。。。五、HBbase的安装配置一、常用的Linux命令1.查看隐藏文件命令ls -al2.删除隐藏文件 （注
转载
2024-07-14 09:42:03
75阅读
BUG修复：HDFS-13112这两天排查了小集群Crash的问题，这里先总结下这两天排查的结果 一、查看日志首先查看了Namenode Crash的时候的日志（一）以下是patch hdfs-11306输出的日志：可以看出还保存在bufCurrent中的op是CancelDelegationTokenOp2019-09-10 03:50:16,403 WARN org.ap
