前言 我不造数据，我只是数据的搬运工。 作为一个“大数据民工”，在做数据离线ETL时，通常会使用Hive作为我们首选工具。Hive虽然比较慢，但是在处理海量数据（GB甚至TB级数据）时，其借助于Yarn的分布式处理能力以及其稳定性，让其在大数据领域成为了一个绕不过去的话题。 Hive要发挥其稳定性，又要让其稳定高效执行，就涉及到Hive相关的参数调优，这个不管是实际工作中还是在求职面试中，都是一
转载
2023-07-18 13:43:28
173阅读
Excel能够自动对单元格中输入的公式进行检查，如果公式不能正确地得出结果，单元格中将会显示一个错误值。在选择出错单元格后，将会自动出现错误提示按钮。单击该按钮能够获得一个下拉菜单，选择菜单中的命令能够对产生的错误进行处理。另外，Excel还提供了一个“错误检查”对话框，使用该对话框能够对工作表中的公式逐一检查，并对错误的公式进行处理。下面本文具体介绍在Excel工作表中检查和处理公式错误的方法。
转载
2023-07-31 15:21:44
60阅读
# Flink、Storm 和 Spark 的容错性实现
在数据流处理的领域，Apache Flink、Apache Storm 和 Apache Spark 是三种广泛使用的框架。为了确保系统在发生错误时能够有效恢复，容错性是这三种系统的关键特性。本文将通过具体的步骤和代码示例，教会你如何在这三个框架中实现容错性。
## 流程概述
我们将从以下步骤来了解如何实现容错性。
| 步骤 | 描
使用Hadoop来运行你的作业的其中一个主要原因就是它的高容错性，就算在由高失败率的节点或网络组成的大集群内运行的作业，Hadoop都可以让作业成功完成。
Hadoop实现容错的主要方法就是重新执行任务，单个任务节点(TaskTracker)会不断的与系统的核心节点（JobTracker）进行通信，如果一个TaskTracker在一定时间内（默认是1分钟）无法与JobTracker进行通
转载
2023-09-01 11:06:39
65阅读
容错与HA所谓容错是指一个系统的部分出现错误的情况还能够持续地提供服务，不会因为一些细微的错误导致系统性能严重下降或者出现系统瘫痪。在一个集群出现机器故障、网络问题等是常态，尤其集群达到较大规模后，很可能较频繁出现机器故障不能进行提供服务，因此对于分布式集群需要进行容错设计。Spark能够实现高容错，以下将从Executor、Worker和Master的异常处理来介绍。Executor异常Spar
转载
2024-02-14 19:31:31
185阅读
本系列内容是我学习分布式系统容错性的一些笔记，欢迎就相关内容进行讨论。 分布式系统设计中的一个重要目标，是以这样的方式构建系统：它可以从部分失效中自动恢复，而且不会严重的影响整体性能。特别是，当故障发生时，分布式系统应该在进行恢复的同时继续以可接受的方式进行操作，也就是说，它应该能容忍错误，在发生错误时某种程度上可以继续操作。
转载
2024-01-12 22:50:19
40阅读
1：数据倾斜理论hive数据倾斜可能的原因有哪些？主要解决方法有哪些？原因1：数据倾斜多由于脏数据/特殊数据 （某一类数据集中）
2：大小表join
3：小文件过多；解决方案1:脏数据不参与关联，给特数据数据做随机（建表时）
2:使用mapjoin将小表加入内存。
3：合并小文件，通过set hive.merge.mapredfiles=true 解决；或者增加map数；（计算量大）code解决方
转载
2023-08-19 17:48:07
84阅读
apache spark Apache Spark中的容错简介 在开始学习什么是Spark的容错能力之前，让我们为初学者修改Apache Spark的概念。 现在让我们了解什么是故障以及Spark如何处理容错。 故障是指故障，因此容错能力是 运行并在发生故障后恢复损失。 如果我们想要我们的 系统是容错的，它应该是多余的，因为我们需要一个 冗余组件以获取丢失的数据。 错误数据是 通过冗余数据
转载
2024-05-28 10:19:55
29阅读
一.Java中的异常机制继承体系图如下：二．JAVA异常可分为3种： (1)编译时异常:java.lang.Exception (2)运行期异常:java.lang.RuntimeException (3)错误:java.lang.Errorava.lang.Exception和java.lang.Error继承自java.lang.Throwable; java.lang.RuntimeExce
转载
2024-01-02 16:29:43
57阅读
HDFS(Hadoop Distributed File System易于扩展的分布式文件系统运行在大量普通廉价机器上，提供容错机制为大量用户提供性能不错的文件存取服务HDFS 优点高容错性
数据自动保存多个副本副本丢失后自动恢复适合批处理
移动计算而非数据数据位置暴露给计算框架适合大数据处理
GB、TB、甚至PB级数据百万规模以上的文件数量10K+节点规模流式
转载
2024-08-02 16:09:38
37阅读
公司外审时需要测试报告提供差错率，由于本人做测试也不是很久，所以不知道差错率是什么，于是百度了一下，所谓的差错率即系统千行代码的出错率，计算方式为：bug数/代码行数*1000，于是结果就出来了，总代吗行数约30万，bug数约63，差错率等于0.21‰ 。好，如此上报，没有后续。。。之后一直这么计算。。。 某日闲着无事看到了报告中出错率，就好奇这个值究竟代表何意，心想着今天一定要把这个给了解透，
转载
2024-01-04 07:54:55
100阅读
错误问题： E:\1_Zookeeper\WS_Zookeeper\zookeeper-master>ant.bat eclipse Buildfile: E:\1_Zookeeper\WS_Zookeeper\zookeeper-master\build.xml ant-eclipse-download: [get] Getting: http:/
在现代应用程序开发中，Java容错性设计是一个至关重要的主题，它能显著提高系统的可用性和稳定性。随着技术的发展，企业面临的系统复杂性和并发请求的增多，对容错性设计的需求也愈加迫切。因此，本文将详细探讨Java容错性设计的关键点，帮助大家理解如何在架构中有效实现容错机制。
### 背景定位
在快速发展的IT行业中，应用程序面临着多种挑战，如网络不稳定、服务不可用等。为了解决这些问题，容错性设计成
在这种模式中，单个组件被称为对等点。对等点可以作为客户端，从其他对等点请求服务，也作为服务器，为其他对等点提供服务。对等点可以充当客户端或服务器或两者的角色，并且可以随时间动态地更改其角色。 使用场景： 像Gnutella和G2这样的文件共享网络 多媒体协议，如P2PTV和PDTP 像Spotify这样的专有多媒体应用程序在没有中心服务器的情况下，我们是如何
mybatis字段映射的容错性 起因从一个bug说起，大致经历
原创
2022-08-20 07:05:38
242阅读
1评论
分布式系统中故障不可避免，所以为了提高可用性一定要做弹力设计，也就是容错设计。常见的容错手段有：隔离设计异步通信幂等设计隔离设计隔离分为两种，一种是以服务为种类来做隔离，另一种是以用户为种类来做分离。服务维度的隔离是指不同的服务种类设计成独立的系统，比如电商平台，将用户注册登陆设计为一个系统，商品中心设计为另一系统，评论和社交设计为一个系统。这三个系统彼此相互独立，互不耦合，这三个系统的接入层、应
转载
2023-11-11 01:35:40
96阅读
一般情况下，我们压力测试关注的都是交易系统吞吐量、业务的响应时间，批处理系统的处理时间，但是我们很少关注某一个计算机部件的故障而导致的高可用切换过程的业务中断时间，以及切换过程中的性能表现。这其实也是我们性能测试所关注的，因为在有压力和没有压力的情况下，这个业务中断的时间是不一样的；切换过程和正常处理过程中系统性能的表现也是不一样的。本章节介绍在有业务压力下的存储高可用切换测试，从中发现的影响切换
转载
2024-02-02 06:51:29
64阅读
所谓容错就是一个系统的部分出现错误的情况还能够持续地提供服务，不会因为一些错误而导致系统性能严重下降或出现系统瘫痪。在一个集群中出现机器故障、网络问题等常态，尤其集群达到较大规模后，很可能较频繁的出现机器故障等不能进行提供服务，因此分布性集群需要进行容错设计。1. Executor容错Spark支持多种运行模式，这些运行模型中的集群管理器会为任务分配运行资源，在运行资源中启动Executor，由E
转载
2023-11-24 06:32:41
82阅读
一个分布式系统里面，节点组成的网络本来应该是连通的。然而可能因为一些故障，使得有些节点之间不连通了，整个网络就分成了几块区域。数据就散布在了这些不连通的区域中。这就叫分区。 当你一个数据项只在一个节点中保存，那么分区出现后，和这个节点不连通的部分就访问不到这个数据了。这时分区就是无法容忍的。 提高分
转载
2020-10-21 20:04:00
1240阅读
2评论
当solr接收没q参数（或q参数值为空）请求时，会报错。对开发调试时才比较有用
原创
2023-03-22 22:17:42
40阅读
