51CTO博客>热门标签>hadoop 数据可靠性

hadoop 数据可靠性

全部文章近期文章热门文章标签简介

【hadoop 数据可靠性】内容共 240 条

原创 hadoop高可靠性HA集群

概述简单hdfs高可用架构图　　在hadoop2.x中通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。Active NameNode对外提供服务，而Standby NameNode则不对外提供服务，仅同步active na...

解决方案

active

standby

阅读 451 评论 0 点赞 0

jjjyyy66 1915 天前
转载 hadoop高可靠性HA集群

简单hdfs高可用架构图　　在hadoop2.x中通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。Active NameNode对外提供服务，而Standby NameNode则不对外提供服务，...

解决方案

active

信息

standby

可靠性

阅读 694 评论 0 点赞 0

jjjyyy66 1925 天前
原创 可靠性

http://www.pmg.lcs.mit.edu/bft/BFT - Practical Byzantine Fault Tolerance

职场

休闲

阅读 427 评论 0 点赞 0

amao99 4662 天前
原创数据可靠性之磁盘

序言 可靠性，你有多可靠？在进行数据存储的时候，最担心的莫过于数据丢失了，而数据丢失可以从很多层面来进行保障，但是最终数据都是存储在磁盘当中。 SATA，便宜，容量大，7200转，写入速度...

java

阅读 652 评论 0 点赞 0

mb5fdb131956bf3 521 天前
转载 netty可靠性

Netty的可靠性首先，我们要从Netty的主要用途来分析它的可靠性，Netty目前的主流用法有三种：1) 构建RPC调用的基础通信组件，提供跨节点的远程服务调用能力；2) NIO通信框架，用于跨节点的数据交换；3) 其它应...

客户端

连接超时

链路

服务端

句柄

阅读 155 评论 2 点赞 0

mob604756f3c518 1801 天前
原创 TCP可靠性

TCP可靠性原理：

TCP

阅读 294 评论 0 点赞 0

网络小由 293 天前
原创高可靠性

三种HA的机制，有关于优先级，权重，抢占是否打开，是否支持追踪，VRRP使用真实IP地址的意义。　　时间机制

职场

休闲

高可靠性

阅读 594 评论 0 点赞 0

liu008qing 4082 天前
原创 TCP可靠性

TCP通过下列方式提供可靠性：应用数据被分割成TCP认为最合适发送的数据块；当TCP发出一个段后，它启动一个定时器，等待目的端确认收到这个报文段。如果不能及时收到一个确认，将重发这个报文段；当TCP收到发自TCP连...

TCP

可靠性

阅读 328 评论 0 点赞 0

梅花老K 2698 天前
原创 Hadoop重点难点：可靠性/Failover/Shuffle

HDFS – 可靠性HDFS 的可靠性主要有一下几点:冗余副本策略机架策略心跳机制安全模式效验和回收站元数据保护快照机制1.冗余副本策略可以在 hdfs-site.xml 中设置复制因子指定副本数量所有数...

hadoop

java

大数据

数据库

python

阅读 219 评论 0 点赞 0

蜡笔小新v 323 天前
原创 kafka数据可靠性深度解读

原 kafka数据可靠性深度解读版权声明：本文为博主原创文章，未经博主朱小厮允许不得转载。本文收录于InfoQ，未经允许不得转载。欢迎支持笔者新作：《深入理解Kafka:核心设计与实践原理》和《RabbitMQ实战指南》，同...

kafka

数据

客户端

zookeeper

缓存

阅读 50 评论 0 点赞 0

cndba 345 天前
原创 kafka数据可靠性深度解读

本文收录于InfoQ，未经允许不得转载 1 概述 Kakfa起初是由LinkedIn公司开发的一个分布式的消息系统，后成为Apache的一部分，它使用Scala编写，以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理...

kafka

数据

客户端

zookeeper

缓存

阅读 118 评论 0 点赞 0

朱小厮 343 天前
原创 Kafka数据可靠性深度解读

Kafka起初是由LinkedIn公司开发的一个分布式的消息系统，后成为Apache的一部分，它使用Scala编写，以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark等都支持...

kafka

数据

客户端

阅读 18 评论 0 点赞 0

互联网后端架构 220 天前
转载 Kafka如何保证数据可靠性

Kafka的数据可靠性保证副本数据同步策略 ISR机制 ack应答机制故障处理：HW、LEO 副本数据同步策略两种副本数据同步策略（Kafka选择第二种）方案优点缺点半数以上完成同步，就发...

kafka

分布式

big data

数据

数据同步

阅读 69 评论 0 点赞 0

mb6095deac54a14 287 天前
原创 kafka数据可靠性深度解读

1 概述Kakfa起初是由LinkedIn公司开发的一个分布式的消息系统，后成为Apache的一部分，它使用Scala编写，以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spa...

kafka

数据

客户端

阅读 16 评论 0 点赞 0

朱小厮 213 天前
转载 kafka数据可靠性深度解读

Kafka起初是由LinkedIn公司开发的一个分布式的消息系统，后成为Apache的一部分，它使用Scala编写，以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark等都支持...

kafka

数据

可靠性

深度

解读

阅读 33 评论 2 点赞 0

mb5ff980f81f3d8 1890 天前
转载 Kafka数据可靠性深度解读

1. 概述　　Kakfa起初是由LinkedIn公司开发的一个分布式的消息系统，后成为Apache的一部分，它使用Scala编写，以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spa...

kafka

数据

zookeeper

阅读 0 评论 0 点赞 0

小家电维俢 3 天前
转载 ActiveMQ可靠性机制

消息的签收(Acknowledgment):　　客户端成功接收一条消息的标志是这条消息被签收。　　成功接收一条消息一般包括如下三个阶段：　　　　(1) 客户端接收消息　　　　(2) 客户端处理消息　　　　(3) 消息被...

客户端

事务回滚

会话层

阅读 83 评论 2 点赞 0

mob604756e92c53 1290 天前
原创 storm的可靠性

消息确认机制：在数据发送的过程中可能会数据丢失导致没能接收到，spout有个超时时间（默认是30S），如果30S过去了还是没有接收到数据，也认为是处理失败。运行结果都是处理成功参考代码StormTopologyAc...

apache

ide

数据

阅读 0 评论 0 点赞 0

qq62a994c5163f0 56 天前
转载 EIGRP的可靠性：

EIGRP的可靠性： EIGRP的可靠性技术确保了到期相邻路由器的关键路由信息的传输。这些信息是EIGRP维护无环路拓朴结构所需要的。所有传递路由信息（更新、查询和答复）的数据都被可靠地发送。可靠传输协议RTP，负责...

职场

EIGRP

休闲

阅读 413 评论 0 点赞 0

Implicit 4563 天前
转载软件可靠性测

作者: 周新蕾来源: 计算机世界报一、对软件可靠性测试的认识1.有关术语(1)软件可靠性 在规定条件下,在规定时间内,软件不引起使用的函数,也是软件中存在故障的函数,系统...

软件

职场

测试

性能

休闲

阅读 519 评论 0 点赞 0

测试者家园 5536 天前