在围绕Hadoop形成的大数据技术生态当中，MapReduce的地位，在早期是处于核心地位的，但是伴随着数据处理实时性需
原创
2023-06-12 10:02:33
145阅读
一、MapReduce基本概述1、定义是一个分布式运算程序编程框架。核心功能是将用户编写的业务逻辑代码和自带的默认组件整合成一个完整的分布式程序，并发运行在一个hadoop集群上。2、优缺点（1）优点1>易于编程：以普通程序的编程方法加上使用MapReduce提供的接口，可以快速完成分布式程序的编写。2>良好的扩展性：计算资源得不到满足时，可以通过简单的增加计算机器来扩展计算能力3&g
原创
2019-10-17 23:27:45
3358阅读
一、概念MapReduce："相同"的key为一组，调用一次reduce方法，方法内迭代这一组数据进行计算块、分片、map、reduce、分组、分区之间对应关系block > split1:1:1个block可以切成1个分片N:1：多个block可以以切成1个分片1:N：1个block可以切成多个分片split > map1:1：一个分片只能产生一个mapmap > reduce
MapReduce工作原理图文详解 1.Map-Reduce 工作机制剖析图: 1.首先,第一步,我们先编写好我们的map-reduce程序,然后在一个client 节点里面进行提交.(一般来说可以在Hadoop集群里里面的任意一个节点进行,只要该节点装了Hadoop并且连入了Hadoop集群) 2.job client 在收到这个请求以后呢,会找到Jo
1 mr原理 Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架； Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上；2 为什么
MapReduce设计理念MapReduce是什么map --> 映射【key value】 reduce —> 归纳 MapReduce是必须建立在HDFS之上的大数据离线计算架构，计算数据有一定的延时，如果数据量太小，使用MapReduce反而不合适【因为延迟性，计算流程复杂】，使用分布式计算【大文件切分为多个小文件，多个节点同时参与运算】MapReduce中名词原始数据
因
零序电流保护的基本原理是基于基尔霍夫电流定律：流入电路中任一节点的复电流的代数和等于零，即ΣI=0，它是用零序C.T作为取样元件。在线路与电气设备正常的情况下，各相电流的矢量和等于零（对零序电流保护假定不考虑不平衡电流），因此，零序C.T的二次侧绕组无信号输出（零序电流保护时躲过不平衡电流），执行元件不动作。当发生接地故障时的各相电流的矢量和不为零，故障电流使零序C.T的环形铁芯中产生磁通，零序C
转载
2009-07-30 17:11:59
845阅读
目录1. 定义2.Hbase的发展历史3.关系型数据库的不足3.1无法适应多变的数据结构3.2高并发读写的瓶颈3.3可扩展性的限制4.HBase的特点5.使用场景6.rowkey设计原则6.1 rowkey长度原则6.2 rowkey散列原则6.3 rowkey的唯一原则7.查询方式8.Hbase的cell结构9.Hbase的读写流程9.1 HBase的读流程：9.2 HBase的写流程
在传统的以太网中，站点之间通过集线器相连，主机只能以半双工模式通信，是一种共享式以太网，整个网络处于一个冲突域。
现代以太网是通过交换机进行站点之间的连接，是一种交换式以太网，主机工作在全双工的模式下。交换机通过识别数据帧的MAC地址将帧转换到特定端口，而不是像集中器将数据复制到所有其他端口（广播），
原创
2008-03-24 23:23:59
2155阅读
1评论
ADSL基本原理 5.1 ADSL技术 目前存在的接入方式有：拨号接入方式、以太网接入方式、光纤接入方式、无线接入方式和DSL接入方式等。传统的因特网拨号接入方式，已经不能满足日益增长的带宽需求；而以太网接入或光纤接入方式，又由于成本或者需要重新铺设网络的问题，短时间内难以大面积推广开。虽然光纤到户（Fiber To The Home，FTTH）是今后接入方式的必然发展方向，但由于光纤到户成本
转载
精选
2015-12-08 18:22:24
10000+阅读
点赞
一、Socket简介1、套接字（socket）概念套接字（socket）是通信的基石，是支持TCP/IP协议的网络通信的基本操作单元。它是网络通信过程中端点的抽象表示，包含进行网络通信必须的五种信息：连接使用的协议，本地主机的IP地址，本地进程的协议端口，远地主机的IP地址，远地进程的协议端口。应用层通过传输层进行数据通信时，TCP会遇到同时为多个应用程序进程提供并发服务的问题。多个TCP连接或多
转载
精选
2016-06-02 15:44:52
655阅读
基本原理server很多，有主从之分，不过有一个leader,其他是follower,每个server，在内存中存有一份数据，启动时，将选举出一个leader，根据paxos协议选举leader负责处理数据更新操作，用到zab协议一个更新操作成功的标志，大多数server在内存，成功修改数据（一个有5个，有3个写成功了）zookeeper角色怎么知道大多数写成功了，用到领导者发起投票，领导者收到3
原创
2016-08-01 21:19:00
861阅读
VRRP基本原理虚拟路由冗余协议(VirtualRouterRedundancyProtocol，简称VRRP)，是一个IP协议族，我们知道IP协议族里面有ICMP、OSPF，VRRP也是IP协议族的一员，协议号为112。在VRRP里面，设备有两种角色（Master,Backup），其中Master负责跑业务流量，而Backup负责备份，当Master挂掉之后，Backup自动抢占为Master，
原创
2019-06-25 13:21:57
571阅读
简单介绍了Zookeeper的基本原理，数据模型，Session，Watch机制，一致性保证，Leader Election，Leader和Follower的工作流程和Zab协议。
转载
2021-07-27 14:48:21
143阅读
JUC基本原理1.JUC简介2.内存可见性3.volatile关键字package com.atguigu.juc;/* * 一、volatile 关键字：当多个线程进行操作共享数据时，可以保证内存中的数据可见。 * 相较于 synchronized 是一种较为轻量级的同步策略。 * * 注意： * 1. volatile 不具备“互斥性” * 2. volatile 不能保证变量的“原子性” */public class TestVolatile {
原创
2021-08-13 23:40:19
385阅读
了解Flex程序的生命周期Flex程序从本质上讲，就是使用了（由AS编写的）Flex框架的Flash程序。但在Flex程序中可以忽略timeline这个概念，所有的内容都集于一帧。事实上Flex程序中的根，是继承flash.display.MovieClip的mx.managers.SystemM...
转载
2009-09-21 23:27:00
149阅读
2评论
1.NAT，即网络地址转换技术（Network Address Translation）,其适用于四类应用领域：（1）ISP、ADSL与有线电视的地址分配；（2）移动无线接入地址分配；（3）电子政务内网等对Internet访问需要严格控制的内部网络系统的地址分配；（4）与防火墙相结合。 以互联网服务提供商（ISP）通过NAT技术为用户提供ADSL接入服务为例，为了节省IP地址，ISP并不...
原创
2022-01-20 10:45:52
475阅读
Zookeeper
转载
2021-08-02 16:58:37
145阅读
HTTP基本原理在本节我们会详细了解 HTTP 的基本原理，了解在浏览器中敲入一个 URL 到获取网页内容发生了一个怎样的过程，了解了这些内容，有助于去进一步了解爬虫的基本原理。1. URI、URL在了解 HTTP 之前我们先了解一下 URI 和 URL。我们经常会听到 URI 和 URL 两个术语，URI 全称为 Uniform Resource Identifier，即统一资源标志符，URL
原创
2019-04-03 16:32:18
870阅读
爬虫基本原理一、爬虫是什么?百度百科和维基百科对网络爬虫的定义：简单来说爬虫就是抓取目标网站内容的工具，一般是根据定义的行为自动进行抓取, 对网页或数据的分析与过滤；抓取的网页URL进行爬行策略爬虫要做的是什么？我们所谓的上网便是由用户端计算机发送请求给目标计算机，将目标计算机的数据下载到本地的过程。用户获取网络数据的方式是： 浏览器提交请求->下载网页代码->...
转载
2021-07-20 14:40:48
563阅读
