一、需求 统计每一个手机号耗费的总上行流量、下行流量、总流量 二、分析 1、输入内容 1 13736230513 192.196.100.1 www.atguigu.com 2481 24681 200 2 13846544121 192.196.100.2 264 0 200 3 13956435
原创
2021-07-14 11:56:29
272阅读
一、简单介绍Log4j（Log for java）是 Apache 的一个开源项目，通过使用 Log4j，可以控制日志信息输送的目的地是控制台或文件等，也可以控制每一条日志的输出格式。通过定义每一条日志信息的级别，能够更加细致地控制日志的生成过程。这些可以通过一个配置文件来灵活地进行配置，而不需要修改应用的代码。使用 Log4j 技术，主要使用的是其配置文件。二、组件介绍记录器Loggers（记录
Linux下使用iftop工具结合iptables服务来解决带宽资源被恶意请求满的问题，主要通过2个步骤来实现；
1. 使用iftop工具查出来是哪些个在请求主机的带宽资源，找出耗带宽的元凶
2. 找出耗带宽的或者段，分析是out方向还是in方向，使用iptables规则来进行控制
具体的详细操作方法如下；
一但出现带宽被恶意请求，在带宽被请满的情况下
转载
2017-05-18 10:31:19
4349阅读
ipsec只支持单播；组播和广播是不会错过一个数据的SA的。
常用的处理方法是将单播和组播封装在一个单播中，这样IPSEC就可以处理了。
cisco将这个过程称为通用路由封装（GRE），GRE是一座3层的传输协议，他允许将其他协议，例如IP ,IPX,APPLETALK等协议，封装在一个不同的ip单播包中。
原创
2012-05-01 21:06:47
991阅读
1. MapReduce 与 HDFS 简介 什么是 Hadoop ？ Google 为自己的业务需要提出了编程模型 MapReduce 和分布式文件系统 Google File System，并发布了相关论文（可在 Google Research 的网站上获得：GFS、MapReduce）。Doug Cutting 和 Mike Cafarella 在开发搜索引擎 Nutch 时对这两篇论文
1.基于组合分类器的ddos攻击流量分布式检测模型本研究提出了一种分布式攻击流量检测模型，该模型的核心检测部分采用的是机器学习中应用非常广泛的集成学习方法，即组合分类器的随机森林方法。该方法拓展性好，能够适应网络环境中异常监测的动态调整与部署。DDos攻击分布式检测模型共分为数据采集模块、数据预处理模块、分布式分类检测模块和报警响应模块四部分。ａ．数据采集模块。主要是在真实网络环境中采集到可供检测
文章目录一、HDFS写数据流程1. 剖析文件写入2. 网络拓扑-节点距离计算3. 机架感知（副本存储节点选择）二、HDFS读数据流程 前言：在《Hadoop系列》的第一篇博文里，就已经提到了 【hadoop】（一）分布式文件系统 HDFS，但作为面试中经常遇到的数据流的问题，特地拎出来专门写一篇文章，详细解读 HDFS 数据流的知识点，帮助小伙伴们跳出面试中的那些大坑。 一、HDFS写数据流程
转载
2023-09-20 10:37:59
49阅读
Hadoop-HDFS,思想的总结Hadoop的工作离线数据处理的简单流程(也就是不是实时更新是数据,如果要实时更新,就要用到spark进行实时处理): 流程:①②③④⑤⑥⑦⑧ ① :是产生的数据源,会将客户的操作等以日志的形式保存 ② :这些数据都会上传到Tomact服务器上,进行保存 ③ :通过flume对保存到磁盘的数据,进行捕抓到HDFS中的各个datenode ④ :通过mapreduc
转载
2023-08-16 17:35:47
66阅读
一、写在前面上一篇文章，我们聊了一下Hadoop中的NameNode里的edits log写机制。主要分析了edits log写入磁盘和网络的时候，是如何通过分段加锁以及双缓冲的机制，大幅度提升了多线程并发写edits log的吞吐量，从而支持高并发的访问。如果没看那篇文章的同学，可以回看一下：大规模集群下Hadoop NameNode如何承载每秒上千次的高并发访问。这篇文章，我们来看看，Hado
转载
2023-07-24 11:03:24
67阅读
前言 针对Hadoop的一些基础概念和术语进行整理。1、Hadoop是什么？ 分布式的解决方案。2、Hadoop解决了什么问题？ 分布式存储和分布式计算的问题。3、Hadoop如何处理数据？ Hadoop的数据来源可以是任何形式，在处理半结构化和非结构化数据上与关系型数据库相比有更好的性能，具有
转载
2023-09-06 14:09:14
68阅读
HDFS分布式文件系统：
优点：支持超大文件存储、流式访问、一次写入多次读取。
缺点：不适应大量小文件、不适应低时延的数据访问、不适应多用户访问任意修改文件。
转载
2023-05-30 12:20:22
505阅读
1.概述 Hadoop已被公认为大数据分析领域无可争辩的王者，它专注与批处理。这种模型对许多情形（比如：为网页建立索引）已经足够，但还存在其他一些使用模型，它们需要来自高度动态的来源的实时信息。为了解决这个问题，就得借助Twitter推出得Storm。Storm不处理静态数据，但它处理预计会连续的流数据。考虑到Twitter用户每天生成1.4亿条推文，那么就很容易看到此技术的巨大用途。 但S
该文章为lagou学习记录笔记，里面的资源和内容来自lagou，作为大数据菜鸡，如果内容部分有错误还请各位大佬指出并纠正，谢谢?大数据技术解决的是什么问题？大数据技术解决的主要是海量数据的存储和计算 大数据的定义：是指无法在一定时间内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式。 大数据的特点：5v（volumn–大量、velocity–高速、variety–多样、veracit
转载
2023-07-20 20:44:42
62阅读
需求：1.统计每一个用户（手机号）所耗费的总上行流量、下行流量，总流量1.数据如下：保存为.dat文件(因为以\t切分数据，文件格式必须合适)1363157985066 13726230503 00-FD-07-A4-72-B8:CMCC 120.196.100.82 i02.c.aliimg.com 24 27 2481 24681
转载
2023-09-17 11:32:51
30阅读
Hadoop的概述和特点Hadoop官网：https://hadoop.apache.org一、hadoop概述1、服务器(节点)可以理解为我们的一台笔记本/台式机，在这里可以认为是我们的一台虚拟机
后面学习中，我们会把一台服务器称为一个节点
一个公司里，会有很多服务器。尤其是hadoop集群大到上千台服务器搭建成集群2、机架负责存放服务器的架子3、什么是Hadoop？Hadoop是一个适合海量
转载
2023-07-27 19:57:44
44阅读
hadoop3.2.1 centos7 window下编写代码，打包提交到centos上的hadoop集群运行。 思路： 把图片放到hdfs上，然后把每张待处理的图片路径放写在一个txt文本中。运行MR程序的时候，把这个txt文件作为输入传入，通过文件中的图片路径去找要处理的图片，达到处理图片的目的。一、图片路径txt文件，放到hdfs上。注意：文件最后鼠标光标一定要紧跟在最后一个字符后面
转载
2023-08-18 20:36:59
39阅读
1、代码示例
package com.ares.hadoop.mr.flowsort;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.Path;
imp
原创
2021-07-22 13:49:28
680阅读
Hadoop 引擎上的 SQL 有许多广泛的应用领域：数据处理与在线分析处理（OLAP）改进优化在线事务处理（OLTP） 存储引擎: 今天 Hadoop 主要有三个存储引擎：分别是 Apache HBase、Apache Hadoop HDFS 和 Hadoop Accumulo。Apache Accumlo与 Hbase 非常相似，但它本是由 NSA 组织创建的项目，历史上特别看重系统的安全性
转载
2023-07-12 12:24:59
98阅读
源码见：https://github.com/hiszm/hadoop-train需求分析access.log第二个字段：手机号倒数第三字段：上行流量倒数第二字段：下行流量需求：统计每个手机号上行流量和、下行流量和、总的流量和(上行流量和+下行流量和)Access.java手机号、上行流量、下行流量、总流量既然要求和：根据手机号进行分组，然后把该手机号对应的上下行流量加起来Mapper: 把手机号、上行流量、下行流量 拆开把手机号作为key，把Access作为va
原创
2022-03-04 16:54:54
173阅读
源码见：https://github.com/hiszm/hadoop-train需求分析access.log第二个字段：手机号倒数第三字段：上行流量倒数第二字段：下行流量需求：统计每个手机号上行流量和、下行流量和、总的流量和(上行流量和+下行流量和)Access.java手机号、上行流量、下行流量、总流量既然要求和：根据手机号进行分组，然后把该手机号对应的上下行流量加起来Mapper: 把手机号、上行流量、下行流量 拆开把手机号作为key，把Access作为va
原创
2021-07-27 15:45:12
165阅读
