mb58bd586c30411的博客_原创

原创 2021-08-01 17:44:29 10000+阅读

压力测试Jmeter安装

目前用的常用测试工具对比 loadrunner“ 性能稳定，压测结果及细粒度大，可以自定义脚本进行压测，但是太过于重大，功能比较繁多 apache ab(单接口压测最方便)：模拟多线程并发请求,ab命令对发出负载的计算机要求很低，既不会占用很多CPU，也不会占用太多的内存，但却会给目标服务器造成巨大的负载, 简单DDOS攻击等 webbench：webbench首先fork出多个子进程，每个子进

其他

原创 2021-07-27 15:35:52 10000+阅读

设计模式

目录概述创建型单例（Singleton）1. 懒汉式(线程不安全)2. 懒汉式(线程安全)3. 饿汉式(线程安全)4. 静态内部类5. 双重校验锁6. 枚举实现简单工厂（Simple Factory）工厂方法（Factory Method）抽象工厂（Abstract Factory）生成器（Builder）原型模式（Prototype）...

单例模式

装饰者设计模式

代理

简单工厂

原型模式

原创 2021-07-19 11:21:00 10000+阅读

Spark经典案列之JdbcRDD就不用sqoop了

JdbcRDD图示：代码展示：object JdbcRddDemo { val getConn = () => { DriverManager.getConnection("jdbc:mysql://localhost:3306/lj?characterEncoding=UTF-8", "root", "root") } def main(args: A...

java

编程

java编程

编程语言

原创 2021-07-19 11:20:39 10000+阅读

静静网站流量分析项目之网页埋点_1

在上一篇介绍了“静静网站流量分析"项目的整体架构，我们会先进行应用服务的建设，所以本篇介绍的是如何在网页中进行埋点。目录1.网页埋点（本质:开发JS）2.js编写3.开发应用服务器代码 JingJingAppServer4.开发日志服务器代码JingJingLogServer1.网页埋点（本质:开发JS）开发js文件，要求应用服务器的所有页面都引入这个js文...

静静网站流量分析项目

JS埋点

存入日志

经验分享

原创 2021-07-15 11:28:03 10000+阅读

静静网站流量分析项目_0

最近打算把大数据从日志收集，数据存储，数据清洗处理，数据导出，可视化展示进行一个整合,汇总到静静网站流量分析项目，本篇先对该项目做一个简单的介绍。1.业务背景网站流量统计是改进网站服务的重要手段之一，通过获取用户在网站的行为数据，进行分析,得到有价值的信息。可以基于这些数据对网站进行改进。 1.按照在线情况分析： ...

静静网站流量分析项目

经验分享

原创 2021-07-15 11:28:02 10000+阅读

静静网站流量分析项目之日志收集数据到flum_2

1.在日志服务器中，通过Log4jAppender将日志发往flume客户端1.1 在日志服务器应用中导入Flume相关开发包，WEB-INF/lib下1.2 导入log4j的jar包，配置log4j配置文件log4j.properties，实现发送日志给flumelog4j.rootLogger = info,stdout,flumelog4j.appender.stdout ...

静静网站流量分析项目

flum

经验分享

原创 2021-07-15 11:28:00 10000+阅读

静静网站流量分析项目之flum中心服务器到HDFS存储_3

1.启动hadoop:start-all.sh2.修改中心服务器配置文件：#声明Agenta1.sources = r1a1.sinks = k1a1.channels = c1#声明sourcea1.sources.r1.type = avroa1.sources.r1.bind = 0.0.0.0a1.sources.r1.port = 44444#声...

静静网站流量分析项目

flum

hadoop

HDFS

经验分享

原创 2021-07-15 11:27:59 10000+阅读

静静网站流量分析项目之离线处理_数据清洗_4

在这一片我们将介绍如何将HDFS上的数据进行清洗得到自己想要的数据。在HDFS上我们得到的如下的信息"http://localhost/FluxAppServer/a.jsp|a.jsp|A页面|UTF-8|341x256|24-bit|zh-cn|0|1||0.5514263453546305|http://localhost/FluxAppServer/b.jsp|Mozilla/5.0...

静静网站流量分析项目

离线清洗

hive

外部表

分区表

原创 2021-07-15 11:27:57 10000+阅读

静静网站流量分析项目之hive数据处理_5

数据处理简单来说就是要用hsql真正的来实现我们的业务逻辑1. 利用Hive实现业务指标的计算a. PV访问量，一天之内访问的总量，有多少条日志就是多少个访问量。select count(*) as pv from dataclear where reportTime='2019-06-18';b. UV独立访客数，一天之内用户的总数，将一天内所有日志的uvid去重后计数...

静静网站流量分析项目

处理数据

计算标签

hsql

hive

原创 2021-07-15 11:27:55 10000+阅读

静静网站流量分析项目之自动化执行脚本_6

1.在MySql中创建需要的数据库和表create database JingJingdb;use JingJingdb;create table tongji1(reportTime date,pv int,uv int,vv int,br double,newi...

静静网站流量分析项目

离线分析

自动化脚本

定时任务

经验分享

原创 2021-07-15 11:27:53 10000+阅读

静静网站流量分析项目之实时分析消费flum数据_7

目标：将flum中心服务器的数据发布一份到kafka,用到的是Kafka Sink。1.修改两个节点的Flume中心服务器配置增加kafkaSink，将数据实时导入kafka#声明Agenta1.sources = r1a1.sinks = k1 k2a1.channels = c1 c2#声明sourcea1.sources.r1.type = avroa1...

静静网站流量分析项目

kafka

flum

实时分析

Kafka Sink

原创 2021-07-15 11:27:51 10000+阅读

静静网站流量分析项目之实时分析sparkstreaming_8

简单回顾在上一篇介绍了如何将Flume的sink数据实时导入kafka。本篇将主要介绍sparkstreaming消费kafka数据，将消费到的数据“kafkaStream”在spark清洗数据，得到清洗后的数据“clearStream”，处理数据（基于清洗后的数据算出8个指标）得到结果数据resultStream。最后将结果数据存储在mysql中。Spark的数据来源有两种，第一种...

静静网站流量分析项目

实时分析

spark

kafka

flum

原创 2021-07-15 11:27:49 10000+阅读

静静网站流量分析项目之echarts可视化展示_9

回顾上一篇已经将数据存储在mysql中，在这一篇我们将需要把mysql中的数据以图表的形式展现出来。获取数据库数据需要导入mysql驱动包具体代码实现：package com.lj;import java.io.IOException;import java.sql.Connection;import java.sql.Date;import java.sql.Driv...

静静网站流量分析项目

echarts

可视化

实时展示

经验分享

原创 2021-07-15 11:27:47 10000+阅读

静静网站流量分析项目之集群部署_10

浏览器访问应用服务器，得到的页面触发JS,JS采集的数据通过网页嵌入的图片提交到日志服务器，日志服务器通过Log4jAppender发给FlumAgent进行数据收集,FlumAgent将数据通过随机分发在两个中心服务器上。离线分析：中心服务器将数据按日期存储在HDFS上，用hive对HDFS上的数据进行清洗，得到自己想要的字段保存起来，把清洗后的数据进行处理，通过定时任务hive每天晚上...

静静网站流量分析项目

集群搭建

大数据

大数据入门实战

大数据集群汇总

原创 2021-07-15 11:27:46 10000+阅读

爬虫入门案例——爬取电影信息

综述：先介绍开发环境，在介绍从豆瓣电影上面爬取电影的电影名称，电影信息，电影剧照等信息，最终效果是以电影名称为文件夹名，文件夹包含一个txt文件和许多张剧照。如下图所示1是电影名，2是电影信息，3是各种剧照 1.Python爬虫框架比较知名框架的是Scrapy 和PySpider。PySpider 上手更简单，操作更加简便，增加了 WEB ...

python

爬虫

python实战

爬虫入门案例

经验分享

原创 2021-07-15 11:27:44 1794 阅读

SpringData入门案列

springData基础目录1.创建项目，导入依赖：pom.xml2.配置Spring核心配置文件：ApplicationContext.xml3.创建实体：4.Repository接口5.Repository接口中方法定义约定6.@Query注解自定义SQL7.CrudRepository接口8.PagingAndSortingRepository接口1....

大数据

SpringData

经验分享

原创 2021-07-15 11:27:43 179 阅读

Hive中存储json格式的数据

启动hadoopstart-all.sh启动hive./hive加载hcatalog包，此包已经包含在hive中add jar hive目录/hcatalog/share/hcatalog/hive-hcatalog-core-1.2.0.jar;准备一批json数据{"rate":"7.5","cover_x":2000,"title":"陪审员",...

Hive

Json

大数据处理Json

将json存在mysql

经验分享

原创 2021-07-15 11:27:40 1178 阅读

精英教育业务数据处理分析

目录业务背景业务需求：生产测试数据导包模板文件: jyjy.ftl生成bean类准备数据类Hive中存储json格式的数据加载hcatalog包，此包已经包含在hive中创建可以处理json格式数据的表加载数据Flume收集数据到Hive表1.配置环境变量2.初始化hive的元数据库3.建立事务性vip表4.启动Hive的Rem...

# 精英教育项目

大数据自动化生成测试数据

FreeMark

hives事务

SpringData

原创 2021-07-15 11:27:39 135 阅读

如何通过SpringData操作Hive数据

大数据

大数据hive

大数据SpringData

操作hive方法

经验分享

原创 2021-07-15 11:27:36 327 阅读

Spark系列七：Spark 任务执行的流程详解及相关概念

目录spark总体流程图示图解详解DAG（Directed Acyclic Graph）详解Stage总结细节流程总体流程线程池序列化spark总体流程图示：图解：四个步骤1.RDD Objects:构建DAG（调用RDD上的方法）2.DAGScheduler将DAG切分Stage（切分的依据是Shuffle），将Stage中生成的Task以...

spark

原创 2021-07-15 11:27:17 2087 阅读

Spark系列三：Spark经典案列之求前几名问题，最受欢迎的

1.在所有的老师中求出最受欢迎的老师Top32.求每个学科中最受欢迎老师的top3（至少用2到三种方式实现）文件内容;http://english.com.lj/laodahttp://english.com.lj/laodahttp://english.com.lj/laoerhttp://english.com.lj/laoerhttp://english.com.lj/...

spark

原创 2021-07-15 11:26:44 71 阅读

Spark系列五：Spark经典案列之使用各种方法实现自定义排序

目录概述方案汇总方法一方法二方法三方法四方法五方法六概述总体需求：Array("laoduan 30 99", "laozhao 29 9999", "laozhang 28 98", "laoyang 28 99")排序规则：首先按照颜值的降序，如果颜值相等，再按照年龄的升序。下面列举了各种排序思路。方案汇总方法一建了一个user类，继承了...

spark

原创 2021-07-15 11:26:33 270 阅读

Spark系列四：Spark的经典入门案列之ip地址归属地查询

目录概述代码实现单级模式分布式模式方案一：方案二：工具类提示：所有需要的文件我全部放在资源里面了，可以自行下载概述需求：根据访问日志的ip地址计算出访问者的归属地，并且按照省份，计算出访问次数，然后将计算好的结果写入到MySQL解决方案流程： 1.整理数据，切分出ip字段，然后将ip地址转换成十进制 2.加载规则，整理规则，取出有用的字段...

spark

原创 2021-07-15 11:06:23 608 阅读

scala基础语法篇

目录安装数据类型变量，常量字符串操作符条件表达式 while用法 for循环 for yield 表达式声明map(key->value) 异常处理机制 break 和continue 安装 1.window安装，一路下一步 2.cmd 窗口输入 >scal 数据类型 Any -> AnyVal -> 7 数据类型(Byte、Char

scala

scala异常处理机制

scala操作符

scala数据类型

原创 2021-07-15 11:04:56 302 阅读

序列化框架之AVRO

目录概述序列化RPC概述1.AVRO是Apache提供的开源框架，可以完成序列化以及RPC过程2.原来是Apache Hadoop项目的子项目，后来不止可以用于Hadoop，也可以用于其他框架中进行序列化以及RPC，所以单立出来成为了Apache的顶级项目3.AVRO在序列化数据的时候是以字符串形式体现，以json形式来作为约束4.RPC用于完成数据的通信，使得前端...

并发

序列化

RPC

反序列化

经验分享

原创 2021-07-15 11:04:14 253 阅读

NIO

目录简述NIO与BIO的比较NIO组成Buffer 缓冲区存储类型重要的位置重要的操作常用语法Channel 通道Selector-多路复用选择器简述用于完成数据的传输BIO - BlockingIO - 同步式阻塞式IONIO - NonBlockingIO - 同步式非阻塞式IO - JDK1.4出现的AIO-异步式非阻塞式IO-JD...

并发

NIO

BIO

Buffer

Channel

原创 2021-07-15 11:04:13 205 阅读

scala之集合Collection篇

目录Array定义数组方式常用方法ListsetMapTuple(元组)总结集合相关APIArray1.Array: 长度不可变，内容可变2.immutable:定长数组是Array,一经声明,数组长度不能更改。3.mutalbe:变长数组是ArrayBuffer,长度可以变更(通过append方法追加)4.操作数组通过下标操作,从0开始。不同于...

scala

scala的数组

scala的list

scala的元组

scala的Map

原创 2021-07-15 11:04:09 203 阅读

scala之类与对象

目录objectclass抽象类特质Trait样例类,样例对象模式匹配object单例的对象，里面定义的成员变量和方法都是静态的（static），如果要编写和运行main,必须要写在单例对象类中伴生对象：当object 的名称和类的名称一致的时候。，这个对象叫着这个类的伴生对象（必须在同一个文件中）objectName.apply() 和 o...

scala

scala的特质trait

scala的模式匹配

scala的样例类

样例对象

原创 2021-07-15 11:04:07 129 阅读

scala之函数篇

目录def关键字函数的定义：（=>）柯里化技术偏函数成员函数和本地函数匿名函数和高阶函数fllter和foreach递归函数lazy懒值 def关键字scala通过def 关键字来定义函数.形式: def 方法名称（参数列表）：方法的返回值类型 = 方法体方法可以转换成函数方法名称 _函数的定义：（=>） ...

scala

scal高阶函数

scala柯里化技术

scala偏函数

scala递归函数

原创 2021-07-15 11:04:06 143 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

12658701

欢迎

Docker镜像仓库

压力测试Jmeter安装

设计模式

Spark经典案列之JdbcRDD就不用sqoop了

静静网站流量分析项目之网页埋点_1

静静网站流量分析项目_0

静静网站流量分析项目之日志收集数据到flum_2

静静网站流量分析项目之flum中心服务器到HDFS存储_3

静静网站流量分析项目之离线处理_数据清洗_4

静静网站流量分析项目之hive数据处理_5

静静网站流量分析项目之自动化执行脚本_6

静静网站流量分析项目之实时分析消费flum数据_7

静静网站流量分析项目之实时分析sparkstreaming_8

静静网站流量分析项目之echarts可视化展示_9

静静网站流量分析项目之集群部署_10

爬虫入门案例——爬取电影信息

SpringData入门案列

Hive中存储json格式的数据

精英教育业务数据处理分析

如何通过SpringData操作Hive数据

Spark系列七：Spark 任务执行的流程详解及相关概念

Spark系列三：Spark经典案列之求前几名问题，最受欢迎的

Spark系列五：Spark经典案列之使用各种方法实现自定义排序

Spark系列四：Spark的经典入门案列之ip地址归属地查询

scala基础语法篇

序列化框架之AVRO

NIO

scala之集合Collection篇

scala之类与对象

scala之函数篇