WEL测试的博客_python,项目管理,安全技术,vue,Docker,人工智能,react,前端学习,vue学习,React学习笔记(23)

大数据Spark企业级实战版【学习笔记】-----Spark Streaming 的构架

1.3.2.1 Spark Streaming 的构架计算流程：Spark Streaming是将流式计算分解成一系列短小的批处理作业。这里的批处理引擎是Spar

Spark Streaming流程图

Spark Streaming容错性

Spark Streaming实时性

扩展性与吞吐量

spark

原创 2022-06-15 17:34:33 105 阅读

大数据Spark企业级实战版【学习笔记】-----Spark Streaming的编程模式

1.3.2.2 Spark Streaming 的编程模式对于Spark Streaming来说，编程就是对于DStream的操作。下面将通过WordCount的例子来说明Spark

Spark Streaming初始化

Spark Streaming输入操作

Spark Streaming转换操作

Spark Streaming启动

spark

原创 2022-06-15 17:34:24 151 阅读

大数据Spark企业级实战版【学习笔记】-----Spark Streaming案例分析

1.3.2.3 Spark Streaming案例分析在互联网应用中，网站流量统计作为一种常用的应用模式，需要在不同粒度上对不同数据进行统计，既有实时性需求，

数据暂存与数据处理

Kafka+SparkStreaming

增加并行度与减少数据序列化反序列化

优化内存

spark

原创 2022-06-15 17:34:16 345 阅读

大数据Spark企业级实战版【学习笔记】-----交互式SQL处理框架Spark SQL

1.3.3 交互式SQL处理框架SparkSQLSpark SQL的四个特点如下：其一，能在Scala代码里写SQL，支持简单的SQL语法检查，能把RDD指为Table存储起来。此外支持部分SQL语法的DSL。对SQL的支持主要依赖Catalyst这个新的查询优化框架，在把SQL解析成逻辑执行计划之后，利用Catalyst包里的一些类和接口，执行一些简单的执行计划优化，最后变成RDD的

机器学习框架

Spark SQL的四个特点

MLlib目前支持4种常见的机器学习问题

梯度下降基础算法

spark

原创 2022-06-15 17:34:09 220 阅读

【Redhat7.3】在局域网内安装ambari，通过ambari安装大数据平台

由于安装过程比较复杂，在博客中不好组织描述，特把安装过程，以及过程中遇到的问题，整理成一个文档，在下载资源中，如果有问题可以在QQ群@我以下是文章目录：前提条件 4修改机器的hostname 5修改主机名 6配置所有节点 8在hosts中添加其他

局域网

ambari

大数据平台安装

redhat7.3

离线搭建yum源码

原创 2022-06-15 17:34:02 218 阅读

对大数据平台中表分析

假如数据表为Demo，这里中的最大值、最小值、平均值的计算要单位一致，如果单位不一致计算有误。这里给出的只是命令，命令使用

大数据平台

hadoop

分区表分析

hive

hdfs

原创 2022-06-15 17:33:40 96 阅读

【KAFKA】使用星环大数据平台客户端操作kafka的topic

前置条件从星环大数据平台下载kafka的配置文件。如下载的配置为kafka1，把该kafka1放入到/etc目录下并给kafka1目录进行如下赋权：

TDH-Client

kafka

topic

大数据

java

原创 2022-06-15 17:33:34 270 阅读

perl学习笔记-----------------------（1）

1.标量数据:可有操作符（如相加和串联），通常会产生一个新的标量数据。标量数据的值可以存放在标量变量中。标量可以从文件或设备读取

perl

基本变量

perl变量的使用

字符串

标量

原创 2022-06-15 17:32:19 149 阅读

perl学习笔记-----------------------（2）

1.Perl可以使用括号来改变优先级2.对于数字的比较，Perl 提供了= != 这些操作符。每一种返回的值为true 或者false3.对于字符串比较

perl优先级控制

perl逻辑控制语句

perl输入与输出函数

perl chmop

perl STDIN

原创 2022-06-15 17:32:03 151 阅读

perl学习笔记-----------------------（5）

1.如果编译器在调用之前知道此子程序的定义，或者Perl 从语法中能知道这是一个子程序调用，则子程序前的符号&是可

perl函数创建与调用

perl创建子程序

子程序

perl

编译器

原创 2022-06-15 17:31:25 52 阅读

perl学习笔记-----------------------（3）

1.Perl的标量代表的是单数，列表和数组代表的是复数2.列表是标量的有序集、数组是包含列表的变量。3.列表是指数据元素是编了号的，其索引从整数

perl标量使用

perl数组使用

perl的foreach使用

perl pop与push

perl shift与unshift

原创 2022-06-15 17:30:53 167 阅读

perl学习笔记-----------------------（4）

1.强制转换为标量Context偶尔，你可能需要标量context 而Perl 期望的是列表。这种情况下，可以使用函数scalar

perl强制转换

perl创建私有变量

perl创建子程序

perl调用子程序

perl my关键字

原创 2022-06-15 17:30:30 85 阅读

perl学习笔记-----------------------（6）

1.为行输入操作，但其实际上是对一个文件句柄(filehandle)的行输入操作(有件句柄(filehandle)。$line = ; #读入下一行；chomp($line); #去掉结尾的换行符chomp($line=) #同上，更常用的方法2.行输入操作在到达文件的结尾时将返回undef，这对于从循环退出时非常方便的：while (defin

perl文件操作

perl

文件句柄

字符串

原创 2022-06-15 17:30:14 77 阅读

perl学习笔记-----------------------（7）

1.默认情况下，如果不指定文件句柄给print(或者printf,这里的内容对两者均适用)，则默认会使用STDOUT。但这个默认属性

perl的select函数

perl代码练习

perl的select LOG

perl的select bedrock

perl

原创 2022-06-15 17:29:55 162 阅读

perl学习笔记-----------------------（8）

1.正则表达式，在Perl 中通常被称为模式(pattern)：某个模板是否匹配某个字符串◆。由于存在无限的字符串，某个给定的模式将这些字符串分成两类

perl正则表达式

perl中问号与加号

perl中匹配数字和字母

正则表达式匹配模式

字符串

原创 2022-06-15 17:29:44 153 阅读

perl学习笔记-----------------------（9）

1.m//（模式匹配）的一种简写。同qw//操作一样，可以使用任何成对的分隔符。因此，可以使用m(fred), m, m{fred}, m[fred]，或者m,fred,, m!fred!, m^fred^，其它非成对的分隔符也可以◆2.如果使用正斜线（/）作为分隔符，则可以省略掉前面的m。由于Perler 喜欢少输入字符，因此大多数模式使用的是正斜线，如/fred/3.如果想写一

perl正则表达式应用

x 修饰符

eval 块捕捉错误

perl绑定操作符

perl的分隔符

原创 2022-06-15 17:29:20 63 阅读

perl学习笔记-----------------------（11）

标量存储单一的数据项，表包含多个数据项。标量是实际的数据类型，perl没有表这样的数据类型。标量和表的差异是一种工作环境而非数据类型。

pack函数

perl中使用的所有前缀

perl的3种不同的数据格式

perl变量命名

perl中的函数

原创 2022-06-15 17:29:04 127 阅读

perl学习笔记-----------------------（10）

设计应用程序过程的四个方面：1.性能————响应能力和全局速度优化以及资源的利用2.可维护性————应用程序易于维护的能力3.可扩展性—

perl应用程序设计过程

设计应用程序过程的四个方面

性能的这几个方面

可维护性

应用程序

原创 2022-06-15 17:28:54 53 阅读

perl学习笔记-----------------------（13）

可以通过使用赋值运算符=将一个表赋值给另一个。如：($a,$b)=($c,$d);用这样的方法，可以将表当作可赋值的实体和左值。

perl的map

perl的grep

perl的split

perl的scalar

perl的sort与reverse

原创 2022-06-15 17:28:46 72 阅读

perl正则表达式

默认情况下，m//运算符尝试匹配指定的模式和$_中的文本。例如：在用户输入的文本中查找字符串exit（第二个反斜线之后的i修饰符是的模式匹配不区分大小写

perl中特殊字符

m运算符

正则表达式

s运算符

sed

原创 2022-06-15 17:28:34 181 阅读

perl学习笔记-----------------------（12）

如果标量还没有赋任何值，可以给标量赋默认值。这里的技术依赖以下事实：未初始化的标量被设置为未定义量，对它可以

Perl的单引号和双引号的区别

perl中的stat函数

perl中的int函数

perl

字符串

原创 2022-06-15 17:27:48 183 阅读

perl正则表达式（2）

perl中的量词： *-----------------匹配0或多次 +-----------------匹配1或多次 ?-----------------匹配0或1次 {n}-----------------匹配n次 {n,}------

perl中的量词

perl中的合法断言

正则表达式扩展

回想断言与预测断言

sed

原创 2022-06-15 17:27:39 236 阅读

perl学习笔记-----------------------（14）

哈希是一种数据结构，和数组类似，可以将值存放到其中，或者从中取回值。但是，和数组不同的是，其索引不是数字，而是名字。也就是说，索引

perl的hash

perl的keys

perl的each函数

迭代器iterator

perl

原创 2022-06-15 17:27:21 138 阅读

perl学习笔记-----------------------（15）

#!/usr/bin/perl -w#创建子程序检查$values的值sub printOK{if($values>10){print "Values is $values.\n";}else {print "Value is too small.\n";}}$values=15;printOK;在默认情况下Perl变量在全局范围内有效，因此可以在子程序printOK

perl函数定义

perl函数调用

子程序

perl

数组

原创 2022-06-15 17:27:07 103 阅读

perl学习笔记-----------------------（16）

当传递数组或者哈希表时，它将复制到@_中，这对于单个数组没有问题，但哈希表将被展开为键/值组合的列表。在子程序中将@_赋值

列表赋值

perl中变量作用域

perl创建变量

原创 2022-06-15 17:26:53 195 阅读

第1章 BashShell命令------------(Linux安全性)

1.7 Linux文件权限1.7.1 Linux安全性 Linux安全系统的核心是用户账户。访问Linux系统的每个人都应该拥有已分配的、唯一的用户账户。

shell的useradd与userad

shell修改用户usermod

passwd和chpasswd

chsh与chfn和chage

用户账户

原创 2022-06-15 17:25:36 131 阅读

VirtualBox给Kali Linux安装增强器

安装完虚拟机后，安装增强器的时候，给出提示信息：Building the main Guest Additions module...fail!如果已经更新和升

Kali Linux安装增强器

Kali安装增强器失败

Guest_Additions_Fail

重启

原创 2022-06-15 17:25:08 591 阅读

用stress对Linux系统进行压测

进入网站：http://www.rpmfind.net/linux/rpm2html/search.php?query=stress(x86-64)下载对应系统的stress安装包。下载成

stress

LINUX

linux

安装包

.net

原创 2022-06-15 17:24:57 244 阅读

【Linux】负载分析三剑客：uptime、mpstat、pistat

WEL测试：这是什么？我想看看，看了会不会中毒呀？有点害怕sysstat 包含了常用的 Linux 性能工具，用来监控和分析系统的性能。析mpstat 是一

Linux

平均负载

uptime

mpstat

pidstat

原创 2022-06-15 17:24:45 111 阅读

Linux: 脚本中添加set -e/u、set +e/u作用及作用域证明

下面图片中的：我看脚本中set +e、set -e、set +u、set -u是蒙圈的，这些表示什么意思呢？在redhat系统执行：man set可以看到set 的

Linux

set -e

set -u

set +e

set +u

原创 2022-06-15 17:24:36 1058 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

weltest

大数据Spark企业级实战版【学习笔记】-----Spark Streaming 的构架

大数据Spark企业级实战版【学习笔记】-----Spark Streaming的编程模式

大数据Spark企业级实战版【学习笔记】-----Spark Streaming案例分析

大数据Spark企业级实战版【学习笔记】-----交互式SQL处理框架Spark SQL

【Redhat7.3】在局域网内安装ambari，通过ambari安装大数据平台

对大数据平台中表分析

【KAFKA】使用星环大数据平台客户端操作kafka的topic

perl学习笔记-----------------------（1）

perl学习笔记-----------------------（2）

perl学习笔记-----------------------（5）

perl学习笔记-----------------------（3）

perl学习笔记-----------------------（4）

perl学习笔记-----------------------（6）

perl学习笔记-----------------------（7）

perl学习笔记-----------------------（8）

perl学习笔记-----------------------（9）

perl学习笔记-----------------------（11）

perl学习笔记-----------------------（10）

perl学习笔记-----------------------（13）

perl正则表达式

perl学习笔记-----------------------（12）

perl正则表达式（2）

perl学习笔记-----------------------（14）

perl学习笔记-----------------------（15）

perl学习笔记-----------------------（16）

第1章 BashShell命令------------(Linux安全性)

VirtualBox给Kali Linux安装增强器

用stress对Linux系统进行压测

【Linux】负载分析三剑客：uptime、mpstat、pistat

Linux: 脚本中添加set -e/u、set +e/u作用及作用域证明

欢迎