马吉辉的博客_hadoop生态圈,redis,K8S,Hbase,数据库管理DBA,Docker,其他大数据,大数据运维,hadoop生态圈,hbase,zookeeper原创

linux常用命令--工作记录20201126

用sed命令怎么打印文件中的最后一行https://zhidao.baidu.com/question/1431848772803799419.html执行下面2个命令1、awk'NF{a=$0}END{printa}'file.txt2、sed'/^$/!h;$!d;g'file.txt在下载了一个大文件之后，需要对他进行拆分[root@uhadoop-mzwc2w-master2hadoop-

linux工作记录

原创 2020-11-29 12:56:39 658 阅读

大数据集群分发同步脚本

集群分发脚本xsync在/usr/local/bin目录下，创建xsync文件[root@yh-hadoop101bin]#pwd/usr/local/bin[root@yh-hadoop101bin]#chmod777xsync[root@yh-hadoop101bin]#lltotal4-rwxr-xr-x1rootroot487Sep2913:58xsync[root@yh-hadoop10

集群分发脚本

集群同步命令脚本

原创 2020-10-01 10:27:28 1199 阅读

declare 命令创建只读变量，basename命令用于打印目录或者文件的基本名称显示最后的目录

Linuxdeclare命令学习：https://www.runoob.com/linux/linux-comm-declare.htmlhttps://blog.csdn.net/yyywyr/article/details/50285251Linuxdeclare命令用于声明shell变量。declare为shell指令，在第一种语法中可用来声明变量并设置变量的属性([rix]即为变量的属性）

basename命令显示最后的目录名

basename显示最后文件名

declare命令用于声明只读变量

原创 2020-04-12 23:22:40 819 阅读 1点赞

daemonize Unix系统后台守护进程管理软件

在我们的工作中，很多时候都需要在linux中后台运行程序，方法1：nohup&方法2：daemonizeUnix系统后台守护进程管理软件优点：更加正规后台运⾏更稳定gitclonegit://github.com/bmc/daemonize.gitshconfigure&&make&&sudomakeinstall[root@dev-hadoop-test0

linux后台运行

daemonize 命令的使用方法

原创 2020-04-12 23:19:27 2384 阅读 1点赞

python 链接mysql数据库使用 mysql-connector 方式

用linux上用python对mysql进行连接前提遇到的问题记录：在linux上安装(base)[sqoop@flink-slave5bin]$./pipinstallmysqlLookinginindexes:http://pypi.douban.com/simpleCollectingmysqlDownloadinghttp://pypi.doubanio.com/packages/bf/5

python 链接mysql数据库使

python 链接mysql数据库

mysql-connector 方式p

python操作mysql

原创 2020-03-09 16:31:02 889 阅读 1点赞

hive权限用Sentry详细使用测试文档

背景：1、ApacheSentry是Cloudera公司发布的一个Hadoop开源组件，它提供了细粒度级、基于角色的授权以及多租户的管理模式，2、Sentry当前可以和Hive/Hcatalog、ApacheSolr和ClouderaImpala集成，为这些组件提供权限管理服务。3、基于角色的管理（role-basedacesscontrol）通过创建角色，将每个组件的权限授予给此角色，然后在用户

hive权限用Sentry

Sentry使用指南

原创 2020-03-09 16:20:37 6197 阅读 1点赞

2019~2020年度总结

2019~2020年度总结开篇：姗姗来迟的年度总结。其实我原本在2020年农历春节之前就准备写一下总结，由于各种的事情，年前换了一下房子，今天抽点时间总结一下过去的一年。本人觉得还是很有必要的。题记：怒发冲冠，凭栏处、潇潇雨歇。抬望眼，仰天长啸，壮怀激烈。三十功名尘与土，八千里路云和月。莫等闲，白了少年头，空悲切！靖康耻，犹未雪。臣子恨，何时灭！驾长车，踏破贺兰山缺。壮志饥餐胡虏肉，笑谈渴饮匈奴血

2019~2020工作总结

原创 2020-02-14 18:42:12 871 阅读 1点赞

43 正则中用sub和subn函数搜索与替换使用split函数分隔字符串练习题

第10课正则中用sub和subn函数搜索与替换#使用sub和subn函数搜索和替换'''sub(正则表达式,要替换的字符串,母字符串）'''importreresult=re.sub('Bill','Mike','Billismyson.')print(result)#Mikeismyson.把Bill替换成Mikeresult=re.subn('Bill','Mike','Billismyson

正则中用sub和subn函数搜索与替换

正则中使用split函数分隔字符串

python正则表达式练习题

原创 2020-01-10 18:04:09 616 阅读 1点赞

42 python中正则中的分组正则中匹配字符串的起始和结尾以及单词边界

第七课正则中的分组#分组#正则表达式中用一对圆括号括起来的部分被称为一个分组#'(\d\d\d)-(\d\d)'importre'''1.只有圆括号括起来的部分才算一组，如果正则表达式中既有被圆括号括起来的部分，也有未被圆括号括起来的部分，那么只将圆括号括起来的部分算一组2.group方法，如果不指定参数，会返回匹配的整个字符串，如果加参数，会返回指定分组的字符串，组索引从1开始3.groups方

正则中匹配字符串的起始和结尾以及单词边

正则中的分组

正则中使用findall和findit

原创 2020-01-10 18:00:46 799 阅读 1点赞

41 正则中匹配多个字符串匹配任意单个字符正则中使用字符串重复、可选和特殊字符

第三课正则中匹配多个字符串#匹配多个字符串#择一匹配符号，importres='Python|Ruby|Java|Swift'm=re.match(s,'PythonRuby')print(m)#<re.Matchobject;span=(0,6),match='Python'>m=re.search(s,'IlovePython.')print(m)#<re.Matchobje

正则中匹配多个字符串

正则中匹配任意单个字符

正则中使用字符串主要针对单个字符有多

正则中重复、可选和特殊字符

原创 2020-01-10 17:58:10 4663 阅读 1点赞

40 python 正则表达式 match方法匹配字符串使用search函数在一个字符串中查找子字

第一课：使用match方法匹配字符串#正则表达式：使用match方法匹配字符串'''正则表达式：是用来处理文本的，将一组类似的字符串进行抽象，形成的文本模式字符串windowsdir*.txtfile1.txtfile2.txtabc.txttest.doca-file1.txt-blinux/macls主要是学会正则表达式的5方面的方法1.match：检测字符串是否匹配正则表达式2.search

使用match方法匹配字符串

正则中使用search函数在一个字符串

原创 2020-01-10 17:54:38 2112 阅读 1点赞

39 py函数作用域递归函数变量作用域局部函数使用lambda

第十课：函数作用域//python中的嵌套函数在一个函数中再定义一个函数#小结：#函数作用域：因为：python是动态语言，定义变量的时候是不需要指定变量类型的，这样的话，我们在使用或者定义变量的时候作用域会分不清#如果在函数中定义一个变量，而且变量名和该函数上一级的作用域中的变量名相同#那么在该函数使用该变量时，就会使用局部变量#如果在函数中使用一个变量，但该变量在函数中并没有定义，那么会到该函

python函数的作用域

函数的递归

python变量作用域

局部函数

使用lambda表达式代替局部函数

原创 2020-01-08 11:25:05 565 阅读 1点赞

dbeaver 去链接 hive server2 亲测可行全网独博

第一步：首先在dbeaver上选择窗口里的首选项添加maven有的网友很好奇，这个maven是怎么找的呢？首先我们的hive的版本为1.1.0-cdh5.4.9的百度搜maven进入地址为：https://mvnrepository.com/search?q=hive选择cloudearrel选择相应的版本1.1.0-cdh5.4.9接下来，就会看到我们要找的<!--https://mvnr

dbeaver 去链接 hive

maven的相关信息查找

原创 2020-01-08 10:55:59 1546 阅读 1点赞

38 py改变函数参数的值关键字参数和参数默认值函数中可变参数将序列中的元素值作为函数对应的参数值传

第五课：改变函数参数的值一个python函数可以有任意多个参数，在一个函数的外部来定义变量，然后把变量作为参数传入到函数内，并且在函数的内部来修改函数的参数值，函数结束之后，这些变量的值在如何变化呢？给函数传递值有2种：1种是值传递，1种是引用传递#改变函数参数的值#值传递（数值、字符串、布尔这些都是值传递）在函数的内部修改变量值，不改变原参数定义的参数值，解释为：这个在函数中不会改变原来定义(函

将序列中的元素值作为函数对应的参数值传

函数中可变参数

函数中关键字参数和参数默认值

改变函数参数的值（案例）

原创 2020-01-07 18:18:33 519 阅读 1点赞

37 py为什么要使用函数函数中添加文本注释没有返回值的函数

第一课：为什么要使用函数首先要知道本课程的主要讲解的内容为：1、为什么要创建函数2、***函数的概念是：将一段可能别重用的代码封账到一个代码段里面，然后通过函数的参数，控制函数的动态部分。//如何来定义python中的函数和使用函数***3、如何创建一个函数4、如何为函数添加文档注释，如何获取函数的文档注释5、函数如何返回一个值6、改变函数的参数值7、关键字参数与参数默认值8、可变参数9、如何将序

为什么要使用函数

函数的概念是

创建和使用python函数

为函数添加文档注释(重要)

没有返回值的函数

原创 2020-01-07 15:30:34 584 阅读 1点赞

36 字典中的items方法和key pop方法popitem方法setdefault update

第十课获取字典中的key和value（items方法和key方法）#items方法和keys方法#items方法用于返回字典中所有的keyvalue对获得的每一个kv对用一个元组来表示items方法返回的值被成为字典视图的一个特殊类型可以直接用于迭代for循环里面#items的返回值与字典使用的同样的值我们修改了一方的值，另外一方也会同样改变。'''key方法用于返回字典中所有的key与items

获取字典中值的列表（values方法）

成批导入字典数据（update方法）

添加但不修改value（setdefa

弹出字典中的值pop方法和popite

items方法和key方法

原创 2020-01-07 14:09:38 686 阅读 1点赞

35 字典中 format_map方法格式化字符串序列与迭代 clear copy deepcopy

第四课用format_map方法格式化字符串用于字典中#用format_map方法格式化字符串首先format_map方法不是字典中的，是字符串的values1=(1,2,'hello')#这是定义一个元组str1="abc%dxyz,%d,%sworld"#%d数字%s字符串print(str1%values1)#abc1xyz,2,helloworldvalues2={'title':'极客起

复制字典（copy方法和deepcop

根据key创建字典（fromkeys方

获取字典中的 value（get方法）

原创 2020-01-06 11:21:43 533 阅读 1点赞

34 py创建和使用字典使用dict函数将序列(列表、元组)转换为字典以及字典的基本操作

第一课创建和使用字典#创建和使用字典#我们以前讲过2种序列：1列表2元组#共同点：都是通过索引引用元素值#不同点：列表是可读写的，元组是只读的names=["Bill","Mike","John","Mary"]numbers=["1234","4321","6789","6543"]print(numbers[names.index("Mike")])#4321通过names中的Mike的索引位

python中的字典

python中字典的基本使用

python中字典与序列的区别

原创 2020-01-06 10:06:36 1827 阅读 1点赞 8评论

33 python format练习题利用format方法生成一个星号三角形

第十五课练习题'''1.编写一个Python程序，从控制台输入一个字符串（保存到变量s中），然后通过while循环不断输入字符串（保存到变量subStr中），并统计subStr在s中出现的次数，最后利用format方法格式化统计结果。'''s=input("请输入一个字符串：")whileTrue:subStr=input("请输入要统计的字符串：")ifsubStr==":exit":break

python format练习题

利用format方法生成一个星号三角形

原创 2020-01-04 17:53:16 3613 阅读 1点赞

32 字符串常用的方法 center find join split lower upper

第八课字符串中常用的方法：center方法#字符串方法：center#作用是：将字符串在一定的宽度区域内居中显示#这个方法和我们之前将的format中的^一样#^print("<"+"hello".center(30)+">")#<hello>#<hello>pri

lower upper和capword

字符串中的方法replace stri

translate方法maketran

原创 2020-01-04 17:50:19 475 阅读 1点赞

31 python中format方法:字段宽度、精度和千位分隔符符号、对齐和用0填充

第六课字段宽度、精度和千位分隔符(format方法)#字段宽度、精度和千位分隔符#100,000,000,000#让一个数值在宽度为2的范围内输出，如果数值没到12位，左侧填充空格4位呢print("a:{num:2}".format(num=32))#a:32print("a:{num:4}".format(num=32))#a:32中间有2个空格包括32这两位就是四个宽度#字段宽度可以用于用p

python中format重要

字段宽度、精度和千位分隔符

符号、对齐和用0填充 (fromat方

原创 2020-01-04 17:19:00 10000+阅读

30 字符串的基本操作格式化字符串(%,Template类,format方法*****)

Python视频课程（5）—Python字符串第一课字符串的基本操作#字符串：基本操作字符串取单个字母s1="Ilovepython."print(s1[7])#pprint(s1[11])#o#print(s1[15])#超过字符串长度会报错#利用分片截取字符串的子字符串取一段区间的字符串print(s1[7:13])#pythonprint(s1[7:])#python.print(s1[::

python字符串的基本操作

python字符串的格式化%

python字符串格式化Templat

python字符串格式化format

原创 2020-01-04 16:32:06 707 阅读

29 python中列表中的方法(重点) 列表的基本操作（赋值、删除和分片赋值) 元组

第7课：列表的基本操作（赋值、删除和分片赋值)#列表的基本操作#赋值、删除列表元素、分片赋值#1.列表元素的赋值values=["Bill","Mary","John"]values[0]="Mike"values[1]=10.4values[-1]="Joe"#values[-5]="abc"#抛出异常print(values)#['Mike',10.4,'Joe']#删除列表中的元素numbe

列表的基本操作（赋值、删除和分片赋值)

python中列表中的方法(重点

python中元组的概念

原创 2020-01-03 16:59:05 722 阅读

28 python 序列的乘法（字符串乘法）检查某个值是否属于一个序列求序列的长度、最大值和最小值

第四课：序列的乘法（字符串乘法）#序列的乘法#序列和一个整数相乘序列的乘法可以达到复制整数份的字符串的效果s="a"print(s*12)#aaaaaaaaaaaanumbers=[1,2,3,4,5]print(numbers*3)#[1,2,3,4,5,1,2,3,4,5,1,2,3,4,5]#打印正三角*号的功能'''['','','','','','*','','','','','']['

python 序列的乘法（字符串乘法）

py检查某个值是否属于一个序列

求序列的长度、最大值和最小值

原创 2020-01-03 16:12:07 622 阅读

27 python 定义列表序列的基本操作序列的分片

第一课定义列表#列表和元组----序列#序列：是数据元素的集合，数据元素可以是数值、字符串、布尔类型、对象等。#序列的类型：列表和元组#列表：把一组值简单的放在一起的一种方式和数组类似name="Bill"names=["Bill","Mary","John"]values=["Bill",True,False,10,20.5,[1,2,3,4,5]]print(names)#输出结果为：['Bi

python中的序列(列表元组)

python中序列的分片

python中序列的索引

python中序列的基本操作

原创 2020-01-03 15:51:53 546 阅读

26 python语言编写判断奇数偶数动态输出菱形 eval函数编写一个控制台版的计算器

练习题判断奇数偶数#1.编写Python程序，实现判断变量x是奇数还是偶数的功能。#2.改写第1题，变量x需要从Python控制台输入。#第1题#coding:utf-8x=5a=x%2#print(a)ifa==0:print("x的值为偶数")else:print("x为奇数")print("---------------------------")'''whileTrue:#这里面是运行来一

python语言编写判断奇数偶数

python动态输出菱形

eval函数编写一个控制台版的计算器

原创 2020-01-03 15:16:58 1270 阅读

23 24 25 py中break和continue 循环中的else语句 exec和eval函数

第十课跳出循环（break和continue)break:退出整个循环不执行循环下面的其他语句continue：忽略continue后面的所有的语句然后会转向执行下一次的循环也就是会执行下面的语句的#coding:utf-8x=0whilex<12:print(x,end=',')x+=1#结果Wie：0,1,2,3,4,5,6,7,8,9,10,11,print()y=0whiley<

python中breakcontinu

py循环中的else语句

py exec和eval函数动态

原创 2020-01-03 15:13:59 541 阅读 1点赞

21 22 py中的while for循环

第八课while循环#coding:utf-8#while循环#当布尔表达式为True，就是执行一遍循环体中的代码。'''现在要从1输出到10print(1)print(2)print(3)print(4)print(5)print(6)print(7)print(8)print(9)print(10)''''''whilecondition_expression:statement1statem

python的while

python的for循环

py的while和for循环的对比

原创 2020-01-03 14:40:31 505 阅读 1收藏

18 19 20 py if语句比较运算符断言assertions

第四课条件语句（if、else和elif）#coding:utf-8python语言中是已缩进的代码块进行界定的#条件语句（if、else和elif）'''iflogic_expression:statement1statement2statement3......statementneliflogic_expression:statement1statement2......statementn

python比较运算符

python if语句

python if与shell对比

py的断言assertions

原创 2020-01-03 11:26:12 484 阅读 1点赞

15 16 17 神器的print函数 py赋值布尔(true false)

第一课神奇的print函数#coding:utf-8#神奇的print函数支持可变参数print("helloworld")#结果为helloworldprint("a","b","c","d","e")#结果为abcde#name=Billprint("name=","Bill")#结果为name=Bill#小结print的默认2个字符串之间是空格有好处也有坏处#Ruby,Python,Java

py中print函数的特性

py赋值

布尔（Boolean)值和布尔变量

原创 2020-01-03 09:51:07 1011 阅读 1点赞

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

大数据技术小哥