灰色、最淡雅的低调的博客

Logstash系列之--安装入门例子

logstash7.2安装入门例子--hello world！官网下载历史把本(太慢，有时候访问不了)：https://www.elastic.co/cn/downloads/past-releases云盘安装包提供：https://blog.csdn.net/weixin_37281289/article/details/101483434下载7.2版本，解压即可运...

配置文件

自动加载

官网

原创 2022-05-23 11:30:51 258 阅读

Logstash系列之--基础知识

Logstash系列之--基础知识：区段Logstash 用 {} 来定义区域，区域内可以包括插件区域定义，你可以在一个区域内定义

postman

测试工具

字段

数据

json

原创 2022-05-23 11:30:19 284 阅读

Logstash系列之--实战演练

Logstash系列之--实战演练实现如下功能，以此熟悉一些logstash的语法：**1、接收本机51

logstash

git

字段

elasticsearch

原创 2022-05-23 11:29:58 258 阅读

Logstash系列之--JAVA自定义插件

Logstash系列之--自定义插件(JAVA)说明官方文档：https://www.elastic.co/guide/en/logsta

elk

java

git

jar

原创 2022-05-23 11:29:57 823 阅读

spark-webUI添加权限认证

直接上步骤：#1、编写Filter代码package spark;import org.apa

spark

安全

spark webUI

java

ui界面

原创 2022-01-20 11:27:26 465 阅读

【spark笔记】spark四大特性

刚转大数据三个月，最近学习一套spark视频，希望搞个博客记录一下，以便翻阅

spark

mapreduce

hadoop

原创 2022-01-20 11:27:14 225 阅读

KVM Centos 7 启动错误：XFS_WANT_CORRUPTED_GOTO 修复

前两天刚做好的KVM虚拟机镜像，过了周末两天，重新导入发现报错，捏了

centos

重启

原创 2022-01-20 11:27:00 326 阅读 1评论

【spark笔记】RDD解释和Spark架构

1、什么是RDD？1、RDD是Spark提供的核心抽象，弹性分布式数据集。2、RDD在抽象上来说

服务器

spark

数据

原创 2022-01-20 11:26:52 147 阅读

SVN更新失败中断，报错

1、http://www.sqlite.org/download.html 下载sqlite-tools-win32-x86-324000

sqlite

svn

html

原创 2022-01-20 11:26:41 507 阅读

zookeeper配置kerberos

zookeeper配置kerberos前提：安装好zookeeper和kerberos步

kerberos

zookeeper

安全认证

客户端

java

原创 2022-01-20 11:26:23 1059 阅读

spark提交作业报错：Invalid signature file digest for Manifest main attributes

解决方法（jar包在/home/spark/）：zip -d /home/spark/workspace/AnalyzeServer.jar META-INF/*.RSA META-INF/*.DSA META-INF/*.SF

jar

解决方法

spark

翻译 2022-01-20 11:26:05 114 阅读

linux常用快捷键

Linux常用快捷键1、切换窗口Alt+数字（字母上面的数字键）2、移动到当前行的开

linux快捷键

快捷键

linux常用

原创 2022-01-20 11:26:00 264 阅读

kafka副本节点挂了问题记录

昨天把大数据测试集群节点各个环节跑起来了，spark程序也正常运行了，当你以为一

spark问题记录

kafka

flume

spark

重启

原创 2022-01-20 11:25:49 626 阅读

FTP服务器搭建

yum安装. yum install -y vsftpd启动服务chkconfig vsftpd on //设置开机自启动vi /

FTP

主目录

匿名登录

上传

原创 2022-01-20 11:25:27 199 阅读

记录解决spark任务提交集群jar冲突

1、guava包冲突解决方法：spark各个节点版本为guava-14.0，我把spark各个

jar冲突

maven

spark

jar

原创 2022-01-20 11:25:08 853 阅读

为什么出现Netty？

一直没去了解Netty这个框架，今天上班干完活上网看了篇博客，恍然大悟，

自定义

数据

socket通信

原创 2022-01-20 11:25:00 104 阅读

redis安全问题

收到任务！公司项目Redis被入侵了。大概就是服务器CPU暴涨，经检查黑客上

redis安全

redis

服务器

官网

原创 2022-01-20 11:24:53 163 阅读

Linux定时任务

目标：写一个定时任务向flume监控的8787端口发送信息步骤：1、首先写一个shell脚本：#!/bin/bash . /etc/profile. /root/.bash_profileecho "hello world！"|nc -u 192.168.3.175 8787 2、本地测试一下脚本是否可执行chmod +x ./test.sh #使脚本具有执行权限./tes...

bash

定时任务

可执行

原创 2022-01-20 11:24:23 180 阅读

[kubernetes] k8s-yaml配置文件详解

apiVersion: v1 #必选，版本号，例如v1kind: Pod #必选，Podmetadata:

yaml

k8s

kubernetes

重启

端口号

转载 2022-01-20 11:24:15 568 阅读

kafka启动源码记录

感觉不记录看了也是白看，随便写点东西留个印象吧。。。kafka启动命令：bin/kaf

kafka源码

kafka

ide

初始化

原创 2022-01-20 11:24:07 585 阅读

【spark笔记】HistoryServer服务配置

配置文件：spark-defaults.confspark.eventLog.enabled truespark.eventLog.dir hdfs://IP:8020/spark-events #提前创建好目录spark.eventLog.compress true #压缩，减少资源消耗配置文件：spark-env.shExp

spark

历史记录

配置文件

原创 2022-01-14 14:19:21 238 阅读

flume1.8和ES整合报错

Flume1.8sink不兼容ES2.4.3用flume从kafka消费消息，然后用ElasticsearchSink往ES写入数据。ES从1.7.1升级到5.4.1后，flume的代码不改启动后sink大量报错，所有数据都写入失败。JDK升到1.8，elasticsearch版本升到5.4.1，Log4j也加上，还是不行。查了下flume最新版本1.7也不支持ES2.X（https://sta

elasticsearch

数据

自定义

转载 2022-01-14 14:19:14 148 阅读

一致性Hash算法

题。...

服务器

数据

数据存储

原创 2022-01-14 14:19:07 129 阅读

java获取配置文件路径

java修改配置文件 1、项目java代码路径String filePath = null;filePath = file.getCanonicalPath();path = filePath+"/src/main/resources/filter-ip.properties"; 2、运行过程中class路径String path = MyNetcatUdpSource.class.getCla

配置文件

java

属性文件

原创 2022-01-14 14:19:01 2222 阅读

linux_KVM虚拟化安装

安装虚拟机将linux镜像文件上传到”/usr/local”，如CentOS-7.5-x86_64-DVD-1804.iso1、安装相关软件命令yum install -y libvirt-clientyum install -y virt-manageryum -y install openssl-develyum install -y virt-installyum install qemu

centos

虚拟化

桌面环境

原创 2022-01-14 14:18:54 143 阅读

SSH免密码登陆配置

第一步：在每台机器运行ssh-keygen -t rsa指令，生成生成公钥文件id_rsa.pubssh-keygen -t rsa 一直回车就行了第二步：将一台机器(假设为A机器)作为主，所有机器执行（包括A）ssh-copy-id usrname@host #A机器用户名和主机名根据实际情况修改，目的是将执行命令机器的 id_rsa.pub 内容拷贝至A机aut

主机名

机器运行

用户名

原创 2022-01-14 14:18:47 205 阅读

kubernetes集群搭建

kubernetes集群搭建1、关闭关闭防火墙、selinux和swapsystemctl stop firewalldsystemctl disable firewalldsetenforce 0sed -i "s/^SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/configswapoff -ased -i 's/.*swap.*/#&a

docker

初始化

linux

翻译 2022-01-14 14:18:39 78 阅读

Linux搭建本地yum源（没网络也能下载软件）

1、下载iso镜像文件，上传到linux服务器/usr/local目录，大概4G，下载地址：http://isoredirect.centos.org/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1810.iso2、挂载上传的镜像,执行下面命令，进入/mnt可以看到一些文件目录了mount /usr/local/CentOS-7-x86_64-DVD-18

centos

上传

下载地址

原创 2022-01-14 14:18:28 173 阅读

单点登录系统原理与实现

一、单系统登录机制1、http无状态协议web应用采用browser/server架构，http作为通信协议。http是无状态协议，浏览器的每一次请求，服务器会独立处理，不与之前或之后的请求产生关联，这个过程用下图说明，三次请求/响应对之间没有任何联系。但这也同时意味着，任何用户都能通过浏览器访问服务器资源，如果想保护服务器的某些资源，必须限制浏览器请求；要限制浏览器请求，必须鉴别浏览器请求，响应

服务器

单点登录

java

转载 2022-01-14 14:18:07 99 阅读

ES海量数据如何提高查询效率

每...

数据

搜索

分页

原创 2022-01-14 14:16:27 1097 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

qq61d53b2bbe707的博客

Logstash系列之--安装入门例子

Logstash系列之--基础知识

Logstash系列之--实战演练

Logstash系列之--JAVA自定义插件

spark-webUI添加权限认证

【spark笔记】spark四大特性

KVM Centos 7 启动错误：XFS_WANT_CORRUPTED_GOTO 修复

【spark笔记】RDD解释和Spark架构

SVN更新失败中断，报错

zookeeper配置kerberos

spark提交作业报错：Invalid signature file digest for Manifest main attributes

linux常用快捷键

kafka副本节点挂了问题记录

FTP服务器搭建

记录解决spark任务提交集群jar冲突

为什么出现Netty？

redis安全问题

Linux定时任务

[kubernetes] k8s-yaml配置文件详解

kafka启动源码记录

【spark笔记】HistoryServer服务配置

flume1.8和ES整合报错

一致性Hash算法

java获取配置文件路径

linux_KVM虚拟化安装

SSH免密码登陆配置

kubernetes集群搭建

Linux搭建本地yum源（没网络也能下载软件）

单点登录系统原理与实现

ES海量数据如何提高查询效率