Linux与大家熟知的 Windows操作系统软件一样, Linux也是一个操作系统软件。但是与Windows不同的是, Linux是一套开放源代码程序的,并可以自由传播的类UNIX操作系统软件(UNIX系统是 Linux系统的前身,具备很多优秀特性)。其在设计之初,就是基于 Intel x86系列CPU架构计算机的。它是一个基于 POSIX的多用户、多任务并且支持多线程和多CPU的操作系统。 L
【 前言：01篇LK日志系统已经把es集群搭建好了，接下来02篇搭建kibana和logstash，并整合完成整个ELK日志系统的初步搭建。】 1、安装kibana 3台服务器： 192.168.2.119 （119服务器当做集群的主服务器） 192.168.2.115 192.168.2.116 我在119服务器，也就是e
转载
2023-12-01 16:37:00
85阅读
logstash搭建1)logstash介绍什么是logstash-是一个数据采集、加工处理以及传输的工具特点-所有类型的数据集中处理-不同模式和格式数据的正常化-自定义日志格式的迅速扩展-为自定义数据源轻松添加插件Logstash工作结构(与流水线类似){数据源} ==> input{} ==> filter{ } ==> output {} ==>{输出结果}- inp
转载
2024-01-04 23:43:53
138阅读
我的版本是 logstash-7.11.0-linux-x86_64.tar.gz。在bin 目录下（当然也可以在别的目录 我是在bin目录下）输入aaa 发现安装成功。
原创
2023-03-25 14:52:09
641阅读
1、Elasticsearch安装配置1、下载并安装GPG Key[root@elk-node1 ~]# rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch2、添加yum仓库[root@elk-node1 ~]# vim /etc/yum.repos.d/elasticsearch.repo
[elasticsearch-2
原创
精选
2023-05-31 09:38:54
688阅读
centos 搭建集群步骤 1、使用yum安装所需要的工具 yum -y install wget vim tcl gcc make 2、下载redis并解压 cd /usr/local wget http://download.redis.io/releases/redis-3.2.8.tar.g
转载
2019-09-04 10:08:00
65阅读
2评论
单节点集群搭建请移步：在CentOS7.5上搭建Hadoop3.0.3单节点集群完全分布式集群拓扑图：当前CentOS和JDK版本：[root@master ~]# cat /etc/redhat-release
CentOS Linux release 7.5.1804 (Core)
[root@master ~]# java -version
openjdk version "1.8.0_1
最近好不容易搞到了三台测试机，可以用来搭建spark集群搞模型。本宝宝开心得不行，赶紧行动，把spark集群搭起来，模型跑起来。1.搭建hadoop集群hadoop的hdfs文件系统是整个生态圈的基础，因为数据量大了以后，数据一般就都放hdfs上头了。因为四台测试机之前已经搭建好了hadoop集群环境，而且经过本宝宝测试，hadoop集群也是可用的，所以就省了搭hadoop集群的功夫。2.配置集群
转载
2023-11-01 18:23:30
97阅读
1.安装CentOS7，安装步骤参考：CentOS7安装教程2.修改虚拟机网络配置2.1打开VMWare，点击编辑，选择虚拟网络编辑器2.2选择VMnet8，点击更改设置2.3点击VMnet8,下面输入子网IP网段，然后点击DHCP设置2.4弹出页面，输入起始IP地址和结束IP地址后点击确定2.5点击NAT设置2.6输入网关IP后点击确定2.7点击应用，然后点击确定3.编辑windows虚拟网卡3
转载
2023-10-10 09:39:49
62阅读
一、准备工作1、准备3台物理机或者虚拟机；2、安装centos7系统；3、准备好相关软件包并拷贝相关软件到目标服务器上hadoop-2.9.0.tar.gzjdk-8u131-linux-x64.tar.gz二、配置网络1、设置静态网络ip1）设置静态ip的文件路径在：cd /etc/sysconfig/network-scripts/目录中2)打开对应的网络配置文件 vim ifcfg-p3p1
转载
2023-12-18 23:04:19
70阅读
日志分析作为掌握业务情况的一个重要手段，目前使用最多最成熟的莫过于ELK方案，其中也有各种搭配组合，像rsyslog->ES->kibana、rsyslog->Redis->Logstash->ES->kibana、rsyslog->kafka->Logstash->ES->kibana等等，复杂点的有spark的引用。每种方案适合不同的
转载
2024-05-21 15:58:12
845阅读
（一）logstash是什么？ logstash是一种分布式日志收集框架，开发语言是JRuby，当然是为了与Java平台对接，不过与Ruby语法兼容良好，非常简洁强大，经常与ElasticSearch，Kibana配置，组成著名的ELK技术栈，非常适合用来做日志数据的分析。 当然它可以单独出现，作为日志收集软件，你可以收集日志到多种存储系统或临时中转系统，如MySQL，redis，kakfa，HD
转载
2024-06-12 22:27:57
100阅读
一.单机Redis部署1.安装Redis所需要的依赖：yum install -y gcc tcl2.Redis安装包上传到Linux服务器： 3.解压缩tar -xvf redis-6.2.4.tar.gz 解压后: 4.进入redis目录运行编译命令//进入redis目录
cd redis-6.2.4
//编译
mak
转载
2023-05-29 16:31:43
287阅读
1 实验目的搭建Linux虚拟机环境；搭建Linux集群；理解计算机网络。2 实验内容使用VM安装CentOS虚拟机，配置主机名、静态IP地址，安装Java环境，克隆主机搭建集群，设置免密登录。3 实验知识点VMware使用；VMware安装CentOS；CentOS设置静态IP、主机名、Hosts；克隆主机；SSH免密登录。4 实验时长 &nb
转载
2024-03-25 16:10:38
62阅读
引言本小节我们开始logstash服务的安装，这里要特别说明一下，作者并不是直接从前到后开始搭建这套ELK集群环境，而是以ES集群为核心，采用由点到面的搭建过程，因为其它的服务搭建过程大多数都是依赖elasticsearch的，我们搭建好了elasticsearch服务之后，相对来说，其它服务的正常与否和验证也就更加方便了。logstash其实本身就具有日志收集的能力，以及信息过滤处理等功能，但是
转载
2024-04-15 06:04:57
141阅读
背景： 根据项目需求，需要将mysql数据库中的数据定时同步到es内，因此选定两台机器搭建es集群环境，搭建环境涉及到elasticsearch，elasticsearch-head插件，logstash，logstash-input-jdbc插件安装环境： 操作系统: CentOS Linux release 7.3.1611 (Core) Jdk版本：openJdk1.8（需要提前安装好，jd
转载
2024-07-06 10:59:34
130阅读
ruby {#设置一个自定义字段'timestamp'[这个字段可自定义]，将logstash自动生成的时间戳中的值加8小时，赋给这个字段
code => "event.set('timestamp', event.get('@timestamp').time.localtime + 8*3600)"
}
ruby {#将自定义
转载
2023-07-06 19:20:26
210阅读
在进行CentOS Hadoop集群搭建之前，首先需要了解Hadoop是什么以及它的基本概念。Hadoop是一个开源的分布式计算平台，它能够处理大规模数据，并能够快速、高效地进行计算。在CentOS上搭建Hadoop集群可以让我们更好地利用服务器资源，从而提高数据处理的效率。
接下来我将为你介绍如何在CentOS上搭建Hadoop集群，以下是整个过程的步骤和详细说明：
| 步骤 | 操作 |
原创
2024-05-16 12:04:19
80阅读
hadoop2.6.4安装包（链接：https://pan.baidu.com/s/15qHpdoLBQHP4HdxOJzNcsg 密码：5hel）1.准备Linux环境 1.0先将虚拟机的网络模式选为NA 1.1修改主机名 vi
# 在CentOS上搭建Spark集群
Apache Spark是一个强大的开源大数据处理框架，它具有快速处理速度和丰富的API，适用于多种数据处理任务。本文将介绍如何在CentOS系统上搭建一个简单的Spark集群，以便于用户快速上手。
## 1. 环境准备
在开始之前，确保你的环境满足以下条件：
- 一台或多台安装了CentOS的机器
- Java 8或以上版本
- Scala（可选，
