linux后台运行sh文件nohup sh sparkstationenergyTest.sh>>tslog01.log &vim操作vim显示行数#显示当前行行号，在VI的命令模式下输入
:nu
#显示所有行号，在VI的命令模式下输入
:set nu
#使用vi编辑~/.vimrc文件或者/etc/vimrc文件，在该文件中加入一行"set nu"，添加内容不含引号
#命令
转载
2024-06-28 14:20:10
124阅读
前言例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考一、Kafka简介Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索
文章目录一、安装kafka二、解压kafka三、修改server.properties文件四、修改zookeeper.properties文件五、添加kafka启动脚本六、启动kafka七、命令行使用kafka创建topic删除topic查询操作生产者相关：往某个topic中生产数据消费者相关：从某个topic中消费数据消费组（group）相关：查看消费者group、查看消费者消费情况（消费至那
转载
2024-07-04 21:32:01
216阅读
了解完消息队列的基本信息之后，接下来我们可以考虑消息队列的技术选型问题。目前使用较多的消息队列有 ActiveMQ、RabbitMQ、ZeroMQ、Kafka、MetaMQ、RocketMQ 等，以及数据库Redis 也可以实现消息队列的效果。实际使用中应该使用哪一种呢？解析来我们看一看主流消息队列的特性。RedisRedis 是一个基于 key-value 的内存数据库，一般用缓存场景。但其实
1.准备工作 ①jdk 具体自行百度安装jdk,配置好 JAVA_HOME和path,下载地址: http://www.oracle.com/technetwork/java/javase/downloads/index.html, 注意, 选择1.8的版本,然后环境变量JAVA_HOME,不要选择默认的"C:\Program F
转载
2024-07-02 20:38:34
1066阅读
目录1、配置jdk环境：2、安装zookeeper：（1）软件下载：（2）解压软件包：（3）配置文件重命名：（4）修改配置参数：A、数据存储路径：B、服务端口号：（5）配置环境变量：（6）启动zookeeper：（7）停止zookeeper：（8）查看zookeeper：3、安装kafka：（1）软件下载：（2）解压软件包：（3）修改配置参数：A、唯一标识符：B、监听地址：C、日志存储路径：D、Z
转载
2024-04-08 12:52:17
231阅读
（一）原理：Linux双网卡绑定实现就是使用两块网卡虚拟成为一块网卡;linux设置bond网卡绑定---有些用。 Linux双网卡绑定实现就是使用两块网卡虚拟成为一块网卡，这个聚合起来的设备看起来是一个单独的以太网接口设备， 通俗点讲就是两块网卡具有相同的IP地址而并行链接聚合成一个逻辑链路工作。其实这项 技术在Sun和Cisco中早已存在， 被称为Trunking和Ethercha
1、启动 Zookeeper 服务，在 kafka 的根目录下使用命令Kafka用到了Zookeeper，，先开启zookeeper，如下图所示：下面用一个单实例的Zookkeeper服务，可以在命令结尾处加个&符号，这样就可以启动后离开控制台bin/zookeeper-server-start.sh config/zookeeper.properties &2、启动 kafka，
转载
2024-02-23 11:42:50
352阅读
kafka在linux下的安装及配置安装配置附 安装
下载： 可以选择下载源码包或者打包好的二进制文件。安装 将上面下载好的文件解压缩即可，linux 下为了方便启动可以将bin目录配置到环境变量中配置依赖服务 kafka 是依赖 zookeeper 服务的，所以需要启动 kafka 首先要安装zookeeper，这里不做介绍。你也可以使用已有的 zookeeper 服务，只需修改 kafka
转载
2024-07-26 15:36:53
225阅读
前言例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考一、Kafka简介Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索
转载
2024-08-08 13:50:59
28阅读
一、Kafka概述1.Kafka是什么在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。1）Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。2）Kafka最初是由LinkedIn公司开发，并于 2011年初开源。2012年10月从Apa
转载
2024-03-18 18:24:01
77阅读
查看内存使用情况使用命令：free -m大致结果类似下图： 内存占用情况参数解释：Mem行（单位均为M）：total：内存总数used：已使用内存数free：空闲内存数shared：当前废弃不用buffers：缓存内存数（Buffer）cached：缓存内舒数（Page）(-/+ buffers/cache)行：（-buffers/cache）: 真正使用的内存数，指的是第一部分的 us
Kafka集群与可靠性1.Kafka集群搭建实战使用两台Linux服务器：一台192.168.182.137 一台192.168.182.138安装kafka首先，我们需要配置java环境变量（这里就略过了）mkdir /opt/kafka
#上传压缩包kafka_2.13-3.3.1.tgz并解压
tar -zxvf kafka_2.13-3.3.1.tgz
#进入目录
cd /opt/kafk
转载
2024-06-20 11:01:19
324阅读
linux 常用的kafka操作命令行，可以查看kafka安装目录下的bin文件夹。本文暂时只总结我们常用的一些命令。因后期版本升级，一些数据的存储考虑到多方面因素，kafka做了一些调整，所以相应的查询命令也发生了一些改变。比如0.9版本以后，offset(偏移量)的存储，从zookeeper集群迁移到了kafka集群里来。TOPIC 常用查询命令#创建Topics,指定名字，分区数，
转载
2024-03-21 10:03:29
197阅读
kafka 面试总结kafka总结kafka shell脚本用法详解kafka shell脚本用法详解Kafka运维命令合集【kafka运维】Kafka全网最全最详细运维命令合集kafka监控与调优《Apache Kafka实战》作者胡夕：Apache Kafka监控与调优kafka中文教程 kafka中文教程kafka命令大全kafka命令大全kafka技术点简单总结kafka技术点简单总结ka
转载
2024-08-23 14:58:56
80阅读
前记：墨迹了几天，仍是云里雾里。记录下kafka启动过程，适合傻瓜新手，想弄明白原理的请绕到官网查看文档。1、首先下载从github上下载 源码。如果机器上装有Git，直接clone更好，省的再解压。解压命令：tar -zxvf librdkafka-master.tgz2、下载 lib库。然后解压。与源码置于同意文件夹下。两个版本二选一即可。解压命令：tar -zxvf ka
转载
2024-03-08 14:24:14
105阅读
Kafka集群有主从模式吗？Kafka集群实际上并没有严格意义上的主从模式。Kafka的设计是基于分布式的，每个Topic都会切分为多个Partition，每个Partition都有一个Leader和多个Follower。所有的读写操作都是通过Leader来进行的，Follower则负责从Leader同步数据。如果Leader宕机，那么就会从Follower中选举一个新的Leader。这种方式更类
转载
2024-07-04 16:34:25
20阅读
由于系统每天生成日志文件非常庞大所以做了这个日志分类查询功能。先说明一下原理：1、log4j负责在系统中收集日志，log4j的配置和生成日志的规则要定好2、flume负责监控log4j生成日志的文件夹，并进行分类（将debug、error等分开存）3、kafka负责存储和查询 log4j的日志格式：$ERROR$ [2014-08-14 10:51:21],10.185.235.85,/
转载
2024-03-27 15:40:42
370阅读
大数据学习之Kafka相关的基本原理学习，小编整理了Kafka 一些重要概念，让大家对 Kafka 有个系统的认知知，并详细的解析其中每个概念的作用以及更深入的原理。Kafka相关的名词概念：•Producer：消息生产者，向 Kafka Broker 发消息的客户端。•Consumer：消息消费者，从 Kafka Broker 取消息的客户端。•Consumer Group：消费者组（CG），消
转载
2024-03-17 08:45:34
103阅读
前言我们最终决定从头开始构建一些东西。我们的想法是，与其专注于保存成堆的数据，如关系数据库、键值存储、搜索索引或缓存，不如专注于将数据视为不断发展和不断增长的流，并围绕这个想法构建一个数据系统——实际上是一个数据架构。 事实证明，这个想法的适用范围比我们预期的要广泛。尽管 Kafka 最初是在社交网络的幕后为实时应用程序和数据流提供支持的，但现在您可以在每个可以想象的行业中看到它成为下一代架构的
