Elastic Stack生态圈Logstash：数据处理管道，负责数据采集和转换，可以实时获取IP，排斥敏感字段，拓展插件多，安全等特性Beat：轻量数据采集器Kibana：数据可视化工具Elasticsearch：数据存储X-Pack：商业化套件，负责安全概念和数据库类比运维维度，节点、分片主要围绕两个概念：高可用和拓展性高可用：简称 HA，是系统一种特征或者指标，体现如下两点：服务可用性：允
转载
2024-04-03 13:56:12
95阅读
1、题记 工欲善其事必先利其器，ELK Stack的学习和实战更是如此，特将工作中用到的“高效”工具分享给大家。希望能借助“工具”提高开发、运维效率！2、工具分类概览2.1 基础类工具 1. Head插件 1）功能概述：ES集群状态查看、索引数据查看、ES DSL实现（增、删、改、查操作）比较实用的地方：json串的格式化 2）地址：http:/
转载
2024-07-19 08:26:51
6阅读
在Hadoop的环境搭建过程中，常常会遇到类似这样的错误信息提示：“could only be replicated to 0 nodes, instead of 1 ”，产生这样的错误原因有多种，这里列举出以下四种常用的解决方法以供参考：确保master（namenode） 、slaves（da...
转载
2015-09-12 22:36:00
133阅读
2评论
错误[root@hadoop test]# hadoop jar hadoop.jarcom.hadoop.hdfs.CopyToHDFS14/01/26 10:20:00 WARN hdfs.DFSClient: DataStreamerException: org.apache.hadoop.i...
转载
2014-01-26 10:44:00
128阅读
2评论
错误[root@hadoop test]# hadoop jar hadoop.jarcom.hadoop.hdfs.CopyToHDFS14/01/26 10:20:00 WARN hdfs.DFSClient: DataStreamerException: org.apache.hadoop.i...
转载
2014-01-26 10:44:00
121阅读
2评论
这个异常困扰了我好长时间，发现大多是不细心造成的。 我使用以下两步解决了我遇到的问题。首先：一定要保证节点上的防火墙都是关闭状态的。)如果没有使用如下命令关掉：(参考http://jiajun.iteye.com/blog/624449)service iptables stopchkconfig iptables off其次：可能datanode的id冲突造成的。 先将然后分别在nam
原创
2023-04-12 02:50:27
186阅读
背景：为了研究Elasticsearch的评分机制使用，使用docker快速搭建了elasticsearch；使用spring boot连接ES的时候报错：无法找到节点环境：【jdk】：1.8 【ES】：6.5.4 单节点 (ip:172.26.0.251)【springboot】：2.1.2 代码片段：es的elasticsearch.yml配置：cluster
转载
2024-03-19 09:32:54
133阅读
// 写elasticsearch的代码
ds.write
.format("org.elasticsearch.spark.sql")
.option("es.nodes.wan.only", "true")
.option("es.mapping.id", "_id")
.option("es.mapping.exclude", "_id")
转载
2024-04-26 11:20:41
249阅读
Sometimes copy files to HDFS or running a MapReduce jobs you might receive an error as below:During file copy to HDFS the error and call stack look like as below:File /platfora/uploads/test.xml could
转载
精选
2014-04-06 23:08:32
1476阅读
在hive下执行select 报错： 之前没有没有对hive设置运行模式 hive分为本地与集群两种 我们可以通过mapred.job.tracker 来指明 设置方式： hive > SET mapred.job.tracker=local 由于本hive是使用
原创
2014-04-28 23:57:48
1168阅读
1评论
文章目录0 错误重现1 问题原因2 解决方法0 错误重现org.apache.hadoop.ipc.RemoteExcof minReplication (=1).
原创
2022-05-25 17:53:38
1699阅读
http://stackoverflow.com/questions/34245682/could-only-be-replicated-to-0-nodes-instead-of-minreplication-1-there-are-4
原创
2023-04-14 10:35:38
210阅读
/html/ lized multiway tree designed especially for use on disk.
转载
2017-10-31 21:51:00
48阅读
2评论
Node是什么？Node是Kubernetes中的工作节点，最开始被称为minion。一个Node可以是VM或物理机。每个Node（节点）具有运行pod的一些必要服务，并由Master组件进行管理，Node节点上的服务包括Docker、kubelet和kube-proxy。Node Status节点的状态信息包含：AddressesPhase (已弃用)ConditionCapacityInfo下
原创
2021-04-18 10:42:39
236阅读
MySQL Cluster的组成有：
1.MySQL Server
2.NDB：管理数据storage
NDB 节点被组织成一个一个的NDB Group，一个NDB Group 实际上就是一组
存有完全相同的物理数据的NDB 节点群。
管理节点中有一个非常重要的参数叫NoOfReplicas，这个参数
指定了每一份数据被冗余存储在不同节点上面的份数，该参数一般至少应该被设置成2，
3
转载
2024-03-22 15:40:15
45阅读
什么是cluster模块，为什么需要cluster模块？ cluster在英文中有集、群的意思。 nodejs默认是单进程的，但是对于多核的cpu来说， 单进程显然没有充分利用cpu，所以，node中的cluster模块就是为了解决没有充分利用cpu的问题而产生的。 cluster模块如何使用？ cluster模块允许设立一个主进程和若干个wor
转载
2024-03-25 19:54:39
127阅读
一、PPP 1.1 三种报文类似 LCP（链路控制协议，用于协商报文），是用来协商ppp的参数的，最多会协商五个参数 2. PAP和CHAP报文，这是用来认证的，认证并不是必须的，也就是说我们在PPP的时候可以配置它协商用户名密码什么的，也可以不用认证，这一步是可选的；如果你想认证的话，又要两种认证
原创
2021-07-29 09:53:30
195阅读
分布式环境WAN管理
每个组织的分布式数据中心规划考虑WAN连通性和它对环境的影响，因为每个组织的目标都是不同的，带宽需求将依赖于基础设施的需求，在与WAN提供商打交道时，管理员必须知道他们WANSLA的限制和告诫，以保证最佳性能。
在和WAN提供商谈判之前，最重要的是要通过测试现有工作量和带宽需求知道分布式环境的需要，在确定两个位置之间的带宽时需考虑SQL集群、SAN-to-
原创
2012-03-08 23:19:50
5575阅读
