1. 目的为指导在Centos6.8系统下搭建标准ELK平台的工作，特编写本施工文档。 2. 定义Elasticsearch Logstash Kibana结合Redis协同工作。3. 适用范围适用于运营维护组运维工程师，针对在系统Centos6.8下搭建标准ELK平台的工作。 4. 环境 Elasticsearch
一、MapReduce程序运行模式概述所谓的运行模式指的是︰ MapReduce程序是单机运行还是分布式运行? MapReduce程序需要的运算资源是Hadoop YARN分配还是本机系统自己分配? ●运行在何种模式取决于参数:mapreduce.framework.name yarn : YARN集群模式 local :本地模式 ●如果不指定，默认是local模式。 在mapred-defaul
节点数量早在 Kubernetes 1.2 时候，就已经宣布达到 1000 节点的规模了，在 1.6 版本更达到了 5000 节点的规模。各大厂也都有了各自的超大规模单一集群。然而普罗大众的情况是如何呢？Sysdig 在 2019 年度容器应用报告中得到的结果是，大于 50 节点规模的集群不足 10%，另外一个佐证是 Mohamed Ahmed 的一篇调查报告中也提供了类似的数据。这种情况的一种解
原创
2021-05-27 10:41:01
947阅读
大规模Ceph集群是当前互联网技术领域中备受关注的一个重要话题。Ceph是一个开源的、高性能的分布式存储系统，能够支持PB级别的存储容量，并提供可靠的数据存储和访问服务。在Ceph集群中，存储节点和客户端节点可以通过网络连接进行通信，实现数据的读写和访问。在大规模Ceph集群中，通常会有数千甚至数万个节点，这些节点协同工作，共同提供高可靠性、高性能的存储服务。
在大规模Ceph集群中，数据的分布
原创
2024-03-15 11:06:35
110阅读
1. 启动Zookeeper服务器 ./zookeeper-server-start.sh /opt/cx/kafka_2.11-0.9.0.1/config/zookeeper.properties 2. 修改broker-1，broker-2配置 broker.id=1
listeners=PLAINTEXT://:9093
# The port the socket server li
转载
2024-07-18 11:29:31
50阅读
在搭建正式的生产集群之前，充分做好硬件和服务器配置以及集群规划是重中之重，磨刀不误砍柴工。硬件配置推荐内存ES排序以及聚合都是高度需求内存的。单机（单节点）64GB是很理想的配置，32GB或16GB也很常见。不推荐低于8GB，性价比较低，适得其反（很多的小机器也不划算）。JVM 堆内存：存储关于集群、索引、分片、段和 Fielddata 的元数据。该项较为理想的设置是可用 RAM 的 50%。所以
原创
2023-04-03 10:09:15
456阅读
Zookeeper、Kafka集群与Filebeat+Kafaka+ELK架构一、Zookeeper1、Zookeeper 概述1.1 Zookeeper 定义1.2 Zookeeper 工作机制1.3 Zookeeper 特点1.4 Zookeeper 数据结构1.5 Zookeeper 应用场景1.6 Zookeeper 选举机制1.6.1 第一次启动选举机制1.6.2 非第一次启动选举机制
卡弗卡大数据
2017-05-07 17:27 第一阶段：先说说伪分布式不管是HDFS和YARN，在我们之前的文章中已经说过关于伪分布式的部署和安装。也就是我们把HDFS的两个节点NameNode和DataNode，YARN的ResourceManger和NodeManager都放在同一个机器上。机器1：bigdata-senior01.kfk.com进程包括：NameNodeDataNod
转载
2024-02-15 20:47:57
91阅读
Kafka集群部署容量规划操作系统的选择操作系统来说优先选择Linux因为它支持的IO模型并支持零拷贝技术，而且主要是因为Kafka社区对Linux上的更新比较迅速，所以生产环境建议使用Linux系统。磁盘的选择和磁盘容量磁盘的话机械硬盘和SSD均可，因为kafka是顺序读写的。至于是否需要RAID，因为Kafka本身的副本机制就具有冗余性所以如果要使用RAID那就使用RAID0，这样可以提高磁盘
转载
2024-06-06 06:11:10
0阅读
一、安装目标：假设2台物理服务器的内存各只有256G，而redis集群要求最少3个主节点。仅有主节点。规划为每台服务器上装2个redis节点，每个节点最大支持96G,2台机共4个redis主节点，合计384G内存。因内存较少，规划没有配置从节点。4个redis节点，每个节点使用单独的文件系统（每个150G）,存储序列化的数据和日志。该方案可最大限度使用内存，但没有使用主备模式，如果有一个节点故障，
转载
2023-09-17 18:17:33
67阅读
作者刘旭，腾讯云高级工程师，专注容器云原生领域，有多年大规模 Kubernetes 集群管理经验，现负责腾讯云 GPU 容器的研发工作。背景目前 TKE 已提供基于 qGPU 的算力/显存强隔离的共享 GPU 调度隔离方案，但是部分用户反馈缺乏 GPU 资源的可观测性，例如无法获取单个 GPU 设备的剩余资源，不利于 GPU 资源的运维和管理。在这种背景下，我们希望提供一种方案，可以让用户在 Ku
转载
2024-04-25 07:36:21
257阅读
在帮助企业进行基于私有环境的云原生转型的过程中，帮客户把存量应用迁移到 Kubenrnetes 上，是个常规任务。通常说来，在解决了初步的技术可行性之后，接下来要解决的就是资源分配的问题，我们已经讨论过，在近乎同样的资源总量情况下，少量大节点构成的集群和大量小节点构成的集群的一些差异，然而这里还是缺少一个完整的方法——如何把现有应用的需求转换为资源设计呢？调研要为应用分配资源，首先要明确资源所包含
原创
2021-05-27 10:31:07
239阅读
1.整体规模 2台（Namenode HA，Resourcemanager HA，Hmaster HA） 10台（Datanode，nodemanager，journalnode，Regionserver） 1台（hive，sqoop，oozie，hue） 3台（zookeeper） 2.内存以及c
转载
2016-12-15 16:19:00
43阅读
2评论
您还可以在http://www.sapub.net/html/y2010/ftp-proxy-large-scale-site.html上看到本文。
【目的】
在日常工作中，我们经常需要在某服务器上开FTP(Server)服务。但就是这么简单的事情通常也会变得很复杂，原因如下：
1、需要开通FTP的服务器没有公网IP地址；（即不能直接访问到）
2、这样的服务器很多，可能是成百上千台；
3
转载
精选
2010-09-07 09:05:59
1883阅读
目前测试的产品基本都是微服务架构的产品，这是企业从面向服务架构往微服务转型的必然趋势和过程。微服务的架构给质量交付团队带来了新的技术架构思维和挑战。我们结合一个具体的案例来说明，如很早期的一个产品，在客户需要的时候进行安装，那么就可以服务好客户就可以了，但是新的架构模式，客户只需要订阅，那么就可以使用这个产品了。那么这意味着一个微服务的架构产品可以服务几千甚至几千万的客户来使用。这个过程中，抛开混
原创
2024-05-30 17:25:48
149阅读
点赞
在现代计算和数据分析中，Apache Spark是一个强大的框架，其集群规模的最大化对于处理大规模数据至关重要。在这篇博文中，我将详细记录解决“Spark 最大集群规模”问题的过程，从环境预检到迁移指南，涵盖所有相关要素。
### 环境预检
首先，确保我们的系统满足Apache Spark的要求。以下是系统要求的表格：
| 组件 | 最低版本 | 推荐版本
文章目录常用指令安装部署测试Kubernetes集群安装Dashboard 常用指令# 创建资源，直接用指令创建
kubectl run k8s-demo-deployment --image=edisonsaonian/k8s-demo:latest --replicas=2 --namespace=aspnetcore
# 创建资源，通过YAML配置文件创建
kubectl apply -f
转载
2023-09-01 23:47:18
57阅读
ElasticSearch目前在互联网公司主要用于两种应用场景，其一是用于构建业务的搜索功能模块且多是垂直领域的搜索，数据量级一般在千万至数十亿这个级别；其二用于大规模数据的实时OLAP，经典的如ELKStack，数据规模可能达到千亿或更多。 这两种场景的数据索引和应用访问模式上差异较大，在硬件选型和集群优化方面侧重点也会有所不同。一般来说后一种场景属于大数据范畴，数据量级和集群规模更大，在管理方
转载
2024-02-19 22:28:14
29阅读
客户端分片是把分片的逻辑放在Redis客户端实现，通过Redis客户端预先定义好的路由规则，把对Key的访问转发到不同的Redis实例中，最后把返回结果汇集。这种方案的模式如图1所示。
转载
2023-05-25 09:57:26
143阅读
主要应用场景是：日志收集系统和消息系统。 Kafka主要设计目标如下：
1.以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间的访问性能。2.高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输。3.支持Kafka Server间的消息分区，及分布式消费，同时保证每个partition内的消息顺序传输。4.同时支持离线数据处
转载
2024-08-07 07:51:10
50阅读
