随着 Kubernetes 的发展和改进，新的安全威胁和风险也逐渐向 K8s 转移，因此 K8s 安全性变得越来越重要，而保护 K8s 集群已成为 DevOps 团队不容忽视的重要任务。K8s 有多种实现类型（本地、云管理、混合等）、众多开源支持工具和各种配置设置，且保护运行容器工作负载的任何安全敏感架构的需求也在增长。根据 CNCF 的 K8s 安全审计调查，攻击者可以通过利用各种 K8s 漏洞
作者刘旭，腾讯云高级工程师，专注容器云原生领域，有多年大规模 Kubernetes 集群管理经验，现负责腾讯云 GPU 容器的研发工作。背景目前 TKE 已提供基于 qGPU 的算力/显存强隔离的共享 GPU 调度隔离方案，但是部分用户反馈缺乏 GPU 资源的可观测性，例如无法获取单个 GPU 设备的剩余资源，不利于 GPU 资源的运维和管理。在这种背景下，我们希望提供一种方案，可以让用户在 Ku
大规模Ceph集群是当前互联网技术领域中备受关注的一个重要话题。Ceph是一个开源的、高性能的分布式存储系统，能够支持PB级别的存储容量，并提供可靠的数据存储和访问服务。在Ceph集群中，存储节点和客户端节点可以通过网络连接进行通信，实现数据的读写和访问。在大规模Ceph集群中，通常会有数千甚至数万个节点，这些节点协同工作，共同提供高可靠性、高性能的存储服务。
在大规模Ceph集群中，数据的分布
今天看到一篇文章《YARN或将成为Hadoop新发力点》，讲解Hadoop问题，以及YARN的解决方案。作为多年系统架构设计人员来说，这是个很挑战的命题。 这个博客有点标题党的意味，但仍然会作为一个严肃的技术问题来讨论。 首先，要界清怎样才算是一个大规模的系统。我认为有这么几点：1、服务于大量终端，百万、千万
在Docker作为高级容器引擎快速发展的同时，Google也开始将自身在容器技术及集群方面的积累贡献出来。在Google内部，容器技术已经应用了很多年，Borg系统运行管理着成千上万的容器应用，在它的支持下，无论是谷歌搜索、Gmail还是谷歌地图，可以轻而易举地从庞大的数据中心中获取技术资源来支撑服务运行。Borg是集群的管理器，在它的系统中，运行着众多集群，而每个集群可由成千上万的服务器联接组成
原创
2022-03-28 12:53:42
472阅读
您还可以在http://www.sapub.net/html/y2010/ftp-proxy-large-scale-site.html上看到本文。
【目的】
在日常工作中，我们经常需要在某服务器上开FTP(Server)服务。但就是这么简单的事情通常也会变得很复杂，原因如下：
1、需要开通FTP的服务器没有公网IP地址；（即不能直接访问到）
2、这样的服务器很多，可能是成百上千台；
3
转载
精选
2010-09-07 09:05:59
1814阅读
一、知识点分析1.什么是k8s、做什么用的？ kubernetes简称k8s，2014年6月由Google公司正式公布出来并宣布开源，是容器集群管理系统（容器编排工具），是一个开源的平台，可以实现容器集群的自动化部署、自动扩缩容、维护等功能。2.什么是docker? docker是完整的一套容器管理系统，它提供了一组命令，让用户更加方便直接地使用容器技术，而不需要过多关心底层内核技术。3.
前文回顾1.大规模IoT边缘容器集群管理的几种架构0边缘容器及架构简介(https://ewhisper.cn/posts/10785/)2.大规模IoT边缘容器集群管理的几种架构1Rancher+K3s(https://ewhisper.cn/posts/32695/)3.大规模IoT边缘容器集群管理的几种架构2HashiCorp解决方案Nomad(https://ewhisper.cn/pos
原创
精选
2023-02-23 10:11:00
205阅读
前文回顾
大规模 IoT 边缘容器集群管理的几种架构-0-边缘容器及架构简介
大规模 IoT 边缘容器集群管理的几种架构-1-Rancher+K3s
大规模 IoT 边缘容器集群管理的几种架构-2-HashiCorp 解决方案 Nomad
大规模 IoT 边缘容器集群管理的几种架构-3-Portainer
大规模 IoT 边缘容器集群管理的几种架构-4-Kubeedge
?️Referenc
原创
2023-02-24 10:13:48
74阅读
前文回顾1.大规模IoT边缘容器集群管理的几种架构0边缘容器及架构简介(https://ewhisper.cn/posts/10785/)2.大规模IoT边缘容器集群管理的几种架构1Rancher+K3s(https://ewhisper.cn/posts/32695/)3.大规模IoT边缘容器集群管理的几种架构2HashiCorp解决方案Nomad(https://ewhisper.cn/pos
原创
精选
2023-02-22 09:49:37
267阅读
如何管理大规模K8s集群
作为一名经验丰富的开发者，我将指导刚入行的小白如何管理大规模Kubernetes(K8s)集群。首先，我们需要了解K8s的整个管理流程。下面是一个简要的步骤表格：
| 步骤 | 操作 | 代码示例 |
|-----|---------------|----------------------------|
互联网公司容器集群大规模运维应用的云运维难点思路核心模块
转载
2021-05-14 20:30:23
269阅读
2评论
TDW（Tencent distributed Data Warehouse，腾讯分布式数据仓库）基于开源软件Hadoop和Hive进行构建，打破了传统数据仓库不能线性扩展、可控性差的局限，并且根据腾讯数据量大、计算复杂等特定情况进行了大量优化和改造。 TDW服务覆盖了腾讯绝大部分业务产品，单集群规模达到4400台，CPU总核数达到10万左右，存储容量达到1
转载
精选
2015-01-15 13:30:11
2408阅读
点赞
TiDB集群大规模删除最佳实践
原创
精选
2020-08-24 15:25:03
6997阅读
点赞
腾讯大规模Hadoop集群实践转自：http://www.csdn.net/article/2014-02-19/2818473-Tencent-Hadoop ID lishilong404740787TDW是腾讯最大的离线数据处理平台。本文主要从需求、挑战、方案和未来计划等方面，介绍了TDW在建设单个大规模集群中采取的JobTracker分散化和NameNode高可用两个优化方案。TDW（Ten
原创
2017-06-07 09:38:41
1174阅读
点赞
要让所有人都能在 Replit 上使用 Web 浏览器编写代码，我们的后端基础设施就是在可抢占的虚拟机上运行。也就是说，运行你代码的计算机可以随时关闭！当这种情况发生时，我们就用 REPL（Read-Eval-Print Loop，读取 - 求值 - 输出循环）快速重新连接。虽然我们已经尽了最大的努力，但人们还是会发现 REPL 连接被卡了很久。通过分析和挖掘 Docker 源代码，我们发现并解决
转载
2021-05-14 13:43:25
130阅读
女主宣言
TiDB在写入一段时间后，会存在一些可清理的数据。对这些数据进行删除，可以释放集群的空间。本文描述了在清理数据过程中，遇到的问题和具体的排查步骤，希望对有相同需求的同学有所帮助。
1
背景
TiDB集群在写入了一定的时间后，存在一些可以删除的历史数据。为了释放集群的空间，我和业务一并讨论和计划了待删除的表，但是在drop数据时发现集群QPS有抖动，duration异常升高，经过排查发现触
转载
2021-07-07 09:39:01
730阅读
作者 ｜ Connor Brewster译者 ｜ Sambodhi策划 ｜ Tina要让所有人都能在 Replit 上使用 Web 浏览器编写代码，我们的后端基础设施就是在可抢占的虚拟机上运行。也就是说，运行你代码的计算机可以随时关闭！当这种情况发生时，我们就用 REPL（Read-Eval-Print Loop，读取 - 求值 - 输出循环）快速重新连接。虽然我们已经尽了最大的努力，但人们还是会
转载
2021-05-28 11:17:44
285阅读
要让所有人都能在 Replit 上使用 Web 浏览器编写代码，我们的后端基础...
原创
2021-07-29 15:24:28
221阅读
Docker 公司近日宣布将其旗舰产品 Docker 企业版升级到 17.06，将目光清晰地瞄准企业内部数据中心和 DevOps。Docker 在今年 3 月推出了 Docker EE 品牌，基于以前称为 Docker Commercially Supported 和 Docker Datacenter 的产品。在 Docker EE 中，新增的功能可以将旧有应用程序移植到容器，而无需修改代码。此
