1. 背景 一般离线Hadoop集群和在线Hadoop集群都是分开部署的，他们的计算资源互相隔离。离线集群一般0:00~08:00作业较多，集群压力大，其他时间段集群较为空闲。实时集群高峰期一般为10:00~20:00，其他时间段较为空闲。空闲时资源利用率低，是对资源的浪费，而离线/实时集群在高峰期资源紧张时，往往选择通过加机器来实现扩容，又增加成本。 传统的集群部署方式，不仅没有利用空闲下来的资
1. 背景 在https://blog.51cto.com/u_15327484/7969816文章中，介绍了kubernets启动容器的基本流程。在对k8s有一定了解后，可以尝试部署一个集群，后续可以可以基于这个集群进行一些实践，从而有一定产出。一般公司都有kubernets容器管理平台，无需手动创建k8s集群，本次实践仅为了后续对大数据上云方案进行探索性实践。 2. K8S集群规划 系统：de
1. 背景 对于大数据组件，经常需要进行扩缩容的服务，例如Yarn nodemanager、Alluxio Worker。往往需要频繁的人工操作上线下线，非常繁琐，耗费较高的人力成本。 为了降低这种人工操作的成本，可以考虑将这些服务部署到kubernets中进行管理。本文通过介绍kubernets启动容器的过程，介绍期间经历的所有组件，帮助提升对kubernets的认知。 2. kubernets
Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号
