云计算环境涉及IT基础硬件、操作系统以及业务系统等,传统的设备边界不再那么清晰,承载的VM对资源既共享又竞争,所以系统处于不断地动态调整中,故障域的耦合更加紧密,针对问题根源的判断更加困难。 背景在云时代我们完全看不到任何物理设备,也不再关心硬件的稳定性和可靠性,因为当我们的硬件发生故障时,业务会第一时间切换到其他的节点,甚至切换到其他的数据中心,这样我们的硬件维修完全可以等到方便的时候再进行。
  云计算维和传统有何区别?  云计算带来的不同于传统的应用层面的挑战:  应用如何在云平台上实现应用的快速部署,快速更新,实时监控。云计算时代要求人员能够自动化地部署应用程序和所有支持的软件和软件包,然后通过生命周期阶段操作维护和管理应用程序,如自动扩展事件和进行软件更新等一系列的操作。  如何快速创建和复制资源模板,有序地对资源模版进行资源配置和更新;如何在云端更加轻松的部署、配
陈盼(安科瑞电气股份有限公司   上海嘉定   201800)摘 要:电力云平台通过信息化手段搭建了完善的电力监控管理方案,配有独立使用的App应用。云平台帮助用户实时监视配电系统的运行状态和电量数据,通过经验丰富的团队和成熟的信息技术来为用户提供更好的服务。本文介绍了当前电力工程行业的现状传统电力过程中存在的一些问题,进而阐述了电力
原创 2022-07-26 09:46:35
360阅读
概述近一年,关于传统互联网的探讨越来越多,在运体系快速变革地环境下,未来的走向,便成为行业的关注点。那么:到底什么是传统体系?什么是互联网体系?他们的特点,异同在哪?从哪里来到哪里去?本文将从以下角度探讨两大体系。商业封闭式系统架构 vs 开源系统架构辨析传统 vs 互联网辨析去IOE运动辨析发展趋势辨析1、商业封闭式系统架构 vs 开源系统架构辨析每个
原创 2016-04-27 10:15:05
1242阅读
1、负责公司大数据平台的部署、管理、优化、监控报警,保障平台服务7*24稳定可靠高效运行;2、深入理解公司大数据平台架构,发现并解决性能瓶颈,支撑业务和数据量的快速增长;3、开发大数据自动化、监控报警、故障处理相关脚本和工具; 4、负责Hadoop/spark/kafka等集群服务、业务监控、持续交付、应急响应、容量规划等。 大数据生态圈部署实战(最好是自动化的部署):这块
转载 2024-08-15 00:49:56
25阅读
背着双肩包,包里装有笔记本电脑、电源线、网线、串口线、USB转换头、水壶、干粮等等,步履匆忙,挤地铁、赶公交、转战一个个客户现场,在机器轰鸣的机房度过一个个不眠之夜,这恐怕是传统工程师最经典的写照了。如今,你足不出户,躲在冬暖夏凉的office里,泡上一杯咖啡,手指在键盘上飞快的飘过,客户的全部搞定,这是什么工作?如果你还不知道,那么你就OUT了,这就是云上
转载 2017-04-07 17:18:37
10000+阅读
DevOps传统这两个概念在软件开发领域中已经广为人知。DevOps代表着一种新的软件开发和模式,强调开发团队和团队之间的合作沟通,以加快软件开发和发布的速度。 相较于传统模式,DevOps模式更加灵活和高效。在传统模式中,开发和两个团队之间存在较大的隔阂,开发团队开发完代码之后往往将代码交给团队进行部署和维护。这种模式通常效率较低,因为开发和之间的对接和
原创 2024-03-15 10:40:07
158阅读
                                 &n
转载 精选 2011-12-29 15:13:34
620阅读
引子 1. 蓝鲸的背景:转型 原因1:业务红海化 原因2:“传统”生存空间塌缩 原因3:我们太累了 2. 蓝鲸的设计思想 3. 蓝鲸服务 4. 收尾
转载 2022-09-01 21:08:15
959阅读
负责hbase跨机房迁移,数据同步,备份,升级性能问题处理,regionserver扩缩容,hmaster处理,监控hadoop,yarn,zk部署小文件处理,datanode oom处理,大数据故障处理
原创 2024-07-07 20:11:58
2阅读
在当今的大数据时代,大数据平台的搭建是至关重要的。Kubernetes(K8S)作为一个优秀的容器管理平台为大数据平台搭建提供了便利。在本文中,我将向你介绍如何使用Kubernetes搭建和一个大数据平台。 首先,让我们来看看整个流程的步骤: | 步骤 | 操作 | |------|--------------
原创 2024-04-30 10:57:48
97阅读
众所周知,云计算改变了整个传统IT产业的基础架构,而大数据则改变了IT业务模式。那么在云计算大数据时代,传统的Linux系统应该怎么顺应技术的发展呢?今天我们就来聊一聊大数据工程师。1.工程师都有哪些岗位一图胜千言,针对工程师在公司都有哪些岗位,我们不妨看看下面这张图。2.大数据的工作职责【职责1】规划部署01 根据业务规划和未来业务演进评估集群规模、存储规模、算力需求、技术选
1、DataSophon是谁开源的?国内某大厂2、DataSophon想干嘛?致力于快速实现部署、管理、监控以及自动化大数据服务组件和节点的能力,帮助您快速构建起稳定,高效的大数据集群服务。3、DataSophon是什么?DataSophon是致力于自动化监控、、管理大数据基础组件和节点的,帮助您快速构建起稳定,高效的大数据集群服务。4、DataSophon都有哪些特性?极易部署,1小时可
转载的,个人感觉写的很实在,简单明了,精辟!   工作尤其是linux,其实最考验你的能力,因为需要学习的东西实在太多, 你既要懂网络:思科华为设备的配置; 要懂性能调优:包括lamp或者lnmp的性能调优,也包括linux操作系统调优; 要懂数据库mysql或者nosql(例如mongodb): 要懂编程语言:Shell是最基本的,还要学习perl,pyth
转载 精选 2012-02-06 11:59:15
8652阅读
2评论
先自我包装一下,本人是这个实在人。由于要生存,就面临着找工作。学习期间学校C#语言,但是对这个技术不是很感兴趣,也很少写代码。于是乎毕业找工作到处碰壁,好不容易有个公司收留我,就去上班了,工作了一个月,由于对代码的厌恶,很快就辞职待业了!回到家中,左思右想,自己到底适合干什么,IT互联网公司那么多,总有一份工作适合自己的,就说说最近这份工作吧!是做反恐情报侦察,大数据系统工作的,接下来我就说说
转载 2024-05-16 22:01:52
21阅读
通俗的理解即为运行和维护,来保证系统和网站的正常运行,维护它们的安全。保证7×24小时的正常运行,数据的稳定、不丢失,并持续进行系统及网站的优化。那它具体是做什么的呢?1. 备份有备无患,总是没错的!!!从数据库的备份、程序的备份到系统的备份,通过备份的方式,来防止数据的丢失。以免数据的故障或其他原因,让数据都消失了,造成一场不小的“灾难”。2. 监视对日常的系统进行监视和管理,避免出现不必要
DevOps(Development和Operations的合成词)是近年来在IT行业中逐渐流行起来的一种软件开发和模式。相比于传统模式,DevOps有着明显的优势和特点。 首先,在DevOps模式下,开发团队和团队之间的合作更加紧密和高效。传统模式中,开发和往往是两个独立的团队,彼此之间缺乏有效的沟通和协作。而在DevOps模式中,开发人员和人员共同参与到整个软件开
原创 2024-03-08 12:00:21
75阅读
数字时代监控维系统数据量暴增,指标、日志、代码堆栈、网络数据包等等时间序列数据从每天几百兆采集量膨胀到每天上百GB,上TB。由于故障总是偶发,而监控数据在故障发生回朔时才更有价值。如何利用这些低价值密度的海量数据呢?传统监控系统要么只是针对指标、日志等单一类型数据提供分析能力,要么只针对网络、基础设施、应用中间件提供监控能力。随着应用系统快速复杂化,、企业现有数据孤岛式的监控系统已经严重阻碍
本系列文章主要阐述大数据计算平台相关框架的搭建,包括如下内容:虚拟服务器安装基础环境安装zookeeper集群的搭建kafka集群的搭建hadoop/hbase集群的搭建spark集群的搭建flink集群的搭建elasticsearch集群的搭建alluxio集群的搭建本文主要阐述基础环境的安装,主要是服务器间免密登录,java安装和scala安装。免密登录由于后续涉及到各种软件的安装,毫无疑问会
ELK的概述ELK是Elasticsearch、Logstash、Kibana三大开源框架首字母大写简称。市面上也被成为Elastic Stack。其中Elasticsearch是一个基于Lucene、分布式、通过Restful方式进行交互的近实时搜索平台框架。像类似百度、谷歌这种大数据全文搜索引擎的场景都可以使用Elasticsearch作为底层支持框架,可见Elasticsearch提供的搜索
  • 1
  • 2
  • 3
  • 4
  • 5