目录一、hadoop一些知识点：1.HDFS知识：1.1 HDFS工作机制1.2 HDFS 写数据流程1.3 HDFS 读数据流程2、MapReduce原理2.1 什么是 MapReduce2.2 MapReduce 1.X 架构2.3 MapReduce 2.X 架构2.4 MapReduce 运行流程二、spark2.1 hadoop 与 spark 对比2.2 spark 基本概念2.3&n
转载
2023-09-13 23:12:56
69阅读
【软考视角】系统集成、软件研发、运维维护及平台运营的全方位解析
在信息技术飞速发展的今天，系统集成、软件研发、运维维护以及平台运营等领域逐渐成为企业核心竞争力的重要组成部分。对于这些领域的专业技术人员而言，通过软考认证无疑是提升自身价值和能力的有效途径。本文将从软考的角度，对这四个方面进行深入探讨。
一、系统集成与软考
系统集成是将各个独立的系统整合为一个统一、协调的整体的过程。在软考中，系
原创
2023-11-24 10:29:23
104阅读
问题导读： 1、如何下线一个 datanode 节点? 2、某个 datanode 节点磁盘坏掉怎么办？ 3、NameNode 服务器故障了怎么办？ 4、Hadoop 如何进行操作系统调优？ Hadoop 日常运维问题及其解决方法 1. 如何下线一个datanode 节点? 当一个 datanode 节点所在的服务器故障或者将要退
转载
2023-07-21 14:48:43
137阅读
伴随着5G、AI、云计算等新兴技术的突破融合，物联网正以前所未有的速度加速发展，无论是用于居家安防、空调控制还是门窗，物联网让我们的生活、工作变得更加轻松。物联网在我们的生活变得越发重要，但同时，物联网安全也变得更具挑战性。物联网是连接到互联网的设备集合，如果黑客入侵，也许你未做保护措施的设备并不重要，但黑客可以通过该设备，进入到物联网中的任一设备，盗取你的个人信息，甚至监控你的生活。因此，保护物
转载
2024-05-05 17:55:12
23阅读
为什么设备智能运维越来越重要？未来企业的必备特征 2019-06-24 16:05智能运维与用户场景结合前先了解下：智能运维是什么？智能运维是通过数据采集、识别、分析技术对传统运维的一种升级和进化。智能运维能够实现业务系统的自动化故障智能检测，自动判断设备在运营过程中存在哪些隐患、及对发生的故障及时发出警告，从而能够辅助运维管理者进行消患、故障根因判断和处理。创建一个无忧化的运维环境。为
转载
2023-08-07 15:30:55
308阅读
现公司是集成商，最近友商来了个新入职的运维，实习生，嘛也不会。手把手的教导怎么升级jar包。在此记录下linux服务器下的一些基本操作。供新手参考，如有疏漏或错误，请指出，共同学习，共同探讨。1.根据jar包名去判断 升级jar包 我们首先要停掉旧的jar包，我们要获取之前运行的jar包，查看现在在运行的
转载
2023-09-21 08:35:03
153阅读
作者：执鸢者转发链接：本文主要是Linux的入门内容，利用40张思维导图从基础、操作、实用指令、组管理和权限管理、crond任务调度、Linux磁盘分区和挂载、Linux网络环境配置、进程管理、服务管理、RPM和YUM、软件安装关键点、Shell编程共十二部分着手，从而系统的了解一下Linux(基于Centos)，本文的定位是前端工程师够用、运维工程师入门。 一、基础主要阐述
转载
2023-11-28 11:15:06
80阅读
近日支持某项目甲方运维人员做了一些数据整合，项目基于MySQL数据库，部署于客户专用内网的Linux（CentOS 7.6）服务器，这里顺便做一个MySQL常用基础运维命令总结。一、本地破解root密码由于当前数据库提供给各子项目程序使用的账户仅具有特定库的部分权限，不具备创建新用户，授权、创建或删除库的权限。且原运维人员离职，未交接root账户密码。现运维需创建新用户新库等，以支持数据脱敏工作。
转载
2023-08-05 00:10:15
53阅读
2016下半年系统集成项目管理工程师上午综合知识真题试题： 10、运维的主要工作是保证系统的可用性和稳定性，以下关于运行维护的叙述中，不正确的是（）。
A、ISO20000及GB/T 24405是运行维护工作可以参考的管理标准
B、ITSS国内自主知识产权的运行维护管理系统标准
C、运行维护业务不能被视为系统集成业务的一部分
D、基础设施的运维包括道路、水利设施、建筑物的维护、但其收入不
转载
2023-11-02 17:26:56
103阅读
摘 要：高速公路机电系统设施分布具有点多、线长、面广等特点，所涉及的设备种类繁多，运行环境复杂，运行维护难度较大。目前，高速公路机电维护工作往往重维修、轻保养，维护方式较为被动。高速公路机电系统预防性维护，主要是指在机电系统未发生故障之前，有针对性、计划性、目标性地对设备及其运行环境等采取预防性的保养、检测及维护措施，使设备保持良好的技术性能。本文结合作者实际工作经验对高速公路机电系统的预防性维护
转载
2024-03-06 11:07:35
90阅读
zabbixzabbix是由 Alexei Vladishev开发的一种网络监视、管理系统，基于 Server-Client架构。可用于监视各种网络服务、服务器和网络机器等状态。使用各种 Database-end 如 MySQL, PostgreSQL, SQLite, Oracle 或 IBM DB2 储存资料。Server 端基于 C语言、Web 管理端frontend则是基于PHP所制作的。
转载
2024-03-07 10:06:45
53阅读
众所周知一个数据库的平稳运行往往离不开日常的维护操作，MySQL数据库也是如此。那么到底在MySQL中维护数据库的相关命令有哪些呢？在本篇文章中课课家笔者就此向大家详细介绍维护MySQL数据库的相关命令以供大家参考参考。◎Analyze Table通常MySQL的Optimizer(优化元件)在优化SQL语句时首先需要收集一些相关信息，其中就包括表的cardinality(散列程度)，它表示的是某
转载
2023-10-20 11:50:21
55阅读
环境：CentOS7版本：1. 部署本文仅介绍 rpm 安装方式1.1. 安装 mysql yum 源官方下载地址：https://dev.mysql.com/downloads/repo/yum/（1）下载 yum 源$ wget https://dev.mysql.com/get/mysql80-community-release-el7-1.noarch.rpm（2）安装 yum repo
转载
2024-08-20 11:03:03
49阅读
1. 存储引擎类型Myisam 速度快，响应快。表级锁是致命问题。Innodb 目前主流存储引擎
行级锁
务必注意影响结果集的定义是什么行级锁会带来更新的额外开销，但是通常情况下是值得的。事务提交
对i/o效率提升的考虑对安全性的考虑HEAP 内存引擎
频繁更新和海量读取情况下仍会存在锁定状况2. 内存使用考量理论上，内存越大，越多数据读取发生在内存，效率越高要
转载
2024-04-11 08:19:40
39阅读
来公司几个月了，除了搭建了kvm虚拟机，使用3台虚拟机组合成一个openstack的网络环境。还没有正式将openstack搭建起来过。时间都在开发web程序。不过openstack也是要学习的。只能利用有限的时间去学习，我现在就可以预见到我的学习曲线将会十分漫长。在这个漫长学习过程中，为了在后面不忘记前面的，还是将一些要点记录下来。错误记录：1.同步keystone数据库出错：/bin/sh -
转载
2023-10-11 23:37:19
56阅读
MySQL数据库安装后，除了包括MySQL服务器进程管理外，还提供了大量工具用于管理和维护MySQL服务器的其它工作。下面这些命令都是在MySQL交互界面以外的命令行中执行的。MySQL常用维护命令和操作主要包括对MySQL数据库状态的查看、性能的优化，MySQL表的检查、分析、修复、优化，MySQL数据库的导出导入、热备份等。myisampack：压缩MySQL MyISAM表以产生更小的只读表
转载
2023-08-10 15:05:25
51阅读
SecureCRT 运维护眼配色方案 终端有一个好的配色，不仅能保护自己的眼睛，也能给人一个好心情，本配色方案适合任意一种SSH客户端软件. 最终效果 设置背景颜色Options => Sessions options =>Terminal => Emulation，在 Terminal下拉列表下选择Linux，勾选 ANSI Color。 
原创
2015-06-15 10:19:46
1745阅读
简介 此篇博客介绍的是使用简易sh脚本来对Spring boot项目的jar包进行简单运维管理。因何而起 在松果生活项目里，我兼任了运维的工作。因为项目后端使用的是Spring boot框架，所以我在运维上的工作主要是为服务器更新后端导出的jar包。 Spring boot项目自带Tomcat，因此导出项目jar包后只需要将其部署到Linux服务器上，进入对应目录，并输入java -jar
转载
2024-06-03 21:27:01
62阅读
摘要: 本篇博客仅作为笔记，如有侵权，请联系，立即删除（网上找博客学习，然后手记笔记，因纸质笔记不便保存，所以保存到网络笔记）。 本博学习如何进行常见的数据库维护。 一、备份数据 像所有数据一样，,MySQL的数据也必须经常备份。由于MySQL数据库是基于磁盘的文件，普通的备份系统和例程就能备份MySQL的数据。但是，由于这些文件总是处于打开和使用状态，普通的文件副本备份不一定总是有效。
转载
2023-08-01 20:58:48
75阅读
1、列出所有Hadoop Shell支持的命令 $ bin/hadoop fs -help
2、显示关于某个命令的详细信息
$ bin/hadoop fs -help command-name
3、用户可使用以下命令在指定路径下查看历史日志汇总
$ bin/hadoop job -history output-dir #这条命令会显示作业的细节信息，失败和终止的任务细节。
4、关于作业的更多细节，
转载
2023-07-04 14:33:28
271阅读
