文章目录说明分享资料安装虚拟机配置虚拟机关闭防火墙设置yum源创建用户创建目录网络配置卸载jdk总结 说明创建hadoop集群需要先搭建服务器环境，这里使用vmware本地构建模型服务器，集群以该虚拟机为基础克隆创建，所以该虚拟机非常重要是整个集群的基础。分享大数据博客列表开发记录汇总个人java工具库 项目https://gitee.com/wangzonghui/object-tool包含j
转载
2024-04-22 10:25:31
59阅读
一、上章回顾上篇文章《系统架构师谈企业应用架构之系统建模1》主要简单的介绍了建模中使用的标准建模语言UML的相关内容，包括用例图与类图的使用方法及如何建模。相信大家对UML建模语言已经有了初步的认识，还请大家谨记UML不同的建模图形的用处。比如，用例图主要用来描述系统的功能需求。类图主要用来描述实体间的关系。谨记这些就可以帮助我们在系统架构的过程中深入的分析。首先向大家道歉，上篇中有部分描述错误的
转载
2024-07-05 21:11:11
58阅读
注：文中涉及的文件路径或配置文件中属性名称是针对hadoop2.X系列，相对于之前版本，可能有改动。 附：HDFS用户指南官方介绍：http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-hdfs/HdfsUserGuide.html HDFS体系结构官方介绍：http:
转载
2024-04-29 10:50:38
57阅读
SysML(System Modeling Language，系统建模语言)，是一种专门为系统工程应用开发的标准建模语言，它是由对UML2．0的子集进行重用和扩展而来的。SysML与UML的关系在应用方面，SysML和UML最大的区别是，SysML是专门为系统工程开发的，而UML更多的是面向软件工程，其设计初衷也是为了方便软件开发。在语言结构方面，SysML是由图和元模型组成，图是语法，元模型是语
原创
2024-05-24 01:04:05
114阅读
系统建模是信息技术领域中的一个重要课题，而在使用Python进行系统建模时，我们可以借助多种工具与框架来高效实现我们的目标。在计算机科学不断发展的今天，系统建模技术日渐成熟，尤其是在数据分析、机器学习、和复杂系统建模等领域。掌握这些技术有助于提升系统的性能和可扩展性。
在实际应用中，系统建模的局限性与挑战主要体现在以下几个方面：
- 需求不明晰导致的模型不准确。
- 数据的不完整性或噪声影响模
本文结合团队在COMMUNITY（社区服务系统）业务建模过程中的实践经验，总结得到一些DDD业务建模的小招数，不一定是完美的，但是对我们团队来说很有效用，希望能帮到其他人。后面会陆续将项目中业务建模的一些经典例子放上来，分享给大家。本文为【DDD】系列文章中的其中一篇，其他内容可参考：使用领域驱动设计思想实现业务系统。
本文结合团队在COMMUNIT
智慧华盛恒辉部队体系建模系统是一种用于构建和分析部队体系结构的专业工具。它通过采用先进的建模技术和方法，帮助用户对部队体系进行全面的建模和仿真，以支持决策制定和优化。 部队体系建模系统通常包括以下功能： 体系结构建模：支持多种建模语言，如DoDAF、IDEF、UML、BPMN等，以基于IDEF的结构化分析为主，兼顾业务流程建模、UML建模、数据建模等多种建模方法。用户可以通过系统进行部队体
原创
2023-12-13 15:53:06
153阅读
十四、并发编程之I/O模型1、模型介绍1.1 IO种类(1)* blocking IO 阻塞IO(2)* nonblocking IO 非阻塞IO(3)* IO multiplexing 多路复用IO(4)* signal driven IO 信号驱动IO(5)* asynchronous IO 异步IO1.2 IO发生时的对象和步骤对于一个network IO (这里我们以read举例)，它会涉
概论考点2021春：这两天复习可以看看AADL建模语言和MARTE中时间模型两个内容。概念定义：CPS，及时性，并发性，可预测性，准确性和鲁棒性调度方法，RM，EDFAADL状态图的状态迁移执行过程活动图和状态图的区别UML1.x中的活动图在语义上等同于状态图，并且共享一个公共的元模型。在UML2.0中，活动图被赋予了独立于状态图的自己的语义基础。在UML2.0中，活动图有多个级别：基本的、中间的
原创
2022-07-11 00:10:20
470阅读
CPS系统 什么是CPS系统？CPS全称Cyber-Physical Systems，即信息物理融合系统CPS系统的特征由新需求和应用驱动的信息物理耦合每个物理组件中的信息能力大规模有线/无线网络网络在多个极端尺度上建立系统之系统个人理解为建立一个系统，这个系统包含的第一公民是更小的系统新的时空限制多样的时空复杂度动态地再组织，再配置非常规计算与物理基础通信/计算/控制之间的新
原创
2022-07-11 00:33:20
565阅读
软件系统建模
1、 什么是模型。我得理解是模型就是一种抽象，一种比实际简单的多的但是又能准确的表达实际的事物的各个侧面的关系的表示。（关键词是：抽象和侧面）
2、 原理：遵循什么原理这个是建模的关键问题。但是又存在一个不统一的问题。
存在三种建模思想：数据库开发、结构化开发、面向对象的开发。
数据库关注的是实体—关系模型，而把行为放到触发器和存储过程中。
原创
2010-07-19 13:29:31
889阅读
HDFS1、HDFS 概述1.1 HDFS 定义HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。HDFS的使用场景：适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据分析，并不适合用来做网盘应用。1.2 HDFS 优缺点1.2
转载
2024-03-26 10:07:45
36阅读
系统都会有系统公告或系统消息，这是一个常见的业务。系统管理员在后台新建一条系统消息，选择部分用户（用户群组）或所有用户，用户收到消息后，点击阅读，该用户对当前消息的读取状态将变为已读。 假设系统中有100万用户量，我们发一条系统消息不可能给每个用户写入一条消息或
转载
2020-07-15 11:14:00
131阅读
2评论
一、需求描述DT时代，数据量呈指数级增长，信息资源爆炸式激增。各行业的决策者已经意识到了数据是的核心资产，并期望对数据进行存储和挖掘以达到资产保值甚至增值的目的。大多数企事业单位在面对海量、异构、实时的大数据时，往往没有足够的技术能力和经验，进行复杂的大数据处理，并支撑多元化的应用。数据分析工具和懂数据分析的人正在成为企事业单位稀缺资源，数据建模工具是数据分析过程中重要的一个环节，自助建模将是数据
转载
2023-09-15 23:12:21
19阅读
最近有个需求需要实现windows 上直接访问Hadoop HDFS 文件系统，并设置相关权限，前提条件:1.hadoop 健康集群一个 2.centos7 系统一个 3. hadoop-fuse-dfs 安装软件 4. samba4 安装软件第一步: 安装hadoop-fuse-dfs使用root用户登陆centos7修Ccentos-base.repo
添加以下内容到文件最后：
[cloude
转载
2024-03-25 16:10:23
440阅读
一、NameNode维护着2张表： 1.文件系统的目录结构，以及元数据信息 2.文件与数据块列表的对应关系 存放在fsimage中，在运行的时候加载到内存中的。 操作日志写到edits中 二、DataNode 使用block形式存储。
原创
2021-07-29 10:46:02
196阅读
在大数据存储领域，Hadoop Distributed File System（HDFS）和Ceph系统是两个备受关注的系统。它们分别代表着分布式文件系统和分布式对象存储系统的先进技术，为大规模数据处理提供了持久化存储的解决方案。
HDFS是Apache Hadoop项目的核心组成部分，旨在为大数据应用程序提供高可靠性的存储。它采用了分布式文件系统的架构，将数据分成多个块并存储在不同的计算节点上
原创
2024-03-18 10:37:17
38阅读
Hadoop是一个分布式的存储计算框架,其中底层的HDFS是构建面向应用的高层次模块的基础(当然也可以使用其API直接访问HDFS), 比如HBase可以是基于HDFS来存储其HFile文件, 计算框架MapReduce可以使用HDFS中存储的数据. 本文档说明HDFS的基本概念以及架构,以便能从Hadoop纷繁复杂的架构中,对其HDFS存储模块有个宏观的了解.本文档将略去HDFS中那些保证其高可
转载
2023-07-14 20:20:05
83阅读
HDFS文件操作常有两种方式，一种是命令行方式，即Hadoop提供了一套与Linux文件命令类似的命令行工具。HDFS操作之一：hdfs命令行操作 另一种是JavaAPI，即利用Hadoop的Java库，采用编程的方式操作HDFS的文件。 要在java工程中操作hdfs，需要引入一下jar包，我的maven工程中的pom.xml文件中增加如下几个依赖： <depen
转载
2024-05-13 19:06:57
39阅读
软考系统集成
HDFS
：分布式文件系统在大数据处理中的应用
随着大数据技术的不断发展，分布式文件系统逐渐成为大数据处理的核心组件。其中，
Hadoop Distributed File System
（
HDFS
）作为一种广泛应用的分布式文件系统，在软考系统集成中发挥着重要的作用。
首先，
HDFS
为大数据处理提供了可靠的存储解决方案。在传统的文件系统中，数据存储通常存在
原创
2023-10-31 15:49:46
100阅读
