1、HDFS概述1.1、介绍在现代的企业环境中，单机容量往往无法存储大量数据，需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统。 HDFS(Hadoop Distributed File System)是Apache Hadoop项目的一个子项目。Hadoop非常适用于存储大型数据（比如TB和PB），其就是使用HDFS作为存储系统，HDFS使用多台计算机存储文件，并且提供统一的访问
DynamicSQL（动态SQL）1.内容简介(1) if:判断
(2) where:封装查询条件
(3) set:封装修改条件
(4) trim:字符串截取
(5) choose(when, otherwise):分支选择
(6) foreach:遍历集合
(7) bind:可以将OGNL表达式的值绑定到一个变量中，方便后来引用这个变量的值
(8) sql:抽取可重用
文章目录一、HDFS概述1.1 HDFS定义1.2 HDFS优缺点1.3 HDFS组成架构1.4 HDFS 文件块大小二、HFDS的Shell操作三、HFDS客户端操作 一、HDFS概述随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中
转载
2024-04-24 13:10:42
67阅读
原创
2024-07-25 16:12:02
0阅读
1.需求层面：业务需求变化缓慢不适用于微服务架构2.性能层面对请求响应延迟极其苛刻的业务场景不适用微服务架构3.数据一致性层面数据强一致性要求的业务场景不适用微服务架构...
原创
2021-05-25 21:08:25
1623阅读
Hive不想用程序语言开发MapReduce的朋友，熟悉SQL的朋友可以使用Hive开离线的进行数据处理与分析工作。注意Hive现在适合在离线下进行数据的操作，就是说不适合在挂在真实的生产环境中进行实时的在线查询或操作，因为一字“慢”。相反起源于FaceBook,Hive在Hadoop中扮演数据仓库的角色。建立在Hadoop集群的最顶层，对存储在Hadoop群上的数据提供类SQL的接口进行操作。你
转载
2024-07-05 21:28:13
48阅读
一、 Spark的应用现状1.1 Spark需求背景随着数据规模的持续增长，数据需求越来越多，原有的以MapReduce为代表的Hadoop平台越来越显示出其局限性。主要体现在2点：1) 任务执行时间比较长。特别是某些复杂的SQL任务，或者一些复杂的机器学习迭代。2) 不能很好的支持像机器学习、实时处理这种新的
转载
2023-08-26 09:16:29
145阅读
1.volatile最适用一个线程写，多个线程读的场合。
如果有多个线程并发写操作，仍然需要使用锁或者线程安全的容器或者原子变量来代替。(摘自Netty权威指南)
疑问：如果只是赋值的原子操作，是否可以多个线程写？(答案：可以，但是一般没有这样的必要，即没有这样的应用场景)
最经典的使用案例：
volatile boolean shutdownRequested;
...
p
转载
2015-01-01 21:28:00
311阅读
2评论
OSPF是一种用于在IP网络中自适应地学习和交换路由信息的协议。它是一种开放式的链路状态路由协议，被广泛应用于各种网络环境中。OSPF适用于何种场景呢？下面我们会详细介绍一些OSPF适用的场景。
首先，OSPF适用于大型企业网络。在大型企业网络中，往往存在着复杂的网络拓扑结构和大量的路由器。OSPF支持多种路由器类型和网络类型，可以很好地应对企业网络中的复杂路由需求。通过OSPF协议，企业网络管
原创
2024-03-07 12:09:51
151阅读
在最近的开发和之前的的使用中，我们一般面对需要适应多端的项目或者需要移动端多设备的适应，都可能会引入rem，em这样的单位。如果你要着手一个以上类似的项目，我们也同样建议使用rem或者干脆引入框架，等到你分析框架时，你会发现，有些成熟的框架也是借助rem来解决不同的屏幕大小带来的适应问题。接下来我们就简单的阐述一下我最近在项目中如何使用rem：首先我们要明确，为什么要使用rem，那我们要先从rem
转载
2024-10-12 11:40:24
16阅读
# SparkMllib适用场景及示例
## 什么是Spark MLlib?
Apache Spark是一个快速、通用的大数据处理引擎，可以用于大规模数据处理和机器学习任务。Spark MLlib是Spark的一个机器学习库，提供了一系列常见的机器学习算法，可以用来构建和训练机器学习模型。
## SparkMllib适用场景
Spark MLlib适用于大规模数据集上的机器学习任务，特别是
原创
2024-07-07 03:35:02
100阅读
# NoSQL适用场景详解
NoSQL（Not Only SQL）数据库在近年来受到了越来越多的关注。与传统的关系型数据库相比，NoSQL数据库在处理大规模数据、非结构化数据以及高并发请求等方面表现优异。本文将探讨NoSQL的几个主要适用场景，并提供相关代码示例。
## 1. 大数据存储
面对海量的数据存储需求，NoSQL数据库提供了分布式架构，支持横向扩展。例如，MongoDB是一款文档存
原创
2024-10-11 07:58:28
59阅读
本文主要谈及了服务互通开放典型问题，也介绍了企业业务能力API化，着重说明了云服务总线CSB的服务处理过程，最后概括了综合场景。以下为精彩内容整理：云服务总线CSB与ESB有什么关系呢？CSB就是互联网以及云计算场景下的企业服务总线，但重点不同，CSB真正要做的是能力开放平台，无论是ESB还是CSB，它们都是要实现系统之间的服务互通。 服务互通开放典型问题服务协议和接口差异：举个例子，如
Clickhouse是一个用于联机分析处理（OLAP）的列式数据库管理系统（columnar DBMS）。
转载
2021-08-10 10:18:45
2036阅读
Ajax适用场景 1.表单驱动的交互 传统的表单提交，在文本框输入内容后，点击按钮，后台处理完毕后，页面刷新，再回头检查是否刷新结果正确。使用Ajax，在点击sunmit按钮后，立刻进行异步处理，并在页面上快速显示了更新后的结果，这里没有整个页面刷新的问题。 2.深层次的树的导航 深层次的级联菜单（树）的遍历是一项非常复杂的任务，使用JavaScript来控制显示逻辑，使用Ajax延迟
转载
2023-05-25 15:50:14
130阅读
MongoDB是一款开源的分布式架构的NoSQL数据库管理系统。对于需要复杂 SQL 查询的问题。MongoDB是不太适合的，在技术选项上需要根据业务场景和公司实际情况选择合适的数据库，关系型数据库和NoSQL数据库各有优缺点，应该根据实际场景合理选择数据库...
原创
2022-07-04 09:23:39
633阅读
简短介绍下Spark几个关键词：快速，通用，集群计算平台Spark扩展了MapReduce计算模型，且支持更多计算模式，包含：交互式查询流处理这里的交互式，不是简单的我们生活中理解的与设备的交互。它的深意是：对于大规模数据集的处理，速度够快。只有速度够快，才能实现交互式操作。前文提到的，基于内存的数据定义，Spark可以在内存中进行计算。其实，即使不在内存中计算，放在磁盘上，Spark也有很高的性
转载
2023-08-10 11:28:20
318阅读
大多数公司的日志系统检索使用的都是 ELK+Kafka+ES 的架构，在日志数据量不是特别庞大的时候其实这种架构还是挺好的，简单并且也很高效，但是当你的公司日志数据量非常庞大每分钟生产1亿条数据的场景下，这种架构的问题就很明显了，主要会出现下面几个问题：延迟很高，kafka收集push 的延迟变高ES 插入性能迅速下降，大量插入请求只能排队不然 ES 会被打挂，限流排队也就意味着延迟变得更加高我们
转载
2023-11-09 10:17:29
266阅读
HDFS的学习和使用本文是基于CentOS 7.3系统环境，进行HDFS的学习和使用CentOS 7.31. HDFS简介1.1 HDFS产生背景随着数据量越来越大，在一个操作系统下存不了所有的数据，那么就需要分配到更多的操作系统管理的磁盘中进行存储，但是这种方式不便于管理和维护，因此迫切需要一种系统来管理多个操作系统上的文件。1.1 什么是HDFSHDFS是一个分布式文件系统，用于存储文件，通过
转载
2024-03-18 15:11:52
78阅读
消息队列中间件是分布式系统中重要的组件，主要解决应用解耦，异步消息，流量削锋等问题，实现高性能，高可用，可伸缩和最终一致性架构。目前使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ。 &nbs
转载
2024-03-27 16:29:00
729阅读
