hive概述简介Facebook开源的用于解决海量结构化数据的数据分析框架基于Hadoop的数据仓库，可以将结构化的数据文件映射成一张表，并提供类SQL查询功能
使用HQL作为查询接口使用HDFS存储用MapReduce计算（现可支持多种计算框架）本质：将HQL转化成MapReduce程序优点使用类SQL语法，使用门槛降低统一的元数据管理，可与impala/spark等共享元数据灵活、易扩展
转载
2023-08-30 19:32:03
120阅读
简短介绍下Spark几个关键词：快速，通用，集群计算平台Spark扩展了MapReduce计算模型，且支持更多计算模式，包含：交互式查询流处理这里的交互式，不是简单的我们生活中理解的与设备的交互。它的深意是：对于大规模数据集的处理，速度够快。只有速度够快，才能实现交互式操作。前文提到的，基于内存的数据定义，Spark可以在内存中进行计算。其实，即使不在内存中计算，放在磁盘上，Spark也有很高的性
转载
2023-08-10 11:28:20
212阅读
1、Hive on Spark基本原理 1.1 运行模式 在之前的Hive on Spark原理的文档中已经对Hive on Spark 的运行流程进行了分析： Hive on Spark支持两种运行模式，本地（local）和远程（remote）： 当用户把Spark Master URL设置为local时，采用本地模式；其余情况采用远程模式。本地模式下，SparkContext与客户端运
大多数公司的日志系统检索使用的都是 ELK+Kafka+ES 的架构，在日志数据量不是特别庞大的时候其实这种架构还是挺好的，简单并且也很高效，但是当你的公司日志数据量非常庞大每分钟生产1亿条数据的场景下，这种架构的问题就很明显了，主要会出现下面几个问题：延迟很高，kafka收集push 的延迟变高ES 插入性能迅速下降，大量插入请求只能排队不然 ES 会被打挂，限流排队也就意味着延迟变得更加高我们
消息队列中间件是分布式系统中重要的组件，主要解决应用解耦，异步消息，流量削锋等问题，实现高性能，高可用，可伸缩和最终一致性架构。目前使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ。 &nbs
# ClickHouse和Hive的适用场景分析及实现方法
## 1. 流程概述
首先我们需要了解ClickHouse和Hive的适用场景，然后通过以下步骤来实现：
| 步骤 | 操作 |
| --- | --- |
| 1 | 创建ClickHouse数据库 |
| 2 | 创建Hive表，并导入数据 |
| 3 | 在ClickHouse中查询Hive数据 |
## 2. 具体步骤
1.需求层面：业务需求变化缓慢不适用于微服务架构2.性能层面对请求响应延迟极其苛刻的业务场景不适用微服务架构3.数据一致性层面数据强一致性要求的业务场景不适用微服务架构...
原创
2021-05-25 21:08:25
1574阅读
一：Hive体系结构(架构)的介绍1、Hive的概念：①Hive是为了简化用户编写MapReduce程序而生成的一种框架，使用MapReduce做过数据分析的人都知道，很多分析程序除业务逻辑不同外，程序流程基本一样。在这种情况下，就需要Hive这样的用户编程接口。Hive提供了一套类SQL的查询语言，称为QL，而在创造Hive框架的过程中之所以使用SQL实现Hive是因为大家对SQL语言非常的熟悉
转载
2023-08-18 13:42:51
8阅读
HBase可以认为是一种类似于数据库的存储层，并且HBase是一种列式的分布式数据库（由谷歌当年的BigTable论文而生），也就是说HBase适用于结构化的存储。注意HBase底层依然依赖HDFS来作为其物理存储，这与Hive类似 。Hive和HBbase的区别Hive的适用场景：Hive适用于对一段时间内的数据进行分析查询（适用于非实时的查询，它的结果需要很长时间才返回结果）Hive一般只要有
一、 Spark的应用现状1.1 Spark需求背景随着数据规模的持续增长，数据需求越来越多，原有的以MapReduce为代表的Hadoop平台越来越显示出其局限性。主要体现在2点：1) 任务执行时间比较长。特别是某些复杂的SQL任务，或者一些复杂的机器学习迭代。2) 不能很好的支持像机器学习、实时处理这种新的
转载
2023-08-26 09:16:29
120阅读
来源：https://www.zhihu.com/question/21677041/answer/185664626作者:有点文大数据技术与架构点击右侧关注，大数据开发...
转载
2021-06-10 19:46:33
507阅读
来源：https://www.zhihu.com/question/21677041/answer/185664626作者:有点文大数据技术与架构点击右侧关注，大数据开发...
转载
2021-06-10 21:30:58
302阅读
1.mongodb介绍MongoDB (名称来自"humongous") 是一个可扩展的高性能，开源，模式自由，面向文档的数据库。它使用C++编写。MongoDB特点:a.面向集合的存储：适合存储对象及JSON形式的数据。b.动态查询：mongo支持丰富的查询表达方式，查询指令使用JSON形式的标记，可轻易查询文档中的内嵌的对象及数组。c.完整的索引支持:包括文档内嵌对象及数组。mongo的查询优
转载
2023-08-23 15:07:21
144阅读
MongoDB是一款开源的分布式架构的NoSQL数据库管理系统。对于需要复杂 SQL 查询的问题。MongoDB是不太适合的，在技术选项上需要根据业务场景和公司实际情况选择合适的数据库，关系型数据库和NoSQL数据库各有优缺点，应该根据实际场景合理选择数据库...
原创
2022-07-04 09:23:39
597阅读
1.volatile最适用一个线程写，多个线程读的场合。
如果有多个线程并发写操作，仍然需要使用锁或者线程安全的容器或者原子变量来代替。(摘自Netty权威指南)
疑问：如果只是赋值的原子操作，是否可以多个线程写？(答案：可以，但是一般没有这样的必要，即没有这样的应用场景)
最经典的使用案例：
volatile boolean shutdownRequested;
...
p
转载
2015-01-01 21:28:00
300阅读
2评论
OSPF是一种用于在IP网络中自适应地学习和交换路由信息的协议。它是一种开放式的链路状态路由协议，被广泛应用于各种网络环境中。OSPF适用于何种场景呢？下面我们会详细介绍一些OSPF适用的场景。
首先，OSPF适用于大型企业网络。在大型企业网络中，往往存在着复杂的网络拓扑结构和大量的路由器。OSPF支持多种路由器类型和网络类型，可以很好地应对企业网络中的复杂路由需求。通过OSPF协议，企业网络管
Clickhouse是一个用于联机分析处理（OLAP）的列式数据库管理系统（columnar DBMS）。
转载
2021-08-10 10:18:45
1876阅读
Ajax适用场景 1.表单驱动的交互 传统的表单提交，在文本框输入内容后，点击按钮，后台处理完毕后，页面刷新，再回头检查是否刷新结果正确。使用Ajax，在点击sunmit按钮后，立刻进行异步处理，并在页面上快速显示了更新后的结果，这里没有整个页面刷新的问题。 2.深层次的树的导航 深层次的级联菜单（树）的遍历是一项非常复杂的任务，使用JavaScript来控制显示逻辑，使用Ajax延迟
转载
2023-05-25 15:50:14
111阅读
# SparkMllib适用场景及示例
## 什么是Spark MLlib?
Apache Spark是一个快速、通用的大数据处理引擎，可以用于大规模数据处理和机器学习任务。Spark MLlib是Spark的一个机器学习库，提供了一系列常见的机器学习算法，可以用来构建和训练机器学习模型。
## SparkMllib适用场景
Spark MLlib适用于大规模数据集上的机器学习任务，特别是
