最近一直在忙面试的事情，面试过程中碰到几家公司都问到了Hive,但是由于最近三年一直在忙海外数据仓库的事情，对于大数据的只限于了解，未有实际的使用，为了更好的面试，特总结了下Hive的相关知识（1）什么是Hive 1.1 Hive是Hadoop工具家族中一个重要成员，可以将结构化的数据文件（
转载
2023-08-16 18:38:05
47阅读
物联网是一个层次化的网络，从下往上可分为四层：感知层、网络层、平台层和应用层。 在各层之间，信息不是单向传递的，也有交互或控制。在所传递的信息中，主要是物的信息，包括物的识别码、物的静态信息、物的动态信息等。感知层：感知层是物联网的皮肤和五官，可以识别物体，采集信息。数据采集与感知主要用于采集物理世界中发生的物理事件和数据，包括各类物理量、标识、音频、视频数据。物联网的数据采集涉及传感器、RFID
转载
2023-07-08 11:01:20
212阅读
一.hive的架构：hive架构分为四层，如下图所示： hive体系架构 1.用户接口层(最外层)对外提供的有三种类型1)cli 命令行客户端 最常用的方式2)jdbc/odbc 用java api 连接hive数据库3)web ui 基本上不用，因为太丑，并且用着比较麻烦2.元数据库：保存元数据 一般情况下会选用传统的关系型数据库 用的最多的是mysql，默认为derby。Hive中的
转载
2023-07-12 21:13:57
190阅读
一、文章主题本文主要讲解数据仓库的一个重要环节：如何设计数据分层!其它关于数据仓库的内容可参考之前的文章。本文对数据分层的讨论适合下面一些场景，超过该范围场景 or 数据仓库经验丰富的大神就不必浪费时间看了。数据建设刚起步，大部分的数据经过粗暴的数据接入后就直接对接业务。数据建设发展到一定阶段，发现数据的使用杂乱无章，各种业务都是从原始数据直接计算而得。各种重复计算，严重浪费了计算资源，需要优化性
转载
2024-08-03 14:24:37
32阅读
什么是Spring：Spring是分层的JavaSE/EE full-stack(一站式) 轻量级开源框架 分层： SUN提供的EE的三层结构:web层、业务层、数据访问层（持久层，集成层） Spring框架有对三层的每层解决方案: web层:Spring MVC. 持久层:JDBC Template. 业务层:Spring的Bean管理。Spring的核心: IOC:（Inverse of Co
转载
2024-04-15 13:11:35
132阅读
```mermaid
flowchart TD
A(确定android架构哪几层实现方法)
B(了解Android架构的不同层次)
C(创建一个Android项目)
D(实现Android架构的各层)
E(测试和调试)
A --> B
B --> C
C --> D
D --> E
```
当一名开发者想要了解An
原创
2024-02-26 05:37:14
39阅读
将SQL转换为MapReduce），自身最大的缺点就是执行速度慢。Hive有自身的元数据结构描述，可以使用MySql\ProstgreSql\oracle 等关系型数据库来进行存储，但请注意Hive中的所有数据都存储在HDFS中。虽然 hive 可能存在这样那样的问题，但它作为后续研究 sparkSql 的基础，值得重点研究。 解释一下经常遇到的 hiveSer
转载
2023-08-09 23:18:19
39阅读
文章目录HIve数仓新零售项目前言一、Full join模型思路二、商品主题1.确定目标表2.实现代码总结 前言 这是一个线下真实HIve数仓的一个搭建项目，还是比较复杂的，主要和大家一起分享一下整个HIve数仓的思路。 整个项目分为： 1.ODS层 2.DWD层 3.DWB层4.DWS层 5.DM层 6.RPT层 每一层都有每一层的知识点。我会和大家分享从数据源MySQL开始，如何搭建整个完整的
转载
2024-04-08 09:27:12
51阅读
Kubernetes（K8S）是一个开源的、用于自动部署、扩展和管理容器化应用程序的平台。为了更好地理解Kubernetes的架构，我们需要了解K8S的分层结构。Kubernetes的架构主要分为以下几个层级：应用层、控制层、管理层和物理资源层。下面将详细介绍每一层的作用和代码示例。
### K8S分层架构有哪几层
#### 1. 应用层
应用层是最靠近用户的一层，负责接收用户的请求并将其转发
原创
2024-03-22 11:47:49
141阅读
1、什么是运维？什么是游戏运维？1）运维是指大型组织已经建立好的网络软硬件的维护，就是要保证业务的上线与运作的正常，
在他运转的过程中，对他进行维护，他集合了网络、系统、数据库、开发、安全、监控于一身的技术
运维又包括很多种，有DBA运维、网站运维、虚拟化运维、监控运维、游戏运维等等2）游戏运维又有分工，分为开发运维、应用运维（业务运维）和系统运维
开发运维：是给应用运维开发运维工具和运维平台的
转载
2024-07-23 00:24:12
0阅读
package swing;
import java.awt.Color;
import java.awt.Container;
import javax.swing.JFrame;
import javax.swing.JLabel;
import javax.swing.SwingConstants;
import javax.swing.WindowConstan
转载
2023-07-22 08:02:17
40阅读
一、MySQL 的基础架构 MySQL可以分为 Server 层和存储引擎层两部分： Server 层包括连接器、查询缓存、分析器、优化器、执行器等，涵盖 MySQL 的大多数核心服务功能，以及所有的内置函数（如日期、时间、数学和加密函
转载
2023-08-13 19:24:40
146阅读
由下图，可以看出MySQL最上层是连接组件。下面服务器是由连接池、管理工具和服务、SQL接口、解析器、优化器、缓存、存储引擎、文件系统组成。1、MySQL 连接层MySQL 客户端： 用户通过TCP 连接到MySQL的服务器，常见的MySQL 客户端包括，JDBC，PHP等等MySQL 连接池：由于每次建立建立需要消耗很多时间，连接池的作用就是将这些连接缓存下来，下次可以直接用已经建立好的连接，提
转载
2023-10-07 18:29:24
91阅读
TCP/IP 网络通常是由上到下分成 4 层，分别是应用层，传输层，网络层和网络接口层。每一层的封装格式：应用层：传输单位是消息或报文（message）应用层是工作在操作系统中的用户态，传输层及以下则工作在内核态传输层：传输单位是段（segment）传输层可能大家刚接触的时候，会认为它负责将数据从一个设备传输到另一个设备，事实上它并不负责。它只需要服务好应用即可，让其作为应用间数据传输的媒介，帮助
原创
2024-04-24 02:02:20
0阅读
nbiot的安全体系架构有哪几层
在当前物联网（IoT）技术高速发展的背景下，窄带物联网（NB-IoT）作为一种新兴的通信技术，越来越受到关注。然而，伴随着其广泛应用的同时，安全问题也愈发凸显。因此，建立一个全面完善的nbiot安全体系架构至关重要。为了更好地理解这一安全架构，可以利用四象限图对其进行整理，如下图所示：
```mermaid
quadrantChart
title 四象
首先，何谓系统架构师？ IBM工程师的说明是： 架构师的主要责任是提供开发人员和项目经理之间的共用沟通媒体。他们负责让业务规则及需求与工程实践及限制相适应，以确保成功 中文Wiki上的说明是： 系统架构师负责设计系统整体架构，从需求到设计的每个细节都要考虑到，把握整个项目，使设计的项目尽量效率高，开发容易，维护方便，升级简单 这两个解释，加起来基
# Docker查看镜像哪几层
在使用Docker构建镜像的过程中，了解镜像的层级结构是非常重要的。每个Docker镜像都是由多个层级（Layer）组成的，这些层级可以互相叠加和共享，使得镜像的构建更加高效和灵活。在本文中，我们将介绍如何使用Docker命令查看镜像的层级结构，并通过代码示例进行演示。
## Docker镜像的层级结构
Docker镜像的层级结构是由一系列只读的文件系统层级（
原创
2024-01-25 05:36:46
132阅读
见过很多成长中的企业，随着业务的扩大，数据流的增加，自家的软件越来越受到成长性的颈瓶，于是乎高薪招来大牛，然后就急急忙忙的乱设计架构做试验，最后搞的头痛医头，脚痛医脚的局面。 这样的企业国内太多
问大家，为什么要有 TCP/IP 网络模型？ 对于同一台设备上的进程间通信，有很多种方式，比如有管道、消息队列、共
原创
精选
2023-10-24 13:48:12
238阅读
SDN（Software Defined Network）是一种新型的网络架构，相比传统分布式网络架构，具备控制和转发分离、逻辑上的集中控制等优势，消除了传统分布式网络体系结构的复杂性和静态特性，实现网络流量的灵活控制。SDN为新型网络技术的快速部署和降低网络管理成本提供了可行的解决方案。基于未尔科技自主研发的VRNET Developer集成网络仿真开发平台，可构建S
转载
2023-08-30 14:34:07
126阅读
