今天整理了一下hive的相关知识,其中包括hive原理及其表相关的一些内容,主要为个人理解： 1.hive是什么有什么用？hive是数仓工具,可以抽取,转换,加载数据(ETL), Hive不适用于毫秒级的响应,因为其底层是调用MR程序在Yarn上运行操作hdfs上的结构化静态数据来实现处理数据的功能,但Hive将sql跟MR结合,可以实现多维度的查询,用户的学习成本较低,上手较为容易.2.hive
转载
2023-07-20 19:50:07
126阅读
#MVC模式 MVC：MVC是一种设计模式，例如经典的JSP{Jsp+Javabean+Servlet} MVC的原理图 分析： M-Model 模型（完成业务逻辑：有javaBean构成，service+dao+entity） V-View 视图（做界面的展示 jsp，html……） C-Cont ...
转载
2021-09-09 09:53:00
127阅读
2评论
图文讲解 MapReduce 工作原理理解什么是map，什么是reduce，为什么叫mapreducemapreduc工作流程分片、格式化数据源执行 MapTask执行 Shuffle 过程执行 ReduceTask写入文件整体流程图MapTaskReduceTask 理解什么是map，什么是reduce，为什么叫mapreduceMapReduce可以分成Map和Reduce两部分理解。1.M
写的不到位的地方，欢迎评论指出不足之处MapReduce
数据以一条记录为单位，经过map方法映射成 K,V，相同的 key 为一组，这一组数据调用一次 reduce 方法，在方法内迭代计算着一组数据经验
数据集一般是用迭代计算的方式block （物理切割）：split（切片/逻辑切割）
注意
框架默认的 split 数量 = block 数量控制并行数：由切片数决定切
LVS的英文全名为“Linux Virtual Server”，即Linux虚拟服务器，是一个虚拟的四层交换器集群系统，根据目标地址和目标端口实现用户请求转发，本身不产生流量，只做用户请求转发，目前是负载均衡性能最好的集群系统。
转载
2017-09-15 06:02:34
838阅读
一、LVS简介LVS是LinuxVirtualServer的简称，也就是Linux虚拟服务器，是一个由章文嵩博士发起的自由软件项目，官方站点是：一、LVS简介LVS是LinuxVirtualServer的简称`，也就是Linux虚拟服务器，是一个由章文嵩博士发起的自由软件项目，官方站点是：http://www.linuxvirtualserver.org。现在LVS已经是Linux标准内核的一部分
原创
精选
2017-12-06 17:25:02
1736阅读
点赞
很多人使用过LVS集群系统，但对于LVS集群，大多数人不清楚它到底是个什么东西。接下来我们就聊聊LVS及其工作原理。一.lvs介绍 LVS的英文全名为“Linux Virtual Server”，即Linux虚拟服务器，是一个虚拟的四层交换器集群系统，根据目标地址和目标端口实现用户请求转发，本身不产生流量，只做用户请求转发，目前是负载均衡
原创
2016-08-17 15:50:43
5131阅读
简介GitHub地址：https://github.com/ansible/ansibleAnsible 是一个基于 Python 开发的自动化运维工具。它可以实现配置管理、应用程序部署、网络自动化和多节点编排等功能。还可以使用负载均衡器轻松进行复杂的更改，例如滚动更新。·工作原理在 Ansible 管理体系中，包含管理节点和被管理节点两种角色，被管理节点通常被称为"资产"，主要通过 SSH 来实
前言：本篇主要内容来自以下文章彻底揭秘keep-alive原理 https://github.com/qiudongwei/blog/issues/4 （此文的主要来源）Vue源码解析，keep-alive是如何实现缓存的？ （此文的主要来源）keep-alive实现原理 https://www.jianshu.com/p/9523bb43995
CCD图像传感器工作原理图解
转载
2021-07-19 10:11:29
2350阅读
我们常说的Sensor也就是图像传感器只是整个摄像头模组的一部分，主要负责将接收到的光信号转换成电信号，实际上整个摄像头模组(Camera Compact Module，CCM)由很多部分组成，除Sensor以外的其他模块会负责完成对焦、滤光、减震、数据传输等功能，以便更好地采集图像。 索尼和三星是很多手机厂商颇为青睐的两家摄像头模组供应商，当然，国内也有不少不错的供应商。摄像头模组主要由以下几个
Ajax其实已经使用很久了，但一直也没有时间正经的找本书系统看看，最近时间比较充裕可以好好补习一下了。本系列是基于Ajax和PHP结合进行讲解，主要是想和正在学习或想要学习Ajax的朋友分享下经验。希望大家多多拍砖共同交流。众所周知，Ajax并不是一个新生的语言，它是一系列语言的结合体：HTML/XHTML、CSS、DOM、XML、XSLT、XMLHttp、JavaScript。可以说Ajax涉
转载
2013-03-26 09:51:00
82阅读
2评论
作为一名测试，个人觉得不应该只关注测试的东西，也要适当 了解一些开发或者原理的知识，了解的目的是为了更好的测试，更有目标地进行测试，所以下面会分享一些各处收集回来的知识：1. APP应用启动步骤：（）2. Activity的生命周期（详细说明：http://kb.cnblogs.com/page/70125/）
原创
2013-12-15 15:12:16
446阅读
转自：https://www.cnblogs.com/cb0327/p/5066685.html 正文本文背景，在实际项目中使用git已有一年，发现不少同事虽然会使用常用git指令，但并不理解每个指令对应的作用原理。今天静下心总结下git 的基本理解：代码的存在区域；本文以实际项目出发，理清使用git过程中，代码的迁徙流程。git跟传统的代码管理器（如:svn）不同， 主要区别在于git多了个本地
转载
2018-02-03 00:02:39
1675阅读
一、引言卷积神经网络（Convolutional Neural Network, CNN）是一种深度学习模型，自从LeCun教授在1989年首次提出后，CNN在计算机视觉、自然语言处理等领域取得了显著的成功。本文将介绍CNN神经网络的基本原理，包括卷积层、池化层和全连接层等核心组件，以及如何使用这些组件搭建一个完整的CNN模型。二、CNN基本原理1. 卷积层卷积层是CNN的核心组件之一，其主要功能
转载
2023-09-21 08:17:37
87阅读
数据在Mongodb中是固定框架，但是Collection不强制任何文档结构3数据模型(Data Models)13.1数据模型简介... 23.1.1数据结构... 23.1.1.1引用... 23.1.1.2嵌入数据... 33.1.2 写操作的原子性... 33.1.3文档增长... 33.1.4数据使用和性能... 33.2数据模型概述... 33.2.1数据模型设计... 43
1.1Flink 的源起和设计理念Flink 起源于一个叫作 Stratosphere 的项目，它是由 3 所地处柏林的大学和欧洲其他一些大学在 2010~2014 年共同进行的研究项目，由柏林理工大学的教授沃克尔·马尔科（Volker Markl）领衔开发。 2014 年 4 月， Stratosphere 的代码被复制并捐赠给了 Apache 软件基金会， Flink 就是在此基础上被重新设计
转载
2023-07-27 19:49:42
98阅读
回忆记得刚工作的第一年，在一个市级政府部门驻场，一开发的哥们凑过来问我“兄弟，我那个页面查询数据有点慢，帮我整整呗”“查的啥？SQL给我瞧瞧”“常口的，就是根据身份证号码和姓名去查，有时候一个条件，有时候会有两个条件，咋整？”“额，我先看看，完事叫你”然后套路就来了，身份证和姓名分别建索引，这样任意一个条件都不慌，再加一个身份证和姓名的组合索引，这样两个一起查也不慌，索引建完通知他再试试“整完了，
什么是NFS?network file system 网络文件系统通过网络存储和组织文件的一种方法或机制。为什么要用NFS?前端所有的应用服务器接收到用户上传的图片、文件、视频，都会统一放到后端的存储上。共享存储的好处：方便数据的查找与取出，缺点：存储服务器压力大，坏了丢失全部数据。NFS工作原理NFS功能，有很多服务，每个服务都有自己的端口，并且经常变换。客户端查找这些端口，就需要一个中间人—R
jvm结构及运行原理- Java与jvm那些不得不说的故事Java是一种技术，它由四方面组成：Java编程语言、Java类文件格式、Java虚拟机和Java应用程序接口(Java API)。关系图：运行期环境代表着Java平台，开发人员编写Java代码(.java文件)，然后将之编译成字节码(.class文件)，再然后字节码被装入内存，一旦字节码进入虚拟机，它就会被解释器解释执行，或者是被即时代码
