一、hive是什么东东 1. 个人理解
hive就是一个基于hdfs运行于MapReduce上的一个java项目,
这个项目封装了jdbc,根据hdfs编写了处理数据库的DDL/DML,自带的
二进制包内嵌Derby数据库,且默认使用Derby,简而言之,hive就是一个
帮助我们处理/分析数据的工具,不过这个工具却像namenode一样存储了
转载
2024-08-05 13:31:26
20阅读
文章目录1 前言2 安装部署方式对比3 组成架构对比4 基本操作对比4.1 数据读写操作4.2 数据查询操作5 HBASE在滴滴出行的应用场景和最佳实践5.1 订单事件5.2 司机乘客轨迹5.3 ETA5.4 监控工具DCM5.5 小结6 网易考拉基于KUDU构建实时流量数仓实践6.1 实时流/业务数据写入6.2 写入性能测试6.3 小结7 携程CLICKHOUSE日志分析实践7.1 消费数据到
转载
2023-11-28 10:45:38
229阅读
1）今天为程序添加了一段DB2的脚本，运行失败了。原来DB2有些语法跟ORACLE还不一样。修改字段长度或类型：ORACLE ：ALTER TABLE NODES MODIFY NODE_NAME varchar(32);DB2 ：alter table NODES ALTER NODE_NAME SET DATA TYPE v
转载
2024-01-22 06:27:11
102阅读
背景SQLSERVER数据库中单表数据几十亿，分区方案也已经无法查询出结果。故：采用导出功能，导出数据到Text文本(文本>40G)中。因上原因，所以本次的实验样本为：【数据量：61w条，文本大小：74M】选择DataX原因试图维持统一的异构数据源同步方案。（其实行不通）试图进入Hive时，已经是压缩ORC格式，降低存储大小，提高列式查询效率，以便后续查询HIVE数据导入KUDU时提高效率（
转载
2023-11-18 22:05:57
53阅读
文章目录1、创建数据库2、查询数据库3、修改数据库4、删除数据库5、创建表5.1 语法5.2 管理表5.3 外部表5.4 管理表与外部表的互相转换6、修改表6.1 重命名表6.2 增加、修改和删除表分区6.3 增加/修改/替换列信息7、删除表8、清除表 1、创建数据库CREATE DATABASE `db_hive1`
[COMMENT database_comment] --库的注释
转载
2023-11-02 12:44:33
66阅读
简单的创建表create table table_name (
id int,
dtDontQuery string,
name string
) 创建有分区的表create table table_name (
id int,
dtDontQuery
转载
2023-07-12 21:05:07
192阅读
# DB Hive 驱动包科普文章
Apache Hive 是一个用于数据仓库的开源项目，能够让用户通过 SQL 进行大数据的查询和分析。要与 Hive 进行互动，开发者通常需要使用 Hive 的 JDBC 驱动包。本文将详细介绍 Hive 驱动包的基本概念以及如何在 Java 中使用它进行数据查询，最后附上一个状态图以帮助理解。
## 什么是 Hive 驱动包？
Hive 驱动包是一个用于
HIVE 总结 三 Hive DDL数据定义本篇总结hive的数据定义,也就是表,库相关的操作命令关于hive的介绍,安装在前面两篇文章里面 文章目录HIVE 总结 三 Hive DDL数据定义1.建库2.库的查询,修改,删除3.建表4.表的修改,删除,清除5.内部表(管理表)和外部表的区别 1.建库语法CREATE DATABASE [IF NOT EXISTS] database_name
[
一、MySQL 数据库 1、MySQL 和 Oracle 区别 2、启动数据库 service mysqld start 登录：使用 root 用户 mysql -uroot -p 密码没有密码： mysql -uroot 3、关系型数据库和 NoSQL 最大的区别：事务 (*) 事
转载
2024-03-12 12:46:28
90阅读
1.列存储和行列混存 数据在磁盘中按照列的方式进行组织和物理存储。行存储架构和列存储架 构的数据库分别适用于不同的应用，具备各自的优劣势，如下图所示。列存储 架构对查询、统计和分析类操作具备天然的优势。例如，在分析系统中对 100 列的业务表进行分析查询，对该业务表列的引 用一般不超过 10 个。对 I/O 是主要瓶颈的分析系统而言，相较于传统的行式数 据库，列式存储技术可
目录一、连接Hive说明步骤二、连接Phoenix 一、连接Hive说明直接使用bin/hive 进去hive操作hive着实不方便，所以这里采用 DBeaver 可视化软件连接hive。 需要该软件可以直接去官网下，或者直接找我要也OK。步骤打开软件以后选择HIVE，双击：填主机，用户名，然后点击编辑驱动设置点击添加工件弹出一个窗口以后去Maven搜索去Maven搜索回到DBeaver软件输入
转载
2023-09-20 04:39:13
135阅读
Beeline – 命令行ShellHiveServer2支持命令行工具Beeline， Beeline是一个基于SQLLine CLI的JDBC客户端。 SQLLine的使用规则也适用于Beeline。Beeline shell 既可以在本地模式下工作，也可以在远程模式下工作。在本地模式下，运行本地的Hive(类似于Hive CLI)，而远程模式用于通过Thrift连接到单独的HiveServe
转载
2024-03-05 17:39:15
476阅读
我想从安全性和数据量这两个方面进行阐述。mongodb与mysql命令对比 传统的关系数据库一般由数据库(database)、表(table)、记录(record)三个层次概念组成，MongoDB是由数据库(database)、集合(collection)、文档对象(document)三个层次组成。MongoDB对于关系型数据库里的表，但是集合中没有列、行和关系概念，这体现了模式自由的特点。Mon
转载
2023-11-25 05:48:38
95阅读
目录一.数据库（DB）1.数据库的优点2.数据库存储数据的特点二.数据库管理系统（DBMS）三.MySQL1.MySQL的优点2.MySQL的缺点3.使用MySQL四.SQL1.SQL的优点2.分类3.语法规范五.联系一.数据库（DB）数据库（database）：保存有组织的数据的容器，通常是一个文件或一组文件。数据库就相当于一个仓库，用于有组织的采存储数据。1.数据库的优点整体数据结构化数据的共
转载
2023-08-08 07:47:08
426阅读
2、Hive的基本操作2.1 Hive库操作2.1.1 创建数据库1)创建一个数据库，数据库在HDFS上的默认存储路径是/hive/warehouse/*.db。create database testdb;2)避免要创建的数据库已经存在错误，增加if not exists判断。(标准写法)create database if not exists testdb;2.2.2 创建数据库和位置cre
转载
2023-09-07 10:51:16
171阅读
hive建库建表与数据导入 5.1. 建库 hive中有一个默认的库： 库名： default 库目录：hdfs://hdp20-01:9000/user/hive/warehouse新建库： create database db_order; 库建好后，在hdfs中会生成一个库目录： hdfs://hdp20-01:9000/user/hive/warehouse/db_order.db5.2.
转载
2024-02-20 16:52:33
103阅读
数据库和数据仓库，虽然名字只有一点点不同，但是性质却有很大的区别。数据仓库是什么？数据仓库是为企业制定各个级别的决策，可以提供各种数据类型支持的战略集合。 它们两种之间的区别，就由我来给大家介绍一下吧。1. 存储数据位置众所周知，Hive是Hadoop生态圈中不可缺少的一部分。Hive的元数据存储在自带的derby数据库中，可它实际的数据存储在HDFS上。 可数据库的数据存储在块设备上或者本地文件
转载
2023-09-10 20:52:17
139阅读
一、MR输出时合并小文件 参数设置 含义 set hive.merge.mapfiles=true; 默认值ture,在Map-only的任务结束时合并小文件 set hive.merge.mapredfiles=true; 默认值false,在Map-Reduce的任务结束时合并小文件 s
转载
2024-08-16 13:14:52
107阅读
## Redis 分db和不分db的实现
### 1. Redis 分db和不分db的概念
在Redis中，分db和不分db指的是是否使用多个数据库来存储数据。默认情况下，Redis只使用一个数据库，即db0。但是，Redis提供了多个数据库的支持，可以通过分配不同的数字来使用不同的数据库，例如db1、db2等等。每个数据库都是相互独立的，拥有自己的键值对集合。
### 2. 分db和不分d
原创
2023-09-06 16:04:42
262阅读
阅读目录
一 简介二 MongoDB基础知识三 安装四 基本数据类型五 CRUD操作六 可视化工具七 pymongo 一 简介MongoDB是一款强大、灵活、且易于扩展的通用型数据库1、易用性 MongoDB是一个面向文档（document-oriented）的数据库，而不是关系型数据库。
不采用关系型主要是为了获得更好得扩展性。当然还有一些其他好处
