RDBMS数据定时采集到HDFS
原创
2018-04-07 22:33:38
3335阅读
点赞
4评论
基础 SQL 一条一条的独立的sql语句。 update my_table set money=100 where name = 'phyger'; 事务 一条一条的独立
原创
2023-11-28 11:41:31
70阅读
$ORACLE_HOME/oui/bin/runInstaller-silent-cloneORACLE_BASE="/paic/xqd/nets2/data/app/oracle"ORACLE_HOME="/paic/xqd/nets2/data/app/oracle/product/12.1.0"ORACLE_HOME_NAME="oracle
原创
2018-07-04 18:51:29
544阅读
数据清洗创建项目1、第一步导入json2、上传csv表格至hdfs3、创建hdfs文件夹4、上传表格5、清理库6、修改interpreter7、创建原始数据表并且上传csv文件数据问题分析.表格处理问题1：8001-8100数据的有重复问题2：过滤掉store_review中没有评分的数据问题3：credit_no的加密问题4：transaction数据按照日期YYYY-MM做分区
csv处理
转载
2023-07-14 16:00:05
94阅读
不多说，直接上代码。 代码版本1 1 package zhouls.bigdata.myWholeHadoop.HDFS.hdfs6
转载
2024-05-30 12:14:25
57阅读
# 将数据从 HDFS 导入 Hive 的方法
在大数据处理的工作流中，将数据从 HDFS(分布式文件系统)导入 Hive(数据仓库工具)是常见的操作之一。本文将详细介绍整个流程，包括每一步的具体实现以及所需的代码。
## 整体流程概述
在实现“将数据从HDFS导入Hive”的过程中，通常会经历以下几个步骤：
| 步骤 | 描述 |
| ---- | ---- |
| 1. 准备数据 |
文章目录NOSQL的概念NOSQL和RDBMS的区别redisredis简介redis的优点安装redis下载并且解压开启redis服务使用redis客户端连接redis服务器redis配置文件 NOSQL的概念NOSQL（Not only sql）:不仅是sql语句， 它是对所有非关系型数据库的一种统称。 除去关系型数据库之外的都是非关系数据库。NOSQL和RDBMS的区别RDBMS - 高度
转载
2024-10-22 19:59:44
16阅读
Linux操作系统一直以其稳定性和安全性而闻名，许多企业选择在Linux上部署其关键业务系统。而Oracle RDBMS（关系数据库管理系统）作为企业级数据库管理解决方案，也得到了众多企业的信赖和选择。在Linux上部署Oracle RDBMS，红帽（Red Hat）作为领先的Linux发行版之一，为企业提供了强大的支持和解决方案。
Linux和Oracle RDBMS的结合，为企业提供了高性能
原创
2024-05-08 11:07:46
81阅读
一、什么是OLAPOLAP（On-line Analytical Processing，联机分析处理）是在基于数据仓库多维模型的基础上实现的面向分析的各类操作的集合。hadoop hive hbaseck flinkredis esGoogle三驾马车： GFS => HDFS Mapreduce => Mapreduce BigTable => Hbase其中，HDF+Mapr
转载
2024-01-26 23:03:42
43阅读
一. 概述在大数据的静态数据处理中，目前普遍采用的是用 Spark + Hdfs （Hive / Hbase） 的技术架构来对数据进行处理。但有时候有其他的需求，需要从其他不同数据源不间断得采集数据，然后存储到 Hdfs 中进行处理。而追加（append）这种操作在 Hdfs 里面明显是比较麻烦的一件事。所幸有了 Storm 这么个流数据处理这样的东西问世，可以帮我们解决这些问题。不过光有 Sto
转载
2024-02-27 16:55:50
78阅读
使用帮助Sqoop help 查看所有的sqoop的帮助Sqoop help import 查看import命令的帮助 Eg: sqoop导入到HDFS的一个简单示例:sqoop import--connect jdbc:mysql://192.168.56.121:3306/metastore--username hiveuser--password redhat--table TBL
转载
2023-11-13 13:12:59
177阅读
本文档从源码角度分析了，hbase作为dfs client写入hdfs的hadoop sequence文件最终刷盘落地的过程。 之前在《wal线程模型源码分析》中描述wal的写过程时说过会写入hadoop sequence文件，hbase为了保证数据的安全性，一般都是写入同为hadoop生态的hdfs(Hadoop Distribute File System)中。append的最终结果是使用w
转载
2023-08-28 16:18:40
104阅读
本节开始将花2-3个章节介绍分布式数据库HBase。1. HBase介绍1.1 ＨBase定义HBase是一个高可靠、高性能，面向列、可伸缩的分布式数据库，是谷歌BigTable的开源实现，主要用来存储非结构化和半结构化的松散数据。 HBase的目标是处理非常庞大的表，可以通过水平扩展的方式，利用廉价计算机集群处理由超过10亿行数据和数百万列元素组成的数据表 。1.2 HBase底层技术技术HB
转载
2024-02-26 17:43:30
43阅读
P573 从mysql导入数据到hdfs 第一步：在mysql中创建待导入的数据 1、创建数据库并允许所有用户访问该数据库 mysql -h 192.168.200.250 -u root -pCREATE DATABASE sqoop;
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%'; 或
转载
2024-08-10 22:39:07
38阅读
下文将重点说明通过Sqoop实现Mysql与HDFS互导数据，Mysql与Hbase,Oracle与Hbase的互导最后给出命令。
一、Mysql与HDFS互导数据
环境： Mysql安装在宿主机上，宿主机地址为192.168.10.50
3台虚拟机操作系统为CentOS 位
Hadoop，并实现免密钥互访，配hosts为： 192.168.10.50 master
转载
2023-11-08 21:39:55
64阅读
如何将 Mysql 数据写入 Kafka 呢？我们可以使用一个小工具。。。
一. 概述在大数据的静态数据处理中，目前普遍采用的是用Spark+Hdfs（Hive/Hbase）的技术架构来对数据进行处理。但有时候有其他的需求，需要从其他不同数据源不间断得采集数据，然后存储到Hdfs中进行处理。而追加（append）这种操作在Hdfs里面明显是比较麻烦的一件
转载
2023-10-10 13:52:56
95阅读
不算两种方法 就是一种使用变量写配置 然后打包jar到服务器运行 另一种加载xml配置文件 使用idea本地运行贴代码/**
* 作者:Shishuai
* 文件名：HBase2HDFS
* 时间：2019/8/17 16:00
*/
package com.qf.mr;
import cn.qphone.mr.Demo1_HBase2HDFS;
import org.apache.h
转载
2023-08-18 21:57:50
100阅读
## 如何使用Spark将数据写入HDFS
### 1. 流程概述
首先，让我们看一下完整的流程。在这里，我将使用一个表格展示每个步骤：
| 步骤 | 操作 |
| --- | --- |
| 1 | 创建SparkSession对象 |
| 2 | 读取数据 |
| 3 | 处理数据 |
| 4 | 将数据写入HDFS |
### 2. 具体操作
#### 步骤一：创建SparkSes
原创
2024-06-09 03:26:56
129阅读
# HDFS文件到Hive数据导入指南
作为一名刚入行的开发者，你可能会遇到需要将HDFS上的文件导入到Hive中进行分析和处理的情况。本文将为你提供一个详细的指南，帮助你理解整个过程，并教会你如何实现这一操作。
## 流程概述
首先，让我们通过一个表格来概述整个HDFS文件到Hive的导入流程：
| 步骤 | 描述 |
| --- | --- |
| 1 | 创建Hive表 |
| 2
原创
2024-07-23 07:05:01
28阅读
MySQL备份到HDFS的描述
在大数据时代，MySQL作为传统关系型数据库，与Hadoop生态系统中的HDFS（Hadoop分布式文件系统）结合，成为数据保护的重要策略。将MySQL的数据备份到HDFS中，不仅能有效提升数据的安全性，还能便于后续的分析、处理和恢复。因此，本文将系统性地记录如何实现MySQL备份到HDFS的完整过程，涵盖备份策略、恢复流程、灾难场景、工具链集成、验证方法和扩展阅
