HDFS读写流程HDFS的简介 HDFS是Hadoop Distribute File System 的简称，意为：Hadoop分布式文件系统。是Hadoop核心组件之一,允许使用简单的编程模型在大量廉价的机器上对大数据集进行处理,是作为最底层的分布式存储服务而存在。HDFS的写流程datanode先向namenode汇报自身情况,默认时间3s,如果超时,namenode就会认为datanode已
转载
2024-02-17 19:46:33
50阅读
这是一篇开发自辩甩锅稿~~~~昨天测试小姐姐将我的一个bug单重开了，emmmm....内心OS：就调整下对象某个属性类型这么简单的操作，我怎么可能会出错呢，一定不是我的锅！！but再怎么抗拒，bug还是要改的，毕竟晚上就要发版本了~~老老实实将我前天改的部分跟了一遍，恩，完美，没有任何的缺失~~but本应success的测试数据，接口返还的结果确实是false来着，那还是老老实实debug吧。一
转载
2024-10-28 12:19:26
8阅读
# 使用 Spark 将数据入库 HDFS 的实用指南
## 引言
随着大数据的快速发展，Hadoop和Spark已经成为数据处理和分析的重要工具。Spark提供了强大的数据处理能力，而HDFS（Hadoop分布式文件系统）则作为存储解决方案，使得数据处理更加高效。本文将深入探讨如何使用Spark将数据存入HDFS，并通过示例代码和图示来帮助理解。
## 一、环境准备
使用Spark将数据
原创
2024-10-17 11:23:07
35阅读
在计算机中，所有的数据在存储和运算时，都要使用二进制数表示（因为计算机用高电平和低电平分别表示1和0)ASCII码ASCII 码使用指定的7 位或8 位二进制数组合来表示128 或256 种可能的字符。标准ASCII 码也叫基础ASCII码，使用7 位二进制数（剩下的1位二进制为0）来表示所有的大写和小写字母，数字0 到9、标点符号， 以及在美式英语中使用的特殊控制字符。 0～31及127(共3
入库与入仓HDFS与Hive
在大数据领域中，HDFS和Hive是两个重要的组件，它们分别负责数据存储和数据管理。本文将介绍HDFS和Hive的概念以及它们之间的关系，并提供相关的代码示例。
首先，让我们了解一下HDFS和Hive的概念。
HDFS（Hadoop Distributed File System）是Hadoop生态系统中的一部分，它是一个分布式文件系统，专门用于存储大规模数据。
原创
2023-12-23 08:32:54
53阅读
一、接口批量执行1、点击postman左侧Collections下面有个添加文件夹图标，就可以创建测试项目 2、该目录下还可以创建子目录，进行测试用例的细分 3、创建测试用例。 创建接口测试用例，即新建http请求，选择请求方式、写好url、请求头、请求体4、设置变量postman的变
转载
2024-03-27 07:27:20
245阅读
需求： 有本地csv格式的一个文件，格式为${当天日期}visit.txt,例如20180707visit.txt，现在需要将其通过spark-sql程序实现将该文件读取并以parquet的格式通过外部表的形式保存到hive中，最终要实现通过传参的形式，将该日期区间内的csv文件批量加载进去，方式有两种：
转载
2023-07-24 11:46:19
175阅读
由于sqoop需要通过MR才能把数据从一个数据库导出到另外一个数据库，所以需要启动hdfs和yarn
1.启动 hdfs 集群：（在主节点的机器上执行）
cd /root/hadoop/sbin
./start-dfs.sh
2.启动yarn集群：（在主节点的机器上执行）
cd /root/hadoop/sbin
./start-yarn.sh
3.停止 hdfs
转载
2024-06-17 19:13:44
119阅读
一、这种方式有很多的优点：1. 如果我们一次性入库hbase巨量数据，处理速度慢不说，还特别占用Region资源， 一个比较高效便捷的方法就是使用 “Bulk Loading”方法，即HBase提供的HFileOutputFormat类。2. 它是利用hbase的数据信息按照特定格式存储在hdfs内这一原理，直接生成这种hdfs内存储的数据格式文件，然后上传至合适位置，即完成巨量数据快速入库的办法
转载
2023-07-12 18:27:40
137阅读
Storm实时数据处理 一，storm概念 Storm是一个分布式的，可靠的，容错的数据流处理系统。它会把工作任务委托给不同类型的组件，每个组件负责处理一项简单特定的任务。Storm集群的输入流由一个被称作spout的组件管理，spout把数据传递给bolt， bolt要么把数据保存到某种存
下面主要介绍数据库批量操作数据（主要是 Insert）的方法，涉及 SQL Server、DB2、MySQL 等。SQL Server首先，准备工作，新建一个数据库实例create database Stu_Sqh在数据库实例中新建一张数据表：学生信息表1 CREATE TABLE [dbo].[StudentInfo](
2 [NAME] [varchar](20) NOT N
转载
2024-01-18 14:33:08
85阅读
MySQL批量SQL插入各种性能优化对于一些数据量较大的系统，数据库面临的问题除了查询效率低下，还有就是数据入库时间长。特别像报表系统，每天花费在数据导入上的时间可能会长达几个小时或十几个小时之久。因此，优化数据库插入性能是很有意义的。 经过对MySQL innodb的一些性能测试，发现一些可以提高insert效率的方法，供大家参考参考。1. 一条SQL语句插入多条数据。常用的插入语句如
转载
2024-05-28 10:03:56
23阅读
PostgreSQL是一个功能强大的开源对象关系数据库管理系统(ORDBMS)，在开源数据库使用上与MySQL各领风骚。但也有不少人质疑postgresql的未来，正所谓，赞扬或批判一种数据库都必须先了解它，然后才可有话语权。为了更多的了解postgresql,我们就先部署一套实例作为了解它的基础。 一 、 环境介绍操作系统： centosCPU: 4核内存： 16Gpost
postgresql中类似IFNULL用法COALESCE('字段','字段')
SELECT FName,FBirthDay,FRegDay,
COALESCE(FBirthDay,FRegDay,'2008-08-08') AS ImportDay
FROM T_Person
复制代码值类型转换CAST('1' as int)复制代码postgresql 类似 find_in_se
转载
2021-01-22 20:58:50
825阅读
2评论
1 主要区别1.1、Hbase适合大量插入同时又有读的情况1.2、 Hbase的瓶颈是硬盘传输速度，Oracle的瓶颈是硬盘寻道时间。Hbase本质上只有一种操作，就是插入，其更新操作是插入一个带有新的时间戳的行，而删除是插入一个带有插入标记的行。其主要操作是收集内存中一批数据，然后批量的写入硬盘，所以其写入的速度主要取决于硬盘传输的速度。Oracle则不同，因为他经常要随机读写，这样硬盘磁头需要
转载
2023-08-02 16:05:29
105阅读
水淼MYSQL文章入库助手是水淼软件推出的一款MySQL文档导入导入工具，可以将任意格式的文档导入到MySQL数据库中，也可以将文档以 txt或html格式文件导出，自带简单的MySQL管理器，支持sql查询、删除数据库和数据表等功能，是您使用MySQL管理本地文章文档的得力助手。使用说明一、导入文章到 MySQL 数据库1、在导入前，请设置好导入的文章目录和MySQL数据库登录信息。导入时按住C
转载
2023-06-01 09:35:07
217阅读
目录： 1，背景 2，GC 3，hbase cache 4，compaction 5，其他 1，背景 项目组中，hbase主要用来备份mysql数据库中的表。主要通过接入mysql binlog，经storm存储到hbase。由于是实时接入binlog写入，写的压力不是很大，主要是晚上离线计算的时候，需要将hbase中的表同步到HDFS中，这个
转载
2023-07-20 23:35:57
93阅读
马路上有行车标识，高速公路上有路径标识……，这些标识主要以简短的文字和简画的图形组成，代表着一些特殊的概念，便于统筹管理。并且不同的行业有不同的标识，有其行业的特殊性。 仓库管理也不例外，在仓库管理中，越来越多的企业会利用标识来对货架及空间进行划分，便于仓库管理人员针对性管理。同时，也会利用一些警示性标识规范仓库作业人员的行为(例如，火警标识)，保障仓库的安全。一般来说，根据货品的特性
转载
2024-01-10 14:18:34
58阅读
## Docker中的PostgreSQL数据库管理
在现代软件开发中，数据库是一个不可或缺的组成部分。而在使用数据库时，为了方便管理和部署，我们通常会使用Docker进行容器化。本文将介绍如何使用Docker来管理PostgreSQL数据库，并通过代码示例演示其用法。
### 什么是Docker？
Docker是一个开源的容器化平台，可以将应用程序和其依赖项打包到一个标准化的单元中，称为容
原创
2024-01-04 12:18:42
256阅读
# MySQL 立即入库与延时入库
在数据库管理中，数据的写入方式会直接影响系统的性能和响应速度。MySQL作为一种流行的关系数据库管理系统，提供了两种主要数据存储方式：立即入库和延时入库。了解这两种方式的优缺点及其适用场景对于开发者而言是至关重要的。
## 立即入库
立即入库（Synchronous Insert）是指在数据插入操作发起后，数据库会立即处理该操作，并确保数据在完成后才返回响
原创
2024-09-18 05:23:40
138阅读
