线上一台web服务器不能正常访问了，检查了一下，tomcat进程还在，就是web不能正常访问，重启一下tomcat恢复正常，查询日志，发现提示内存溢出，如下图：java.lang.OutOfMemoryError: PermGen spacejava.lang.OutOfMemoryError: PermGen space 查找资料了解到：PermGen space的全称是Permane
转载
2024-05-09 22:22:26
12阅读
一、登录注册网址为：https://tryme.openlookeng.io/，进入该网址后可以看到以下界面：可以选择左边的GitHub或者右边的Gitee进行登录，如果没有账号需要注册一个账号进行登录，每个用户有一个openLooKeng集群。示例使用的是GitHub登录，点击左侧按钮可以看到以下界面：二、熟悉界面登陆成功之后可以看到以下界面：该网页主要有四块内容，分别是区域一的功能选择、区域二
原创
2022-06-26 01:17:47
89阅读
./sqoop export --connect jdbc:mysql://192.168.58.180/db --username root --password 123456 --export-dir '/path' --table t_detail -m 用单引号 不保留原有的变量意思 否则如
转载
2017-03-17 17:14:00
102阅读
2评论
目录一、常用命令列举二、命令&参数详解1、公用参数：数据库连接2、公用参数：import3、公用参数：export4、公用参数：hive5、命令&参数：import6、命令&参数：export7、命令&参数：codegen8、命令&参数：create-hive-table9、命令&参数：eval10、命令&参数：import-all-tabl
# HDFS导出到MySQL的全面指南
在现代大数据技术栈中，Hadoop和MySQL经常被一起使用。HDFS（Hadoop分布式文件系统）作为Hadoop的存储组件，具有处理大规模数据的能力，而MySQL则是一个广泛使用的关系型数据库系统，提供了强大的查询能力。因此，将HDFS中的数据导出到MySQL是一个常见的需求。本文将详细介绍如何将HDFS中的数据导出到MySQL，包括代码示例和相关图示
OpenLookeng简介OpenLookeng关键特性OpenLookeng之Connector （待）OpenLookeng之算子下推（待）.....OpenLookeng 我理解其实就是基于异构数据源上的统一查询引擎。这一层其实可以理解为替换掉Hive。实际底层物理存储可以是多种多样的，可以是RDB，HDFS（Hive），GuassDB（OLAP DB），Hbase等等。这样也就同一个了查询
转载
2021-01-16 17:06:44
766阅读
2评论
openGauss为什么要使用多线程架构随着计算机领域多核技术的发展，如何充分有效的利用多核的并行处理能力，是每个服务器端应用程序都必须考虑的问题。由于数据库服务器的服务进程或线程间存在着大量数据共享和同步，而多线程可以充分利用多CPU来并行执行多个强相关任务，例如执行引擎可以充分的利用线程的并发执行以提供性能。在多线程的架构下，数据共享的效率更高，能提高服务器访问的效率和性能，同时维
在《HDFS源码分析DataXceiver之整体流程》一文中我们知道，无论来自客户端还是其他数据节点的请求达到DataNode时，DataNode上的后台线程DataXceiverServer均为每个请求创建一个单独的后台工作线程来处理，这个工作线程就是DataXceiver。并且，在线程DataXceiver处理请求的主方法ru
转载
2024-09-21 06:52:27
71阅读
继上篇OpenLookeng简介，大家对它有了基本了解。这篇文章重点介绍一下OpenLookeng的一些关键特性，便于深入了解它为什么适合这些业务场景。Connector框架openLooKeng 支持 ANSI SQL2003 语法，用户使用 openLooKeng 语法进行查询时，无论底层数据源是 RDBMS 还是 NoSQL 或者其他数据管理系统，借助 openLooKeng 的 Conne
转载
2021-01-16 16:47:32
939阅读
2评论
之前系列已经讲到OpenLookeng的其中一大目标是提供跨多种数据源联合查询的能力，解决跨源大数据分析查询难题。这就依赖于其Connector特性。通过Connector的架构设计，提供了插件式、可配置化的多种数据源接入方式，对外统一为SQL 2003接口，这样对于数据分析师的学习成本就降低了很多。正所谓“分久必合合久必分”。通过SQL 2003提供了所有数据的全局视图
多样的北向接入方式：
转载
2021-01-19 14:37:30
776阅读
2评论
知道办公格式复杂多变PDF、Word、PPT、TXT、CAD一会变一个，特别是遇到这些文件之间的转换，更是遇到不行~ 其实这些文件之间的转换也没有那么困难，关键还是要掌握对方法，具体应该怎么进行操作呢？今天这里就给大家安利分享，最简单的格式转换方法，教你轻松几键，轻松玩转格式转换。 非常的建议大家进行收藏起来，相信人热都会用得到~一、Word转PDFWord转换为PDF文件
转载
2024-04-04 21:30:34
41阅读
pickle模块详解该pickle模块实现了用于序列化和反序列化Python对象结构的二进制协议。 “Pickling”是将Python对象层次结构转换为字节流的过程， “unpickling”是反向操作，从而将字节流（来自二进制文件或类似字节的对象）转换回对象层次结构。pickle模块对于错误或恶意构造的数据是不安全的。pickle协议和JSON（JavaScript Obj
转载
2024-07-08 11:49:43
38阅读
OpenLookeng简介OpenLookeng关键特性OpenLookeng之Connector OpenLookeng之算子下推OpenLookeng之动态查询......场景：典型的星型&雪花型数据仓库，事实表数据量极大，而维表数量多，数据量相对较小，查询很少有谓词直接应用到事实表，事实表的查询条件更多是通过维表相连接得到。这样传统的谓词下推优化很难应用，事实表无法做到有效过滤，几乎
转载
2021-03-09 19:10:41
676阅读
2评论
新春现金红包与免费Linux基金会培训&认证，等你来领！>>>OpenLookeng简介OpenLookeng关键特性OpenLookeng之Connector OpenLookeng之算子下推.....什么是算子下推算子下推其实就是谓词下推概念的扩展。目的就是 将外层查询块的 WHERE 子句中的谓词移入所包含的较低层查询块，从而能够提早进行数据过滤以及有可能更好地利用
转载
2021-02-03 09:43:26
2350阅读
2评论
最近在做一个小任务，将一个CDH平台中Hive的部分数据同步到另一个平台中。毕竟我也刚开始工作，在正式开始做之前，首先进行了一段时间的练习，下面的内容就是练习时写的文档中的内容。如果哪里有错误或者疏漏，希望各位网友能够指出。第一篇：HDFS的上传与下载（put & get）：第三篇：Hive分区表的导入与导出：第四篇：跨平台传输方案： Hive数据的上传/导入1. 前言 上一篇中
转载
2024-02-03 08:47:12
194阅读
使用Adaptive Execution 动态设置Shuffle partition 可控制spark sql小文件问题
.config("spark.sql.adaptive.enabled", "true") // 开启sparksql Adaptive Execution 自动设置 Shuffle Reducer.config("spark.sql.adaptive.shuffle.targ
转载
2021-08-04 14:49:00
1676阅读
2评论
# Java指定内存溢出转储文件的实现
在Java应用程序中，内存溢出是一种常见的错误，通常会导致程序崩溃。为了分析和解决这个问题，我们可以生成一个转储文件（dump file），其中包含了Java虚拟机（JVM）在崩溃时的内存快照。下面，我将为你详细讲解如何在Java中实现指定内存溢出并生成转储文件的流程。
## 流程概述
下面是实现过程中所需的步骤表：
| 步骤 | 描述 |
|---
原创
2024-08-04 06:19:35
162阅读
elease_date_10' select release_date from item limit 10; insert
原创
2023-04-20 16:42:20
173阅读
在这篇博文中，我将分享如何将 SQL 语句执行的结果输出到 HDFS (Hadoop Distributed File System) 并存储到 MySQL 中的过程。从初步问题分析到解决方案的实施，我们将涵盖各个方面。
### 问题背景
随着业务发展，数据分析需求日增。我们需要通过 SQL 查询结果生成数据导出并存储到 HDFS，以便后续分析处理。实现这个过程不仅可以提高数据查询的效率，还可
文章目录核心设计数据块数据复制HDFS副本存放策略Hadoop心跳机制安全模式原理剖析HDFS工作机制NameNode工作机制DataNode工作机制SecondaryNamenode工作机制HDFS的HA运行机制 核心设计数据块HDFS上最基本的存储单位，默认大小128M，小于一个块大小的文件不会占据整个块的空间，快非常适合用于数据备份进而提供数据容错能力和可用性。数据复制HDFS为了做到可靠
