香山上的麻雀的博客_Yarn,Spark,MapReduce,Hive,Hbase,Hadoop,其他大数据,sqoop,Flink,爬虫

Word打字很卡顿 Office打字时反应慢延迟 Excel输入迟钝 PPT卡死的终极解决办法大全（24种方法）

下面就来分享一下处理 Word 文档卡顿 Excel 表格缓慢的一些方法。

word

excel

powerpoint

加载

输入法

转载 2022-11-12 00:31:32 1240 阅读

【Excel学习】Excel 制作2个维度的折线图

Excel学习笔记

excel

学习

数据

字段

折线图

原创 2022-11-05 11:41:01 486 阅读

Excel里实现 sum(case when xxx then xxx else xxx end)的用法

【代码】Excel里实现 sum(case when xxx then xxx else xxx end)的用法。

Excel

sql

函数实现

原创 2022-09-10 00:19:44 702 阅读

正则表达式不以特定字符开头的行或者不包含特定字符串的行

比如匹配不以a开头的结果作为定位符时, 表示字符串的开始, 表示字符串的结束,不以Lua 或者 Java开头的行：

正则表达式

lua

字符串

java

原创 2022-09-05 15:07:49 1904 阅读

spark sql 的 hints 语法【官网摘抄】

sparksql的hints语法【官网摘抄】

spark

sql

大数据

sed

ide

转载 2022-07-24 00:14:59 399 阅读

Blink 任务运行报错

Blink 任务总是报错java.lang.Exception: Exception while creating StreamOperatorStateContext. at org.apache.flink.streaming.api.operators.StreamTaskS

flink

java

apache

原创 2022-04-30 17:35:49 638 阅读

$【Linux】文件，每行内容按“\t“切割，筛选出内容包含“；“ 的或者切割后字段数小于16的行$

【Linux】文件，每行内容按“\t“切割，筛选出内容包含“；“ 的或者切割后字段数小于16的行

答案：cat file.txt | awk -F "\t" '{if(NF<16 || index($0,";")) print $0}'这里用到了awk工具。主要用到了以下知识点：-F参数：指定分隔符，可指定一个或多个awk中的内置变量常用字符串函数awk的if语句...

shell

分隔符

if语句

字符串函数

原创 2022-04-22 14:42:29 285 阅读

CentOS 7.X yum install没有可用软件包

已加载插件：fastestmirror, langpacksLoading mirror speeds from cached hostfilebase: mirrors.aliyun.comextras: mirrors.aliyun.comupdates: mirrors.dgut.edu.cn没有可用软件包 htop。错误：无须任何处理遇见这种情况，先执行：sudo yum install

centos

加载

安装包

转载 2022-04-20 16:51:32 2906 阅读

StarRocks 如何获取profile

1通过 set is_report_success=true 可以打开profile的上报。2在MySQL客户端中执⾏你的sql语句：3打开浏览器，社区版⽤⼾在 //:FE_IP:FE_HTTP_PORT/query 可以看到当前的查询和Profile信息：进⼊然后复制profile信息...

StarRocks

mysql

sql语句

客户端

原创 2022-04-15 15:04:11 365 阅读

理解flume hdfs sink round 和roll

我们在配置flume hdfs sink 的时候注意这两个配置项，比如：collector1.sinks.sink_hdfs.hdfs.rollSize = 2048000000 collector1.sinks.sink_hdfs.hdfs.rollCount = 0 collector1.sinks.sink_hdfs.hdfs.rollInterval = 21600collecto...

hdfs

java

flume

hadoop

spark

原创 2022-03-31 09:37:44 313 阅读

sparkStreaming的checkpoint往hdfs保存时权限异常问题解决办法

hdfs本身是没有身份认证的，但是为了防止用户误操作，它也有类似linux的文件权限限制我在IDE里开发程序连接hdfs因为本机名和的文件所属用户名不同导致没有读取权限，错误异常堆栈如下：Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: use...

java

linux

hadoop

数据库

mysql

原创 2022-03-31 09:36:43 68 阅读

Job aborted due to stage failure: Task not serializable

If you see this error:org.apache.spark.SparkException: Job aborted due to stage failure: Task not serializable: java.io.NotSerializableException: ...The above error can be triggered when you intial...

spark

java

大数据

apache

tomcat

原创 2022-03-31 09:36:33 1550 阅读

ScalikeJDBC的基本操作方法

最近做一个SparkStreaming的小项目，需要将数据存到mysql数据库，在scala中有一个基于SQL的数据库访问库就是scalikeJDBC，使用方法如下：简介：ScalikeJDBC是Scala开发人员基于SQL的简洁数据库访问库。该库自然包装JDBC API，为您提供易于使用且非常灵活的API。更重要的是，QueryDSL使您的代码类型安全且可重用。ScalikeJDBC...

mysql

java

数据库

mybatis

jdbc

原创 2022-03-31 09:36:23 207 阅读

Sqoop使用指南总结

Sqoop是一个用于在Hadoop和关系型数据库（Oracle，Mysql...）间数据传递的开源工具。下面以Oracle为例，介绍使用sqoop将数据从Oracle导入到Hadoop中（HDFS、Hive和HBase）。1.导入命令及参数介绍命令格式$ sqoop import (generic-args) (import-args)$ sqoop-import (generic-arg...

数据库

python

sqoop

java

大数据

原创 2022-03-31 09:36:16 161 阅读

HDFS Quotas Guide（HDFS配额指南）

HDFS Quotas Guide官网链接2.9.2版本HDFS Quotas Guide官网链接2.7.1版本简介：Hadoop提供两种配额（quota）模式，name quota和space quota。name quota限制路径的文件（含文件夹）数目，space quota限制的”磁盘”占用空间。可以通过此功能实现团队的存储使用管理。使用方法Set the name quota ...

java

大数据

hadoop

python

linux

原创 2022-03-31 09:36:11 475 阅读

任务调度框架Oozie学习笔记

目录1. 工作流调度框架Oozie功能初步认识2. 几种调度框架讲解3. Oozie 功能架构及三大Server讲解4. Oozie安装部署5. Oozie案例运行MapReduce Wordflow讲解6. 如何定义OoozieWorkflow讲解7...

hadoop

xml

mapreduce

原创 2022-03-31 09:36:10 442 阅读

Sqoop--源数据含有默认换行符导致的数据不正确

问题描述使用sqoop导数导到hdfs中，使用Hive查询发现数据多了，并且有数据错位的现象。原因源数据中有'\n'换行符，导致被hive识别为换行符。所以出现了记录多并且数据错位的现象。解决方法使用sqoop命令时加入：--hive-drop-import-delims例如：sqoop import \ --connect ${CONNECT} \ --username ${...

java

hive

python

数据库

mysql

原创 2022-03-31 09:36:02 258 阅读

Flume的Source技术选型

项目技术背景将data路径下所有日志文件通过Flume采集到HDFS上五分钟一个目录，一分钟形成一个文件技术选型flume中有三种可监控文件或目录的source，分别为exec、spooldir、taildirexec：可通过tail -f命令去tail住一个文件，然后实时同步日志到sink，这种方式可能会丢数据详情可见官网说明官网截图spooldir：可一个目...

flume

hadoop

大数据

hdfs

hive

原创 2022-03-31 09:35:55 250 阅读

Spark内核原理groupByKey、reduceByKey算子内部实现原理

一般来说，在执行shuffle类的算子的时候，比如groupByKey、reduceByKey、join等。

数据

网络传输

归约

原创 2022-03-31 09:35:48 327 阅读

MySQL的事务隔离级别

一、事务的基本要素（ACID）原子性（Atomicity）事务开始后所有操作，要么全部做完，要么全部不做，不可能停滞在中间环节。事务执行过程中出错，会回滚到事务开始前的状态，所有的操作就像没有发生一样。也就是说事务是一个不可分割的整体，就像化学中学过的原子，是物质构成的基本单位。一致性（Consistency）事务开始前和结束后，数据库的完整性约束没有被破坏。比如A向B转账，不可能A扣...

数据库

mysql

java

sql

redis

原创 2022-03-31 09:28:18 98 阅读

Hadoop切分纯文本时对某一行跨两个分片这种情况的处理

hdfs写入文件需要把大文件分割成多个块，那么有可能会把文件的某一个行分成在不同的块中；这是一个出现分块

hadoop

java

mapreduce

大数据

hdfs

原创 2022-03-28 18:09:17 239 阅读

Arraylist和Linkedlist的区别

Arraylist：底层是基于动态数组，根据下表随机访问数组元素的效率高

链表

指针

java

数据结构

python

原创 2022-03-28 18:07:45 73 阅读

Sqoop全量数据导入、增量数据导入、并发导入

Sqoop支持两种方式的全量数据导入和增量数据导入，同时可以指定数据是否以并发形式导入。

数据库

hive

java

大数据

mysql

原创 2022-03-28 18:07:31 1270 阅读

理解Hive开窗函数（窗口函数）

一.原始数据jack,2017-01-01,10 tony,2017-01-02,15 jack,2017-02-03,23 tony,2017

hive

大数据

数据分析

python

sql

原创 2022-03-28 18:07:15 470 阅读

Hive参数配置及数据类型

1．查看当前所有的配置信息hive>set;2．参数的配置三种方式（1）配置文件方式默

java

hive

大数据

python

hadoop

原创 2022-03-28 18:07:03 5125 阅读

HDFS的Block数据balancer重分布实战

Hadoop的HDFS集群在使用一段时间后，各个DataNode节点的磁盘使用率肯定会出现不平衡的情况，也就是数据量层面的数据倾斜，如图：引起这种情况的方式很多：1. 添加新的Datanode节点2. 人为干预将数据的副本数降低或者增加我们都知...

hdfs

数据

.net

原创 2022-03-28 18:06:54 441 阅读

Hive数据导入与导出

1.向表中装载数据（Load）基本语法hive>load data local inpath '/opt/module/datas/student.txt' [overwrite] into table student [partition (partcol1=val1,…)];（1）load data:表示加载数据（2）local:表示从本地加载数据到hive表；否则从H...

hive

mysql

数据仓库

sqoop

java

原创 2022-03-28 18:06:35 613 阅读

Kafka总结大全

KafkaKafka是最初由Linkedin公司开发，是一个分布式、支持分区的（pa时系统、storm/Spark流式处理引擎...

kafka

数据

zookeeper

原创 2022-03-28 18:02:59 242 阅读

Flume 消息重复情况分析

Flume提供至少一次保证，事件至少被存储一次。有些场景

java

大数据

python

数据库

redis

原创 2022-03-28 18:02:34 854 阅读

spark 的createDstream和createDirectStream区别

spark读取kafka数据流提供了两种方式createDstream和createDirectStrea，利用的是...

kafka

大数据

spark

java

数据库

原创 2022-03-28 18:02:27 61 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

开源基础软件社区	51CTO学堂
51CTO	软考资讯	汽车开发者社区

51CTO博客

Cheng Yanan的博客

Word打字很卡顿 Office打字时反应慢延迟 Excel输入迟钝 PPT卡死的终极解决办法大全（24种方法）

【Excel学习】Excel 制作2个维度的折线图

Excel里实现 sum(case when xxx then xxx else xxx end)的用法

正则表达式不以特定字符开头的行或者不包含特定字符串的行

spark sql 的 hints 语法【官网摘抄】

Blink 任务运行报错

【Linux】文件，每行内容按“\t“切割，筛选出内容包含“；“ 的或者切割后字段数小于16的行

CentOS 7.X yum install没有可用软件包

StarRocks 如何获取profile

理解flume hdfs sink round 和roll

sparkStreaming的checkpoint往hdfs保存时权限异常问题解决办法

Job aborted due to stage failure: Task not serializable

ScalikeJDBC的基本操作方法

Sqoop使用指南总结

HDFS Quotas Guide（HDFS配额指南）

任务调度框架Oozie学习笔记

Sqoop--源数据含有默认换行符导致的数据不正确

Flume的Source技术选型

Spark内核原理groupByKey、reduceByKey算子内部实现原理

MySQL的事务隔离级别

Hadoop切分纯文本时对某一行跨两个分片这种情况的处理

Arraylist和Linkedlist的区别

Sqoop全量数据导入、增量数据导入、并发导入

理解Hive开窗函数（窗口函数）

Hive参数配置及数据类型

HDFS的Block数据balancer重分布实战

Hive数据导入与导出

Kafka总结大全

Flume 消息重复情况分析

spark 的createDstream和createDirectStream区别