香山上的麻雀的博客_Yarn,Spark,MapReduce,Hive,Hbase,Hadoop,其他大数据,sqoop,Flink,爬虫

spark sql 的 hints 语法【官网摘抄】

sparksql的hints语法【官网摘抄】

spark

sql

大数据

sed

ide

转载点赞0 阅读10 收藏0 评论0 23 天前

Blink 任务运行报错

Blink 任务总是报错java.lang.Exception: Exception while creating StreamOperatorStateContext. at org.apache.flink.streaming.api.operators.StreamTaskS

flink

java

apache

原创点赞0 阅读115 收藏0 评论0 2022-04-30

$【Linux】文件，每行内容按“\t“切割，筛选出内容包含“；“ 的或者切割后字段数小于16的行$

【Linux】文件，每行内容按“\t“切割，筛选出内容包含“；“ 的或者切割后字段数小于16的行

答案：cat file.txt | awk -F "\t" '{if(NF<16 || index($0,";")) print $0}'这里用到了awk工具。主要用到了以下知识点：-F参数：指定分隔符，可指定一个或多个awk中的内置变量常用字符串函数awk的if语句...

shell

分隔符

if语句

字符串函数

原创点赞0 阅读85 收藏0 评论0 2022-04-22

CentOS 7.X yum install没有可用软件包

已加载插件：fastestmirror, langpacksLoading mirror speeds from cached hostfilebase: mirrors.aliyun.comextras: mirrors.aliyun.comupdates: mirrors.dgut.edu.cn没有可用软件包 htop。错误：无须任何处理遇见这种情况，先执行：sudo yum install

centos

加载

安装包

转载点赞0 阅读652 收藏0 评论0 2022-04-20

StarRocks 如何获取profile

1通过 set is_report_success=true 可以打开profile的上报。2在MySQL客户端中执⾏你的sql语句：3打开浏览器，社区版⽤⼾在 //:FE_IP:FE_HTTP_PORT/query 可以看到当前的查询和Profile信息：进⼊然后复制profile信息...

StarRocks

mysql

sql语句

客户端

原创点赞0 阅读61 收藏0 评论0 2022-04-15

理解flume hdfs sink round 和roll

我们在配置flume hdfs sink 的时候注意这两个配置项，比如：collector1.sinks.sink_hdfs.hdfs.rollSize = 2048000000 collector1.sinks.sink_hdfs.hdfs.rollCount = 0 collector1.sinks.sink_hdfs.hdfs.rollInterval = 21600collecto...

hdfs

java

flume

hadoop

spark

原创点赞0 阅读100 收藏0 评论0 2022-03-31

sparkStreaming的checkpoint往hdfs保存时权限异常问题解决办法

hdfs本身是没有身份认证的，但是为了防止用户误操作，它也有类似linux的文件权限限制我在IDE里开发程序连接hdfs因为本机名和的文件所属用户名不同导致没有读取权限，错误异常堆栈如下：Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: use...

java

linux

hadoop

数据库

mysql

原创点赞0 阅读27 收藏0 评论0 2022-03-31

Job aborted due to stage failure: Task not serializable

If you see this error:org.apache.spark.SparkException: Job aborted due to stage failure: Task not serializable: java.io.NotSerializableException: ...The above error can be triggered when you intial...

spark

java

大数据

apache

tomcat

原创点赞0 阅读320 收藏0 评论0 2022-03-31

ScalikeJDBC的基本操作方法

最近做一个SparkStreaming的小项目，需要将数据存到mysql数据库，在scala中有一个基于SQL的数据库访问库就是scalikeJDBC，使用方法如下：简介：ScalikeJDBC是Scala开发人员基于SQL的简洁数据库访问库。该库自然包装JDBC API，为您提供易于使用且非常灵活的API。更重要的是，QueryDSL使您的代码类型安全且可重用。ScalikeJDBC...

mysql

java

数据库

mybatis

jdbc

原创点赞0 阅读27 收藏0 评论0 2022-03-31

Sqoop使用指南总结

Sqoop是一个用于在Hadoop和关系型数据库（Oracle，Mysql...）间数据传递的开源工具。下面以Oracle为例，介绍使用sqoop将数据从Oracle导入到Hadoop中（HDFS、Hive和HBase）。1.导入命令及参数介绍命令格式$ sqoop import (generic-args) (import-args)$ sqoop-import (generic-arg...

数据库

python

sqoop

java

大数据

原创点赞0 阅读55 收藏0 评论0 2022-03-31

HDFS Quotas Guide（HDFS配额指南）

HDFS Quotas Guide官网链接2.9.2版本HDFS Quotas Guide官网链接2.7.1版本简介：Hadoop提供两种配额（quota）模式，name quota和space quota。name quota限制路径的文件（含文件夹）数目，space quota限制的”磁盘”占用空间。可以通过此功能实现团队的存储使用管理。使用方法Set the name quota ...

java

大数据

hadoop

python

linux

原创点赞0 阅读85 收藏0 评论0 2022-03-31

任务调度框架Oozie学习笔记

目录1. 工作流调度框架Oozie功能初步认识2. 几种调度框架讲解3. Oozie 功能架构及三大Server讲解4. Oozie安装部署5. Oozie案例运行MapReduce Wordflow讲解6. 如何定义OoozieWorkflow讲解7...

hadoop

xml

mapreduce

原创点赞0 阅读142 收藏0 评论0 2022-03-31

Sqoop--源数据含有默认换行符导致的数据不正确

问题描述使用sqoop导数导到hdfs中，使用Hive查询发现数据多了，并且有数据错位的现象。原因源数据中有'\n'换行符，导致被hive识别为换行符。所以出现了记录多并且数据错位的现象。解决方法使用sqoop命令时加入：--hive-drop-import-delims例如：sqoop import \ --connect ${CONNECT} \ --username ${...

java

hive

python

数据库

mysql

原创点赞0 阅读93 收藏0 评论0 2022-03-31

Flume的Source技术选型

项目技术背景将data路径下所有日志文件通过Flume采集到HDFS上五分钟一个目录，一分钟形成一个文件技术选型flume中有三种可监控文件或目录的source，分别为exec、spooldir、taildirexec：可通过tail -f命令去tail住一个文件，然后实时同步日志到sink，这种方式可能会丢数据详情可见官网说明官网截图spooldir：可一个目...

flume

hadoop

大数据

hdfs

hive

原创点赞0 阅读88 收藏0 评论0 2022-03-31

Spark内核原理groupByKey、reduceByKey算子内部实现原理

一般来说，在执行shuffle类的算子的时候，比如groupByKey、reduceByKey、join等。

数据

网络传输

归约

原创点赞0 阅读86 收藏0 评论0 2022-03-31

MySQL的事务隔离级别

一、事务的基本要素（ACID）原子性（Atomicity）事务开始后所有操作，要么全部做完，要么全部不做，不可能停滞在中间环节。事务执行过程中出错，会回滚到事务开始前的状态，所有的操作就像没有发生一样。也就是说事务是一个不可分割的整体，就像化学中学过的原子，是物质构成的基本单位。一致性（Consistency）事务开始前和结束后，数据库的完整性约束没有被破坏。比如A向B转账，不可能A扣...

数据库

mysql

java

sql

redis

原创点赞0 阅读70 收藏0 评论0 2022-03-31

Hadoop切分纯文本时对某一行跨两个分片这种情况的处理

hdfs写入文件需要把大文件分割成多个块，那么有可能会把文件的某一个行分成在不同的块中；这是一个出现分块

hadoop

java

mapreduce

大数据

hdfs

原创点赞0 阅读66 收藏0 评论0 2022-03-28

Arraylist和Linkedlist的区别

Arraylist：底层是基于动态数组，根据下表随机访问数组元素的效率高

链表

指针

java

数据结构

python

原创点赞0 阅读44 收藏0 评论0 2022-03-28

Sqoop全量数据导入、增量数据导入、并发导入

Sqoop支持两种方式的全量数据导入和增量数据导入，同时可以指定数据是否以并发形式导入。

数据库

hive

java

大数据

mysql

原创点赞0 阅读243 收藏0 评论0 2022-03-28

理解Hive开窗函数（窗口函数）

一.原始数据jack,2017-01-01,10 tony,2017-01-02,15 jack,2017-02-03,23 tony,2017

hive

大数据

数据分析

python

sql

原创点赞0 阅读201 收藏0 评论0 2022-03-28

Hive参数配置及数据类型

1．查看当前所有的配置信息hive>set;2．参数的配置三种方式（1）配置文件方式默

java

hive

大数据

python

hadoop

原创点赞0 阅读238 收藏0 评论0 2022-03-28

HDFS的Block数据balancer重分布实战

Hadoop的HDFS集群在使用一段时间后，各个DataNode节点的磁盘使用率肯定会出现不平衡的情况，也就是数据量层面的数据倾斜，如图：引起这种情况的方式很多：1. 添加新的Datanode节点2. 人为干预将数据的副本数降低或者增加我们都知...

hdfs

数据

.net

原创点赞0 阅读114 收藏0 评论0 2022-03-28

Hive数据导入与导出

1.向表中装载数据（Load）基本语法hive>load data local inpath '/opt/module/datas/student.txt' [overwrite] into table student [partition (partcol1=val1,…)];（1）load data:表示加载数据（2）local:表示从本地加载数据到hive表；否则从H...

hive

mysql

数据仓库

sqoop

java

原创点赞0 阅读231 收藏0 评论0 2022-03-28

Kafka总结大全

KafkaKafka是最初由Linkedin公司开发，是一个分布式、支持分区的（pa时系统、storm/Spark流式处理引擎...

kafka

数据

zookeeper

原创点赞0 阅读87 收藏0 评论0 2022-03-28

Flume 消息重复情况分析

Flume提供至少一次保证，事件至少被存储一次。有些场景

java

大数据

python

数据库

redis

原创点赞0 阅读204 收藏0 评论0 2022-03-28

spark 的createDstream和createDirectStream区别

spark读取kafka数据流提供了两种方式createDstream和createDirectStrea，利用的是...

kafka

大数据

spark

java

数据库

原创点赞0 阅读23 收藏0 评论0 2022-03-28

如何优雅地关闭SparkStreaming

How to Shutdown a Spark Streaming Job Gracefully方案1 (推荐但方案需要讨论)第一种方案是使用spark.streaming.stopGracefullyOnShutdown（默认是false），这个参数就是为了解决Spark优雅关闭问题，开发者不需要调用ssc.stop()，相反他们需要做的是发送SIGTERM至Driver。在实际的实践中...

java

linux

spark

docker

python

原创点赞0 阅读125 收藏0 评论0 2022-03-28

权限系统与RBAC模型概述

1. 权限系统与RBAC模型概述RBAC（Role-Based Access Control ）基于角色的访问控制

python

java

数据库

大数据

设计模式

原创点赞0 阅读105 收藏0 评论0 2022-03-28

Spark Streaming应对流数据峰值巨变

1、为什么引入Backpressure默认情况下，Spark Streaming通过Receiver以h interval为Streaming应用设置的批处理间隔。这意味着Spa...

大数据

spark

java

hadoop

linux

原创点赞0 阅读49 收藏0 评论0 2022-03-28

SparkStreaming之窗口函数

WindowOperations（窗口操作） Spark还提供了窗口的计算，它允许你使成为窗口化DSteam的RDD。...

spark

ide

apache

转载点赞0 阅读47 收藏0 评论0 2022-03-28

官方博客	意见反馈	了解我们	全部文章
在线客服	网站地图	热门标签

51CTO博客

Cheng Yanan的博客

spark sql 的 hints 语法【官网摘抄】

Blink 任务运行报错

【Linux】文件，每行内容按“\t“切割，筛选出内容包含“；“ 的或者切割后字段数小于16的行

CentOS 7.X yum install没有可用软件包

StarRocks 如何获取profile

理解flume hdfs sink round 和roll

sparkStreaming的checkpoint往hdfs保存时权限异常问题解决办法

Job aborted due to stage failure: Task not serializable

ScalikeJDBC的基本操作方法

Sqoop使用指南总结

HDFS Quotas Guide（HDFS配额指南）

任务调度框架Oozie学习笔记

Sqoop--源数据含有默认换行符导致的数据不正确

Flume的Source技术选型

Spark内核原理groupByKey、reduceByKey算子内部实现原理

MySQL的事务隔离级别

Hadoop切分纯文本时对某一行跨两个分片这种情况的处理

Arraylist和Linkedlist的区别

Sqoop全量数据导入、增量数据导入、并发导入

理解Hive开窗函数（窗口函数）

Hive参数配置及数据类型

HDFS的Block数据balancer重分布实战

Hive数据导入与导出

Kafka总结大全

Flume 消息重复情况分析

spark 的createDstream和createDirectStream区别

如何优雅地关闭SparkStreaming

权限系统与RBAC模型概述

Spark Streaming应对流数据峰值巨变

SparkStreaming之窗口函数