wx63118e2bb7416的博客_新博客,leetcode,zabbix(3)

使用Spark通过Bulkload的方式导数据到Hbase

文章目录Spark通过Bulk Load 写入Hbase 背景 BulkLoad Bulk Load的实

apache

spark

hadoop

原创 2022-09-02 14:12:13 770 阅读

Flink时间概念

时间概念类型Flink根据时间产生的位置不同:将时间区分为三种时间概念事件生成时间

kafka

flink

数据

原创 2022-09-02 14:11:31 53 阅读

Flink 流处理API之 Source TransForm

DataStream编程模型DataStream API 主要分为三个模块DataSource模块 Transfor

数据集

数据

kafka

原创 2022-09-02 14:11:15 56 阅读

INSERT IGNORE 与INSERT INTO与 REPLACE INTO

INSERT IGNORE 与INSERT INTOINSERT IGNORE 与INSERT INTO的区别就是INSERT IGNOR

mysql

insert into

ignore

replace into

数据

原创 2022-09-02 14:10:44 246 阅读

ELK

ELK简介1. ElasticSearch: 分布式数据搜索引擎，用于全文搜索 //存储+搜索2. Logstach : 数据

elk

elasticsearch

logstash

kibnana

bigdata

原创 2022-09-02 14:10:15 86 阅读

kafka节点启动后无故挂掉

背景：kafka节点启动后，突然挂掉，重试几次后，也是如此查看日志信息如下

kafka

zookeeper

bigdata

解决方案

原创 2022-09-02 14:10:03 138 阅读

Hive严格模式

严格模式是什么：防止可能出现不好的结果防止出现三种场景：分区表查询中没有写where

hive

hadoop

bigdata

严格模式

分区表

原创 2022-09-02 14:09:43 90 阅读

log4j 日志级别

常用级别等级： TRACE< DEBUG < INFO < WARN < ERROR < FATALlog4j.appender.wangyg.MyConsole=org.apache.log4j.ConsoleAppenderlog4j.appender.

java

log4j

apache

原创 2022-09-02 14:09:38 57 阅读

去掉IDEA默认打开工程，打开显示可以选择工程的页面

进行设置，打开File --> Settings

idea

选择工程

idea设置

原创 2022-09-02 14:09:34 182 阅读

Flume -Taildir Source

Taildir Source可实时监控一批文件，并记录每个文件最新消费位置，agent进程重启后

tail dir

flume\

bigdata

kafka

json

原创 2022-09-02 14:09:28 185 阅读

Flume 报出异常org/apache/hadoop/io/SequenceFile$CompressionType

异常 Failed to start agent because dependencies were not found inclasspath. Error fo

flume

java

bigdata

hadoop

依赖包

原创 2022-09-02 14:09:23 161 阅读

Scala 中apply() unapply() unapplySeq()方法

apply通常被称作注入方法unapply通常被称为提取方法，使用unapply来提取固定

scala

unapplySeq

unapply

apply

原创 2022-09-02 14:09:18 34 阅读

flume backoff 退避算法

原文链接： htt突时，每个节点等

flume

backoff

tuibisuanfa

等待时间

等待队列

原创 2022-09-02 14:09:13 53 阅读

dependencies与dependencyManagement 区别

dependencies与dependencyManagement 区别总结1、dependencies即使在子项目项，并且没有指定具...

pom依赖

dependencies

dependencyManagement

版本号

jar

原创 2022-09-02 14:08:54 47 阅读

hive 支持json解析

hive spark 支持json解析jar包下载路径可根据自己需要下载相应版本http

hive

jason解析

json

jar包

原创 2022-09-02 14:08:49 118 阅读

shell脚本调试

Shell本身提供一些调试方法选项：-n，读一遍脚本中的命令但不执行，用于检查脚本中的语法

shell

shell调试

shell脚本

命令行

语法错误

原创 2022-09-02 14:08:40 36 阅读

HTTP协议介绍

一、TCP/IP 协议介绍在介绍 HTTP 协议之前，先简单说一下TCP/IP协议的相关内容。

客户端

服务端

数据

转载 2022-09-02 14:08:08 77 阅读

STL_stack/STL_queue

1、stackstack 模板类的定义在头文件中。stack 模板类需要两个模板参数，一个是元素类型，一个

出队

#include

模板类

原创 2022-09-02 14:07:41 75 阅读

红黑树

前言：红黑树是一棵二叉搜索树，它在每个节点上增加了一个存储位来表示节点的颜色，可以是红

红黑树

子节点

二叉搜索树

转载 2022-09-02 14:06:58 41 阅读

udp如何实现可靠性传输？

udp如何实现可靠性传输？ UDP它不属于连接型协议，因而具有资源消耗小，

数据

速率控制

重传

原创 2022-09-02 14:06:37 291 阅读

微信红包

春节期间小明使用微信收到很多个红包，非常开心。在查看领取红包记录时发现，某,2],5返回：2#includeusing

#include

中位数

ios

原创 2022-09-02 14:06:25 196 阅读

C++内存泄漏常见

程序中通常包含着静态内存和栈内存。静态内存用来保存局部static对象、类static数

内存泄漏

栈内存

析构函数

翻译 2022-09-02 14:06:06 123 阅读

重定向(sendRedirect)和请求转发(forward) 区别

HttpServletResponse的sendRedirect() 和RequestDispater的forward()可以让浏览器获得另

重定向

web应用

请求转发

原创 2022-09-02 14:05:29 84 阅读

重建二叉树

二叉树重建根据二叉树的前序遍历和中序遍历，重建二叉树。综合利用前序遍历和中序遍历的特class TreeNode {...

Java

剑指offer

前序遍历

子树

中序遍历

原创 2022-09-02 14:05:24 55 阅读

轻松理解AOP(面向切面编程)

本文旨在帮助还没有理解AOP的童鞋看透弄懂AOP，也欢迎高手批评指正。先说一个Spri

aop

面向切面编程

java

ssm

spring

转载 2022-09-02 14:05:18 54 阅读

Azkban使用简要说明

Azkaban简介Azkaban调用mapreduce程序1. vim mapreduce.job 写入以下内容：#执行

azkaban

任务调度

大数据

mapreduce

hadoop

原创 2022-09-02 14:04:18 146 阅读

通过零拷贝实现有效数据传输

原链接kafka高吞吐性能揭秘中提到使用零拷贝进行快速提高底层效率，

kafka

零拷贝

原创 2022-09-02 14:04:03 38 阅读

HBase写流程部分源码学习

put操作：写流程主函数 public void put(Put put) throws IOException { checkReadOnl

Hbase

源码

put

put源码

mvc

原创 2022-09-02 14:03:53 56 阅读

Kafka分区分配策略

kafka分区分配策略，分为三种RoundRobin, Range , Sticky 策略Range 分配策略:按照消费者总数和分区总数整除获取一个数值，将分区按照数值进行平均分配的策

kafka

分区分配策略

kafka分区分配策略

整除

apache

原创 2022-09-02 14:03:53 87 阅读

log4j之间的关系

slf4j-api、slf4j-log4j12、log4j之间的关系，例子为当系统采用log4j作为日志框架实现的调用关系：

slf4j

log4j

slf4j-api

日志框架

原创 2022-09-02 14:03:45 100 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

wx63118e2bb7416的博客