jast_zsh的博客_DolphinSchedule,Iceberg,Ambari(8)

Windows IEDA 编译Hbase源码报错 - 无法执行shell脚本

windows 下编译 hbase源码，报错[ERROR] Command execution failed.java.io.IOException: C

java

apache

maven

原创 2023-05-06 15:01:21 303 阅读

JanusGraph：可视化 Gephi 插件安装

下载地址https://gephi.org/安装下一步默认安装即可打开安装插件打开后发现提示无法连接，并且可用插件显示为0 （我更新过所以不为0）点击“代理配置” 设置代理安装插件 Graph Streaming 继续重新启动，安装完成点击概览，会有streaming界面点击文件->新建项目右键启动这里可以设置连

hadoop

jar

spark

原创 2023-05-06 15:01:19 629 阅读

NameNode 启动失败 - There appears to be a gap in the edit log. We expected txid xxx, but got tx

场景NameNode迁移，导致一个节点无法启动异常在Namenode主动迁移，或者Namen

hdfs

hadoop

apache

原创 2023-05-06 15:01:15 553 阅读

Nifi 之 kafka消费存入hbase

添加kafka processor，配置如下kakfa数据格式为JSON：{"events_tag":"103913","query_wo 定rowkey，只能填写一个配置HbaseClient，...

添加数据

JSON

json格式

原创 2023-05-06 15:01:13 45 阅读

phoenix 使用详细介绍创建二级索引

phoenix 关联hbase 基本使用参考：https://blog.csdn.net/zhangshenghang/article/details/

表空间

字段

二级索引

原创 2023-05-06 15:01:03 92 阅读

m3u8下载ts 合并成一个视频

我们在用网页看视频时，很多时候视频是下载不下来的，当然这里面有很多技术来防止我们下载视频，接下来我将破解使用m3u8格式来下载视频。一般情况下，我们使用浏览器中Network来查看服务器和本机的数据传输，而视频的原地址有时也会发现，但使用m3u8格式时，我们会发现视频被分成一段一段的，每段只有几秒中，这样做的目的既可以方便播放，也可以防止下载。下面我以央视网为例，做讲解。目标：下载央某一期视频步骤

正则表达式

Network

字符串

转载 2023-05-06 15:01:01 1209 阅读

Yarn 监控 - 监控任务运行状态（包括Spark，MR 所有在Yarn中运行的任务）

平时开发中可以在yarn的web页面查看应用程序运行状态，如下图下面代码实现了，代码监控Yarn运行程序，可以对部分任务进行实时监控Maven pom引用 <depen

hadoop

apache

System

原创 2023-05-06 15:01:00 509 阅读

Spark提交指定 kerberos 认证信息

spark-submit --principal hdfs/hostname@jast.COM --keytab hdfs-hostname.keyt

jar

hdfs

spark

原创 2023-05-06 15:00:54 180 阅读

Hbase 查看 rowkey在哪个region中

首先我们先了解下 hbase:meta 表，hbase是指的namespace，meta是表名，这张表存储的是整个集群的Re

2d

表名

时间戳

原创 2023-05-06 15:00:51 239 阅读

Storm 本地运行报错java.lang.ClassNotFoundException: org.apache.curator.shaded.com.google.common.cache.Cach

java.lang.NoClassDefFoundError: org/apache/curator/shaded/com/google/common/cache/CacheB

java

apache

Source

原创 2023-05-06 15:00:51 1422 阅读

Centos7.x 安装 CDH 6.x

前置条件ntp服务安装防火墙关闭执行以下优化代码echo "* soft nofile 128000" >>/

cloudera

java

hive

原创 2023-05-06 15:00:48 164 阅读

HugeGraph 图数据库索引介绍 - 范围索引，全文索引

HugeGraph 索引介绍单索引待补充组合索引待补充范围索引待补充全文索引创建索引标签设置定点article的name字段为全文索引（可以模糊检索） schema.indexLabel("articleByNameSearch") .onV("article") .by("name") .search() .ifNotExist() ...

ci

数据

搜索

原创 2023-05-06 15:00:44 274 阅读

JanusGraph 安装

solr

apache

zookeeper

原创 2023-05-06 15:00:43 155 阅读

Hbase WALs(HLog) 文件存储，查看

WALs(HLog) 存储HLog 存储位置是在，hbase配置目录下WALs目录，默认为 /hbase/WALs 与 /hba

json

数据

数据保存

原创 2023-05-06 15:00:43 269 阅读

HugeGraph 多图配置

多图配置我们的系统是可以存在多个图的，并且各个图的后端可以不一样，比如图 hugegraph 和 hugegraph1，其中 hugegraph 以 cassandra 作为后端，hugegraph1 以 rocksdb作为后端。配置方法也很简单：修改 gremlin-server.yaml在 gremlin-server.yaml 的 graphs 域中添加一个键值对，键为图的名...

Server

配置文件

键值对

原创 2023-05-06 15:00:35 250 阅读

Elasticsearch 6.x 下载安装

下载ES下载ES安装包上传至服务器，地址为：https://artifacts.elastic.co/downloads/elasticsearch/el

elasticsearch

搜索引擎

大数据

Server

上传

原创 2023-05-06 15:00:30 182 阅读

CDH6.x Solr7.x 集成 Ik 分词

solr

analyzer

jar

原创 2023-05-06 15:00:25 84 阅读

IntelliJ IDEA Maven jar包冲突解决，快速发现jar包冲突

IntelliJ IDEA 自带的Diagrams 去查看jar包冲突相当费劲 ~ ，安装个插件即可快速解决该问题

搜索

右键

UI

原创 2023-05-06 15:00:21 877 阅读

Hbase 删表过程

Hbase 执行删表命令后(drop)，表的数据会移动到 /hbase/archive 目录下，并不会直接从hdfs删除，后台会有

数据

hive

hdfs

原创 2023-05-06 15:00:16 289 阅读

Hbase RegionServer 启动失败 Time difference of xxx ms > max allowed of 30000ms

Hbase RegionServer 启动报错异常如下：STOPPED: Unhandled: org.apache.hadoop.hbase.ar out of sync wit...

apache

hadoop

java

原创 2023-05-06 15:00:14 62 阅读

Hbase 二级索引 Solr int字段排序问题 can not sort on multivalued field

Hbase Solr 同步二级索引后，进行int字段排序时报错报错如下{ "responseHeader":{ "zkConnected":true, atus":400, "QTime":75, "params":{ "q":"*:*", "sort":"hbase_indexer_fn_read_num desc",...

solr

字段

apache

原创 2023-05-06 15:00:10 142 阅读

Kerberos Hbase Api 操作

初始化连接加载配置参数，这里只创建连接，具体操作hbase的api没有变化static {

hadoop

zookeeper

apache

原创 2023-05-06 15:00:10 90 阅读

ElasticSearch 索引、更新和删除数据

tabases -> Tables -> Rows -> ColumnsElasticsearch -> Indices -> Types -> Docume...

字段

搜索

数据类型

原创 2023-05-06 14:59:55 156 阅读

大数据技术讲解

HDFS的体系架构整个Hadoop的体系结构主要是通过HDFS来实现对分布式存储的底层支持，并通过MR来实现对分布式并行任务处理的程序支持。

数据

HDFS

Hive

转载 2023-05-06 14:59:54 69 阅读

Java 数据以追加方式保存HDFS ，含kerberos 认证配置

package com.jast.hdfs; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataOutputStream; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import or

hdfs

hadoop

java

原创 2023-05-06 14:59:47 148 阅读

CDH 配置YARN动态资源池的计划模式，根据时间划分资源，不同时间不同队列使用不同资源

后可以看到配...

CDH Yarn 计划模式

Hadoop资源分配

权重

资源分配

原创精选 2023-05-06 14:59:45 512 阅读

Kafka JMX监控报错 Failed to get broker metrics for BrokerIdentity(128,192.168.2.128,9999,true,false,Map

KafkaManager报错2019-05-19 14:21:53,817 - [ERROR] k.m.a.c.BrokerViewCacheActor - Failed to get broker metri

Kafka JMX监控报错

java

.net

sed

原创 2023-05-06 14:59:44 181 阅读

kafka manager 2.0 工具下载已打包完成

链接：https://pan.baidu.com/s/1YMj-9HzoJLKDEY5C47aOlQ提取码：hhhr

KafkaManager2.0

原创 2023-05-06 14:59:41 1402 阅读 1点赞 1收藏

NLP文本相似度 - LCS（最长公共子序列）java代码

LCS是Longest Common Subsequence的缩写，即最长公共子序列。一个序列，如果是两个或

NLP文本相似度 LCS

System

bc

公共子序列

原创 2023-05-06 14:59:37 78 阅读

spark 2.2 读取 Hadoop3.0 数据异常 org.apache.hadoop.hdfs.web.HftpFileSystem cannot access its superinterfa

spark 2.2 读取 Hadoop3.0 数据异常Exception in thread "main" java.lang.IllegalAccessError: class org.apache.hadoop.hdfs.web.HftpFileSystem cannot access its superinterface org.apache.hadoop.hdfs.web.Token...

java

apache

hadoop

原创 2023-05-06 14:59:19 496 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

wx5ae1cd41f3d21的博客

Windows IEDA 编译Hbase源码报错 - 无法执行shell脚本

JanusGraph：可视化 Gephi 插件安装

NameNode 启动失败 - There appears to be a gap in the edit log. We expected txid xxx, but got tx

Nifi 之 kafka消费存入hbase

phoenix 使用详细介绍创建二级索引

m3u8下载ts 合并成一个视频

Yarn 监控 - 监控任务运行状态（包括Spark，MR 所有在Yarn中运行的任务）

Spark提交指定 kerberos 认证信息

Hbase 查看 rowkey在哪个region中

Storm 本地运行报错java.lang.ClassNotFoundException: org.apache.curator.shaded.com.google.common.cache.Cach

Centos7.x 安装 CDH 6.x

HugeGraph 图数据库索引介绍 - 范围索引，全文索引

JanusGraph 安装

Hbase WALs(HLog) 文件存储，查看

HugeGraph 多图配置

Elasticsearch 6.x 下载安装

CDH6.x Solr7.x 集成 Ik 分词

IntelliJ IDEA Maven jar包冲突解决，快速发现jar包冲突

Hbase 删表过程

Hbase RegionServer 启动失败 Time difference of xxx ms > max allowed of 30000ms

Hbase 二级索引 Solr int字段排序问题 can not sort on multivalued field

Kerberos Hbase Api 操作

ElasticSearch 索引、更新和删除数据

大数据技术讲解

Java 数据以追加方式保存HDFS ，含kerberos 认证配置

CDH 配置YARN动态资源池的计划模式，根据时间划分资源，不同时间不同队列使用不同资源

Kafka JMX监控报错 Failed to get broker metrics for BrokerIdentity(128,192.168.2.128,9999,true,false,Map

kafka manager 2.0 工具下载已打包完成

NLP文本相似度 - LCS（最长公共子序列）java代码

spark 2.2 读取 Hadoop3.0 数据异常 org.apache.hadoop.hdfs.web.HftpFileSystem cannot access its superinterfa