1.官方的converTimestamp只针对单个键做修改如下：上述无法处理json数组的情况如下：新建convertTime命令：public final class ConvertTimeBuilder implements CommandBuilder { @Override public Collection<String> getNames() { return Collections.singletonList("conver.
原创
2021-12-31 10:56:48
78阅读
1.官方的converTimestamp只针对单个键做修改如下：上述无法处理json数组的情况如下：新建
原创
2022-01-12 13:29:15
165阅读
本文主要介绍如何使用Morphline工具通过Flume实时的对数据建立全文索引。
原创
2022-09-21 23:23:20
200阅读
关于Apache Hadoop Ecosystem 请点击这里。Cloudera 官方的教程也是基于这个例子开始的，get-started-with-hadoop-tutorial并且假设我们已经了解Flume(agent, Source, Channel, Sink) , Morphline (ETL), Solr (全文检索)，如果都没有了解，请自行百度。Scenario (需求)首
转载
2024-10-29 09:05:06
32阅读
目录一、集群安装Solr +Key-Value Store Indexer二、创建Hbase二级索引1.更改表结构，允许复制2.创建相应的SolrCloud集合3.创建 collection实例并将配置文件上传到 zookeeper4.创建 Lily HBase Indexer 配置5.配置Morphline文件6.注册 Lily HBase Indexer ...
原创
2023-05-06 15:02:38
89阅读
问题：第一次往hbase put数据，索引同步三个字段，第二次更新hbase数据，只更新一个字段，其他两个字段会消失。 原因：在创建Hbase Indexer 时我们配置文件指定了 read-row="never" $ cat morphline-hbase-mapper.xml
<?xml version="1.0"?&g
原创
2023-05-06 15:01:33
34阅读
背景：Kafka消息总线的建成，使各个系统的数据得以在kafka节点中汇聚，接下来面临的任务是最大化数据的价值，让数据“慧”说话。环境准备：Kafka服务器*3。CDH 5.8.3服务器*3，安装Flume,Solr,Hue,HDFS,Zookeeper服务。Flume提供了可扩展的实时数据传输通道，Morphline提供了轻量级的ETL功能，SolrCloud+Hue提供了高性能搜索引擎和多样的
