搞了一段时间，hive2solr的job终于可以稳定的跑了，实现使用hive向solr插数据，主要是实现RecordWriter接口，重写write方法和close方法。下面对遇到的问题一一列出：1.数据覆盖问题，使用原子更新参考：http://caiguangguang.blog.51cto.com/1652935/15991372.重复构建solrserver和solrtable
推荐
原创
2015-02-07 11:36:46
10000+阅读
点赞
2评论
之前介绍了github上的hive2solr项目和solr的multivalue功能。线上我们是采用hive计算完数据后推送到solr的方法，如果需要实现multivalue的话，默认的hive2solr是有些问题的。即使在hive中对于的field是多个字，导入solr之后也只是一个整体的字符串，比如下面表的数据如下：id &
原创
2014-07-03 00:24:57
5325阅读
最近在测试hive导入solr，github上有个相关的代码https://github.com/chimpler/hive-solr其原理就是实现inputformat和outputformat，通过mapred来做数据的读写操作。测试的表结构：show create table table_in_solr1;
CREATE EXTERNAL T
推荐
原创
2014-06-05 19:09:54
3166阅读
# 从Solr到Hive：实现数据检索和分析的完美结合
在大数据处理领域，Solr和Hive是两个非常常用且功能强大的工具。Solr是一个开源的搜索平台，用于实现高效的文本搜索和分析，而Hive是一个基于Hadoop的数据仓库工具，用于进行大规模数据的查询和分析。将这两个工具结合起来可以实现更加全面和高效的数据处理和分析。
## Solr与Hive的结合
Solr与Hive的结合可以实现数据
原创
2024-03-24 05:13:00
84阅读
1: Solr简介1.1 简介:1.2 下载:2:Solr 安装2.1 安装2.2 目录结构3 :启动Solr3.1 启动3.2使用Solr提供的测试数据3.5 Solr配置文集3.4 Solr相关命令1: Solr简介1.1 简介:Solr是基于Apache Lucene
原创
2022-08-09 09:15:18
139阅读
（一）Hive+Solr简介 Hive作为Hadoop生态系统里面离线的数据仓库，可以非常方便的使用SQL的方式来离线分析海量的历史数据，并根据分析的结果，来干一些其他的事情，如报表统计查询等。 Solr作为高性能的搜索服务器，能够提供快速，强大的全文检索功能。 （二）为什么需要hive集成solr？ 有时候，我们需要将hive的分析完的结果，存储到solr
原创
2016-03-17 15:20:46
1313阅读
本文是solr课程学习系列的第2个课程，对solr基础知识不是很了解的请查看 本文以windows的solr6服务器搭建为例。 一、solr的工作环境： solr6.0 下载地址 solr6.0 jdk8 下载地址：jdk1.8 （solr6.0是基于jdk8开发的，必须下载） tomcat8.0
转载
2016-10-06 11:00:00
79阅读
访问地址http://ip:8983输入参数：查看错误日志修改参数创建成功
原创
2022-05-27 12:30:19
144阅读
Hive 总结 概述Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。主要用途：用来做离线数据分析，比直接用mapreduce开发效率更高，里哟摩纳哥HDFS作为储存系统，利用mapreduce作为运算的一个工具。Hive使用内存数据库derby占用内存小，但是数据存在内存不稳定。Hive 2.0 是从hive 1
I've been building some custom search components for SOLR lately, so wanted to share a couple of things I learned in the process. Most likely this is old hat to people who have been doing this for a while, but thought I'd share, just in case it benefits someone...Passing StateIn a previous p
转载
2013-12-12 01:09:00
49阅读
2评论
MySQL 版本：8.0.23Solr版本：7.7.2操作步骤：第一步：导入相关jar包solr-dataimport
原创
2022-06-27 11:26:53
185阅读
一、安装环境1. centos (7.2.1511)[root@test-2021 opt]# lsb_release -aLSB Version: :core-4.1-amd64:core-4.1-noarchDistributor ID:
原创
2022-06-27 11:27:43
322阅读
这一章为大家介绍怎样在solr admin中。通过浏览器向solr加入索引 一.加入xml格式的文档 进入solr admin后，点击Documents。选择Documentation Type为xml，然后在Document(s)输入框中输入须要加入索引的文档。点击Submit Document就
转载
2017-06-22 09:45:00
154阅读
2评论
1、solr基本操作1.1、基本概念Solr 是Apache下的一个顶级开源项目，采用Java开发，它是基于Lucene的全文搜索服务器。Solr提供了比Lucene更为丰富的查询语言，同时实现了可配置、可扩展，并对索引、搜索性能进行了优化solr就是在lucene工具包的基础之上进行了封装，而且是以web服务的形式对外提供索引功能业务系统需要使用到索引的功能（建索引，查索引）时，只要发出http
转载
2023-09-19 10:34:24
115阅读
概述hive 是一个包裹着 hdfs 的壳子，hive 通过 hql，将 sql 翻译成 MR ，进行数据查询。Hive是⼀个构建在Hadoop之上的数据仓库hive的数据存在hdfs上，元信息放在metastore中，metastore也放在hdfs上和传统的数据仓库⼀样，主要⽤来访问和管理数据，同样提供了类SQL查询语⾔和传统数据仓库不⼀样，可以处理超⼤规模的数据，可扩展性和容错性⾮常强举个直
转载
2023-09-27 19:58:50
285阅读
# Hive 和 Hive2
## 介绍
在大数据领域，Hive 是一个非常受欢迎的数据仓库工具，它构建在 Hadoop 之上，提供了类似于 SQL 的查询语言，允许用户使用简单的语法来查询和分析大规模数据。Hive2 是 Hive 的新一代版本，通过提供更强大的功能和更高的性能，使得数据仓库的构建和查询更加高效。
## Hive 和 Hive2 的功能比较
Hive 和 Hive2 在功
原创
2024-01-19 12:41:10
69阅读
Hive2 Hive命令Hive常用命令查看hive命令的一个简明说明hive --help需要注意 Service List 后面的内容。这里提供了几个服务，包括我们绝大多数时间将要使用的CLI。用户可以通过 --service name 服务名称来启用某个服务。下面有几个比较有用的服务：选项名称描述cli命令行界面用户定义表，执行查询等，如果没有指定其他服务，这个是默认的服务hiveserve
转载
2023-07-13 17:51:35
93阅读
## 实现Hive和Hive2的步骤
### 概述
在教会小白如何实现Hive和Hive2之前，我们需要先了解一些基本概念。Hive是一个基于Hadoop的数据仓库工具，它提供了类似于SQL的查询语言HiveQL，使得开发人员可以使用SQL来操作分布式存储系统。Hive2是Hive的一个新版本，它提供了更高级的功能和性能优化。
在实现Hive和Hive2的过程中，我们需要进行以下步骤：
|
原创
2023-12-01 05:31:06
108阅读
[喵咪大数据]Hive2搭建说到Hadoop生态有一个不得不提的组件那就是<Hive>,Hive是基于Hadoop结构化存储引擎,能够存储海量的数据,Hive提供了类SQL的方式对数据进行查询检索汇总,大大减少了早期需要使用MapReduce编程的烦扰,今天就和笔者一起来探索Hive的实际应用场景吧.附上: HIVE官网地址:Apache Hive TM 1.环境配置hadoop集
转载
2023-12-29 23:52:06
47阅读
Hive21、hive中有哪些类型的hive参数hive当中的参数、变量，都是以命名空间开头命名空间读写权限含义hiveconf可读写hive-site.xml当中的各配置变量例：hive --hiveconf hive.cli.print.header=truesystem可读写系统变量，包含JVM运行参数等例：system:user.name=rootenv只读环境变量例：env:JAVA_H
转载
2023-07-28 13:57:54
74阅读
