虚拟化为Hadoop注入了前所未有的活力，从IT生产管理的角度，表现为以下几点：·Hadoop和其他消耗不同类型资源的应用一起部署共享数据中心可以提高总体资源利用率；·灵活的虚拟机操作使得用户可以动态的根据数据中心资源创建、扩展自己的Hadoop集群，也可以缩小当前集群、释放资源支持其他应用如果需要；·通过与虚拟化架构提供的HA、FT集成，避免了传统Hadoop集群中的单点失败，再加之Hadoop
转载
2023-10-26 17:18:18
28阅读
windows下Elasticsearch-head插件的安装 在学习Elasticsearch的过程中，必不可少需要通过一些工具查看es的运行状态以及数据。如果都是通过rest请求，未免太过麻烦，而且也不够人性化。此时，head可以完美的帮助我们快速学习Elasticsearch。 es5以上版本安装head需要安装
转载
2024-05-06 12:47:01
564阅读
文章目录一、head插件二、安装步骤1.es5.0以下的版本安装方式2.es5.0以上的版本安装方式3.谷歌浏览器安装插件 一、head插件为了便于管理ES，本文使用head插件，这是最初级的管理工具，在浏览器中显示ES集群，索引等信息，十分好用。二、安装步骤1.es5.0以下的版本安装方式按住Windows+R，输入cmd，打开命令行工具，进入到ElasticSearch的bin目录，使用ES
转载
2024-03-27 17:33:16
47阅读
hadoop2.4版本的发布，很多童鞋都想了解其新特性:它们做了哪些改变？该如何伪分布、完全分布安装？它们和前面版本有什么不同？这里做一个汇总一、hadoop2.4的改进Hadoop 2.4.0版本的改进http://www.aboutyun.com/thread-7714-1-1.html阐述了下面问题：1.HDFS权限加强表现在哪方面？2.HDFS的状态如何通过web端口访问？3.Resour
转载
2023-07-20 16:55:15
67阅读
Windows上Eclipse安装Hadoop插件在Windows上安装eclipse插件的安装，连接远程centos上的Hadoop环境并进行wordcount测试。Hadoop版本2.8.4。1.下载Hadoop插件hadoop2x-eclipse-plugin-master下载地址：https://github.com/winghc/hadoop2x-eclipse-plugin，下载完成后
转载
2023-07-11 22:16:49
366阅读
原因记录这篇博客原因有二： 1. 由于工作中需要使用kibana，并且有一些特殊需求需要用到百度的图标库echarts，所以就研究了下如何开发kibana的插件； 2. ElasticSearch官网上的文档以及推荐的博客等等都是较老的版本，考虑到公司内部已经开始使用5.4的版本并且在学习过程中发现版本的差异还是会有不小的影响，因此记录在此以备后用。版本上面说过kibana的插件开发，因为版本
转载
2024-08-25 16:28:13
144阅读
在使用Elasticsearch（简称ES）和Hadoop进行数据处理时，通常会遇到需要将两者结合起来进行数据的存储和查询操作。ES提供了一个与Hadoop集成的插件，称为es-hadoop，它可以让Hadoop通过Elasticsearch来执行MapReduce任务，同时也可以让Elasticsearch读取Hadoop输出的数据。下面将详细介绍如何实现"es hadoop"的步骤和代码示例。
原创
2024-05-24 10:16:54
159阅读
项目背景： 原本工业APP的知识文章之类的存储在MySQL中，但是在后期的开发中发现在查询的时候又不满足业务的模糊查询需求并且需要兼容前期的设计（ID为数值型的要求）。项目构建： 项目利用gradle构建，利用shadowJar插件来打包需要的程序代码，默认打包的包含程序代码和依赖，但是开发插件是不能将es打包会造成包冲突。代码如图：开发过程：&
转载
2024-05-17 14:20:08
81阅读
参考连接： es插件开发教程： https://www.2cto.com/kf/201709/681446.html 官方插件开发指导：https://www.elastic.co/guide/en/elasticsearch/plugins/current/plugin-authors.html1.拦截修改reques
转载
2024-03-06 16:34:09
89阅读
Hadopp=HDFS+MapReduce+Yarn+Common1.Hadoop HDFS: 一个高可用、高吞吐量的分布式文件系统。数据切割、制作副本、分散存储 图中涉及到几个角色 NameNode(nn)：存储文件的原数据，比如文件名、文件目录结构、文件属性（生产时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode等。 SecondaryNameNode(2nn):辅助Na
转载
2023-08-02 10:41:34
46阅读
经过上一篇的分析，我们知道了Hadoop的作业提交目标是Cluster还是Local，与conf文件夹内的配置文件参数有着密切关系，不仅如此，其它的很多类都跟conf有关，所以提交作业时切记把conf放到你的classpath中。 因为Configuration是利用当前线程上下文的类加载器来加载资源和文件的，所以这里我们采用动态载入的方式，先添加好对应的依赖库和资源，然后再构建一个URLC
转载
2023-06-14 22:14:23
95阅读
hdfs的操作一般用三种方法， 1.命令行 2.web 3.api进行 但是在一般的企业开发的过程中，我们更多的是使用插件进行操作，原因是可以大大的提高开发的效率。eclipse ，idea都可以使用插件进行操作，我将带大家详细了解idea的插件使用和配置，非常详细的讲解特别适合新手。 并且帮助大家避开一些坑。我自己以前都是用的linux搭建hadoop，但是我从来没有在windows下使用had
转载
2023-08-04 10:18:02
356阅读
第一部分：ES简介 1.首先理解Lucene是什么？ Lucene是一个全文搜索的框架，就像个jar，暴露出很多的接口和方法供开发者使用，是一项技术。而不是应用产品。因此它并不像http://www.baidu.com/ 或者google Desktop那么拿来就能用，它只是提供了一种工具让你能实现这些产品。 2.lucene能做什么 ？ 本质就是给搜索内容定位 ES就是在Lucene基础上的
首先需要安装jdk，因为es是用java编写，需要在java环境下才能使用。ES安装wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.2.4.tar.gz
tar -vxf elasticsearch-6.2.4.tar.gz想要下载别的版本的es，只需要修改版本号即可，这里下载的是6.2.4版本。
转载
2024-03-31 08:16:59
214阅读
一：概念（1）集群（Cluster）： ES可以作为一个独立的单个搜索服务器。不过，为了处理大型数据集，实现容错和高可用性，ES可以运行在许多互相合作的服务器上。这些服务器的集合称为集群。（2）节点（Node）： 形成集群的每个服务器称为节点。索引(index): 在 ES 中, 索引是一组文档的集合（3）分片（shard） 当有大量的文档时，由于内存的限制、磁盘处理能力不足、无法足够快的响应客户
转载
2024-01-06 08:26:26
98阅读
以前我常用的ES查询工具是Head，作为插件形式在浏览器中运行，挺方便的，后来发现head不太好用，比如在数据浏览的时候，不小心就点击了两个索引，背景色设置的还不够明显，比较容易看错数据的。于是想找个更好用的工具，以前用过cerebro 觉得界面够酷，但是我觉得cerbro作为es的插件运行的挺麻烦，我想找个类似head这种方便的浏览器插件。一 Elasticvue这个作为一个浏览器插件运行，类似
转载
2024-03-06 23:09:34
81阅读
ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。ES能提供强大的索引能力，很大一方面原因是由多个分布在不同机器的es实例组成集群对外提供服务，这种可以横向扩展的机制可以极大提升服务能力。每一个
转载
2024-06-06 13:47:55
35阅读
1.安装插件准备程序：eclipse-3.3.2（这个版本的插件只能用这个版本的eclipse）hadoop-0.20.2-eclipse-plugin.jar （在hadoop-0.20.2/contrib/eclipse-plugin目录下）将hadoop-0.20.2-eclipse-plugin.jar 复制到eclipse/plugins目录下，重启eclipse。2.打开MapRedu
转载
2023-07-12 15:09:54
46阅读
系列文章目录Hadoop第一章：环境搭建Hadoop第二章：集群搭建（上）Hadoop第二章：集群搭建（中）Hadoop第二章：集群搭建（下）Hadoop第三章：Shell命令Hadoop第四章：Client客户端Hadoop第四章：Client客户端2.0Hadoop第五章：词频统计Hadoop第五章：序列化Hadoop第五章：几个案例Hadoop第五章：几个案例（二） Hadoop第五章：Jo
转载
2024-05-14 22:43:06
42阅读
目录1、什么是搜索？2、如果用数据库做搜索会怎么样？3、什么是倒排索引、全文检索和Lucene？4、什么是Elasticsearch？这是我的es系列文章开篇，我会尽量用聊天的方式跟大家去聊明白这门技术。说到底mysql,redis,lucene,hadoop本质上就是一个存储介质，核心功能就是CRUD，只是各自的实现方式不一样，es同理，不过是去透彻理解ES的CRUD细节的一个过程，just s
转载
2023-10-28 03:04:10
91阅读
