可视化工具（Postman）操作创建空索引PUT localhost:9200/索引库名称
{
"settings":{
"index":{
"number_of_shards":3, //分片数量
"number_of_replicas":0 //副本数量
}
}
}修改副本数量PUT /my_index/_settings
{
"number_o
第六章 HDFS概述
6.1.2 HDFS体系结构
HDFS采用主从结构，NameNode(文件系统管理者，负责命名空间，集群配置，数据块复制),
DataNode(文件存储的基本单元，以数据块形式保存文件内容和数据块的数据校验信息，执行底层数据块IO操作),
Client(和名字节点，数据节点通信，访问HDFS文件系统，操作文件),
数据存入HDFS中时需要对其进行分片（split）、压缩等操作。HDFS使用Block（存储块）对文件的存储进行操作，Block是HDFS的基本存储单元，默认大小是64MB（Block较大的优点：可以减少用户与节点之间的通信需求；Namenode利用率高）。每个Block的默认副本数为3。HDFS数据存储的目标有两个：最大化数据可靠性（每个数据块有默认3个副本）；最大化利用网络带宽资源。数据节点之
转载
2023-08-05 14:33:39
336阅读
HDFS：Hardoop Distributed File System，即Hardoop分布式文件存储系统。 HDFS主要有两个重要节点：NameNode和DataNode。前者叫元数据节点，承担Master管理者的角色，维护了一个HDFS的目录树以及HDFS目录结构与真实文件存储位置的映射关系。后者叫数据节点，承担Wor
HDFS选择数据节点的方式越来越复杂，也越来越考虑到吞吐量，但是同样存在着一些问题。分配数据节点的所需的参数主要有文件副本数numOfReplicas、writer（客户端所在节点）、excludedNodes（客户端排除的节点）、chosenNodes（已经选择的节点）方法是BlockPlacementPolicyDefault类的DatanodeDescriptor[] chooseTarge
1、 集群健康状态集群健康值:yellow(3of6):表示当前集群的全部主分片都正常运行，但是副本分片没有全部处在正常状 态 3个主分片正常3个副本分片都是Uassigned-它们都没有被分配到任何节点。在同 一个节点上既保存原始数据又保存副本是没有意义的，因为一旦失去了那个节点，我们也将丢失该节点 上的所有副本数据。 当前我们的集群是正常运行的，但是在硬件故障时有丢失数据的风险。2、故障转移当
理论知识点存储模型文件线性按字节切割成block，具有offset，id（所有的文件都可以看作字节数组）文件与文件的block大小可以不一样一个文件除了最后一个block，其他的block大小一致block的大小根据硬件的I/O特性调整（1.X默认是64M，2.X默认是128M）block被分散存放到集群的节点中，具有locationblock具有副本，没有主从概念，副本不能出现在同一节点（满足可
转载
2023-08-25 23:14:48
133阅读
1、简介 对于数据库而言，都脱离不了对数据的增删改查，本文将从对索引创建、删除、修改配置等和对索引中doc数据进行增删改查操作。使用kibana的dev tools进行操作测试。2、Elasticsearch中相关名词解释名词说明index（索引）相当于是数据库mapping（映射）相当于数据库中表结构：字段名称、类型等doc（行数据）相当于数
基本概念可以对照数关系型据库来理解Elasticsearch的有关概念。Relational DBElasticsearchDatabasesIndicesTablesTypesRowsDocumentsColumnsFields在ES中，存储结构主要有四种，与传统的关系型数据库对比如下：index（Indices）相当于一个databasetype相当于一个tabledocument相当于一个r
一、概述1.2014年6月，谷歌云计算专家埃里克·布鲁尔（Eric Brewer）在旧金山的发布会为新的开源工具揭牌，它的名字Kubernetes意思是船长或领航员，这也恰好与它在容器集群管理中的作用吻合，即作为装载了集装箱（Container）的众多货船的指挥者，负担着全局调度和运行监控的职责。Kubernetes对计算资源进行了更高层次的抽象，通过将容器进行细致的组合，将最终的应用服务交给用户
目录测试内容两套环境的配置对于简单文档的测试对于嵌套文档的测试TransportClient客户端多种测试方案综合比较测试结论关于分片和副本做出该测试的是公司的一位大佬，所以其实是转载测试内容分别在不同的环境下，测试不同的文档结构，分片和副本数量对于插入速率的影响。第二次指的是删除索引后重建索引的测试结果。两套环境的配置1. A机8核20G内存4T机械硬盘，B机赛扬2核6G内存500G机械硬盘，C
存储模型文件线性桉字节切割成块(block),具有offset,id文件和文件的block大小可以不一样一个文件除最有一个block,其他block大小一致block的大小依据硬件的I/O特性调整block被分散存放在集群的节点中,具有locationblock具有副本(replication),没有主从概念,副本不能出现在同一个节点副本是满足可靠性和性能的关键文件上传可以指定block大小和副本
通过使用 Shrink API 使用更少的主碎片来调整 Elasticsearch 索引的大小。在 Elasticsearch 中，每个索引都包含多个分片，而 Elasticsearch 集群中的每个分片都有助于使用cpu，内存，文件描述符等。这无疑有助于并行处理的性能。 以时间序列数据为例，你将对带有当前日期的索引进行大量读写。如果该索引下降了请求，并且仅时不时地从该索引中读取数据，那么我们不再
简介官网：
https://www.elastic.co/
Elastic Search
1.基于Apache Lucene的开源搜索引擎
2.采用Java编写 RESTful API风格
3.较容易的横向扩展
应用场景
1.海量数据分析引擎
2.数据搜索引擎
3.数据仓库安装下载地址：
https://www.elastic.co/downloads/elasticsearch
官网推荐
一、ES中的settingsES中的settings可以设置索引库的一些配置信息，主要是针对分片数量和副本数量 其中分片数量只能在一开始创建索引库的时候指定，后期不能修改。 副本数量可以随时修改。首先查看一下ES中目前已有的索引库的默认settings信息。[root@bigdata01 ~]# curl -XGET 'http://bigdata01:9200/emp/_settings?pre
大数据HDFS学习（二）辛苦整理，未经允许，严禁转载！HDFS不重视代码，着重于理解。1.概述HDFS需要有一个节点来负责管理，有多个节点来负责存储–HDFS结构是一个典型的主从结构负责管理的节点称之为NameNode，负责存储的节点称之为DataNode在HDFS中，存储数据的时候，会将数据进行切分，切出多个数据块放到多个节点上HDFS会自动的对数据块进行备份，每一个备份称之为一个副本（repl
原理问题
主分片是4 副本数是2 ，副本分片等于就是8个，所有分片等于加起来分片数是12，主分片可以写入，副本分片只可读
一个分片最大存储30G数据
elasticsearch7以上 xpack基础版本免费了，不用破解
https://www.elastic.co/cn/subscriptions 免费功能界面
集群必须强制开启tls后才能开启密码认证
参考文档
副本放置策略假设在数据中心的一个机架上面有5个服务器。一般正常的机架放10个，为什么10个，这个是按照机架的电量去算的，每个服务器分配多少安培的电流，一个机柜的电流安培数是有标准的，一个机柜的电流大小除以一个服务器的电流大小，算一个估算值。】正常情况下，就是三个副本。副本不是越多越好，越多，需要的存储空间就大了，而且写的越慢。第一个副本：放置在上传的DN节点上，比如现在用client客户端上传的文
看完什么是 Elasticsearch 以及了解到了倒排索引的概念，下面就熟悉下 ES 中常用的一些名词。
前言看完什么是 Elasticsearch 以及了解到了倒排索引的概念，下面就熟悉下 ES 中常用的一些名词。常用术语名词解释cluster一个或者多个 node 指定相同的 cluster name，则它们会组成集群，并且自动选举 master，
1.es 一台机器一般为一个节点。一台机器不设置的情况下是无法创建副本集的，副本集和主本必须不在一个节点下，方便故障转移等2.es7.x后一个索引后只能创建一个类型，可以通过修改更改出现这个的原因是，elasticsearch7默认不在支持指定索引类型，默认索引类型是_doc，如果想改变，则配置include_type_name: true 即可(这个没有测试，官方文档说的，无论是否可行，建议不要
