认真学习，不断提高自己。 目录1.hadoop 生态圈的组件及描述2.Hadoop 的几个默认端口及其含义3.hdfs的工作机制4.hdfs的优缺点5.hdfs数据的上传和下载流程6.checkpoint机制7.HDFS安装目录中的logs中看日志8.使用hdfs可能会产生的问题8.1 HA场景下，启动时出现两个NN都为standby8.2 NN异常的接收到SIGNAL 15，从而进程退出8.3报
Hbase和传统数据库的区别1.数据类型：Hbase只有简单的数据类型，只保留字符串；传统数据库有丰富的数据类型。 2.数据操作：Hbase只有简单的插入、查询、删除、清空等操作，表和表之间是分离的，没有复杂的表和表之间的关系；传统数据库通常有各式各样的函数和连接操作。 3.存储模式：Hbase是基于列存储的，每个列族都由几个文件保存，不同列族的文件是分离的，这样的好处是数据即是索引，访问查询涉及
转载
2023-08-18 22:51:49
66阅读
向量化模型 embedding模型默认用的是text2vec模型， 如果业务方有自己部署的其他embedding模型，那我们也可以接入。向量数据库三种类型的向量数据库 Tbase , Zsearch , Milvus 一主多备，主备可以切换。
在上一篇文章中我们大致讲述了一下如何通过词嵌入向量的方式为大语言模型增加长期记忆，用于落地在私域场景的问题。其中涉及到使用openai的接口进行词嵌入向量的生成以及chat模型的调用由于众所周知的原因，国内调用openai接口并不友好，所以今天介绍两款开源平替实现分别替代词嵌入向量和文本生成。照例还是简单绘制一下拓扑图： 从拓扑上来看还是比较简单的，一个后端服务用于业务处理，两个AI模型
分布式NoSQL数据库基本概念什么是NoSQL?NoSQL是一些分布式非关系型数据库的统称，它采用非关系的数据模型，弱化模式或表结构、弱化完整性约束、弱化甚至取消事务机制，可能无法支持，或不能完整的支持SQL语句。目的是实现强大的分布式部署能力——一般包括分区容错性、伸缩性和访问效率（可用性）。什么是HBase？全称Hadoop Database，它是Google BigTable的开源实现，是一
## 向量数据库 MongoDB 和 Picon 的区别
在现代数据处理领域，向量数据库成为了一种非常重要的数据存储和查询工具。向量数据库能够高效地存储和处理大量的向量数据，这对于许多应用场景非常有帮助，比如图像搜索、推荐系统和自然语言处理等。在向量数据库领域，MongoDB 和 Picon 是两个常用的选择。本文将介绍 MongoDB 和 Picon 的区别，并提供一些代码示例。
### M
原创
2023-10-25 07:12:49
184阅读
华为云Centos7搭建hadoop集群四：mysql,hive安装 将mysql，hive上传至/opt/module中 mysql我使用rpm进行安装，节点选择03节点 1.检查当前系统是否安装过mysql rpm -qa|grep mariadb如果存在通过命令卸载 sudo rpm -e --nodeps mariadb-libs 2.解压mysql包，因为linux可能是最小化安装会存在
关于数据仓库维度数据处理的方法探究1 维概述1.1概述维度是多维数据集的结构性特性。它们是事实数据表中用来描述数据的分类的有组织层次结构（级别）。这些分类和级别描述了一些相似的成员集合，用户将基于这些成员集合进行分析。(此概念引之于SQLServer2000联机帮助)所有维度均直接或间接地基于表。当从某个表创建维度时，您会选择定义此维度的列。选择列的顺序至关重要，因为它将影响维度层次结构内成员的位
向量可以简单地理解为一组数字，通常用来表示方向和大小。温度：虽然温度本身是一个标量（只有大小，没有方向），但是我们可以用一个向
关系型数据库：OracleSQLServerSybaseInformixAccessDB2mysqlvfpIngersFoxPro非关系型数据库：MongoDBCassandraCouchDBHypertableRedisRiakNeo4jHadoop HBaseCouchbaseMemcacheDBREVENDBVoldemort关系型数据库与非关系型数据库的对比 关系型数据库：关系型数据库的
词向量，英文名叫Word Embedding，按照字面意思，应该是词嵌入。说到词向量，不少读者应该会立马想到Google出品的Word2Vec，大牌效应就是不一样。另外，用Keras之类的框架还有一个Embedding层，也说是将词ID映射为向量。由于先入为主的意识，大家可能就会将词向量跟Word2Vec等同起来，而反过来问“Embedding是哪种词向量？”这类问题，尤其是对于初学者来说，应该是
一、关系型数据库1、含义： 关系型数据库，是指采用了关系模型来组织数据的数据库，其以行和列的形式存储数据，以便于用户理解，关系型数据库这一系列的行和列被称为表，一组表组成了数据库。用户通过查询来检索数据库中的数据，而查询是一个用于限定数据库中某些区域的执行代码。关系模型可以简单理解为二维表格模型，而一个关系型数据库就是由二维表及其之间的关系组成的一个数据组织。2、常见的关系型数据库 关系型数据库常
错过上篇的同学可以点击标题回顾
三、Milvus 是什么？ Milvus 是 一款开源的、针对海量特征向量的相似性搜索引擎。Milvus能够很好地应对海量向量数据，它集成了目前在向量相似性计算领域比较知名的几个开源库（Faiss， SPTAG等），通过对数据和硬件算力的合理调度，以获得最优的搜索性能。 
一、HDFS的写数据流程①服务端启动HDFS中的NN和DN进程②客户端创建一个分布式文件系统客户端，由客户端向NN发送请求，请求上传文件③NN处理请求，检查客户端是否有权限上传，路径是否合法等④检查通过，NN响应客户端可以上传⑤客户端根据自己设置的块大小，开始上传第一个块，默认0-128M,NN根据客户端上传文件的副本数(默认为3)，根据机架感知策略选取指定数量的DN节点返回⑥客户端根据返回的DN
认识NoSQLNoSQL：泛指非关系数据库（Not only SQL）
NoSQL两重要特征：使用硬盘和把随机存储器作为存储载体NoSQL分类（按照存储格式）
1）键值（Key-Value）存储数据库
2）列存储数据库
3）文档型存储数据库
4）图形数据库目前比较流行的NoSQL数据库有Casssandra，Lucene，Neo4J，MongoDB和HBaseHBase（Hadoop Databa
转载
2023-08-16 19:09:53
121阅读
什么是MilvusMilvus 是一款云原生向量数据库，它具备高可用、高性能、易拓展的特点，用于海量向量数据的实时召回。Milvus 基于 FAISS、Annoy、HNSW 等向量搜索库构建，核心是解决稠密向量相似度检索的问题。在向量检索库的基础上，Milvus 支持数据分区分片、数据持久化、增量数据摄取、标量向量混合查询、time travel 等功能，同时大幅优化了向量检索的性能，可满足任何向
转载
2023-10-27 14:52:20
226阅读
文章目录一.milvus是什么二.安装milvus三.使用milvus四.总结 一.milvus是什么milvus 是一款开源的向量相似度搜索引擎，支持针对 TB 级向量的增删改操作和近实时查询，具有高度灵活、稳定可靠以及高速查询等特点。milvus 还可以对标量数据进行过滤，进一步提高了召回率，增强了搜索的灵活性。在服务端，milvus 由 Milvus Core 和 Meta Store 两
（一）Milvus是什么？ Milvus 是 一款开源的、针对海量特征向量的相似性搜索引擎。Milvus能够很好地应对海量向量数据，它集成了目前在向量相似性计算领域比较知名的几个开源库（Faiss， SPTAG等），通过对数据和硬件算力的合理调度，以获得最优的搜索性能。 用户只需要从docker hub上下载一个Milvus的最新镜像，一行命令即可启动，然后可以通过Python SDK或者Java
Elasticsearch 从 2022 年 2 月发布的 8.0 版本开始，提供了基于向量的搜索和自然语言处理（NLP）功能。 下图清楚地展示
原创
2023-07-16 10:00:29
2505阅读
导读：Apache Hive是一个构建于Hadoop(分布式系统基础架构)顶层的数据仓库，Apache HBase是运行于HDFS顶层的NoSQL(=Not Only SQL，泛指非关系型的数据库)数据库系统。区别于Hive，HBase具备随即读写功能，是一种面向列的数据库。对于刚接触大数据的用户来说，要想区分Hive与HBase是有一定难度的。本文将尝试从其各自的定义、特点、限制、应用场景等角度
转载
2023-07-12 10:08:22
121阅读
