认真学习，不断提高自己。 目录1.hadoop 生态圈的组件及描述2.Hadoop 的几个默认端口及其含义3.hdfs的工作机制4.hdfs的优缺点5.hdfs数据的上传和下载流程6.checkpoint机制7.HDFS安装目录中的logs中看日志8.使用hdfs可能会产生的问题8.1 HA场景下，启动时出现两个NN都为standby8.2 NN异常的接收到SIGNAL 15，从而进程退出8.3报
转载
2024-05-01 14:42:01
93阅读
文章目录1. 向量数据库简介2. 数据向量化概述2.1. 什么是数据向量化2.2. 数据向量化的意义2.3. 如何实现数据向量化3. 向量数据库工作原理3.1. 向量数据库与传统数据库的区别3.2. 向量数据库常见索引技术3.3. 向量数据库查询过程4. 向量数据库典型应用场景5. 选择向量数据库的考量因素6. 向量数据库发展展望7. 最后 1. 向量数据库简介向量数据库是一种新型的非结构化数据
Hadoop培训内容：HDFS数据组织，1.数据块，2.Staging，3.流水线式的复制1.数据块HDFS最适合的应用场景是处理大数据集合，同时这些应用多是一次写入多次读取，并且读的速度要满足流式读，即write-once-read-many的语义。一个典型的Block大小是64MB，因此文件总是按照64MB切分成Chunk，每个Chunk存储于不同的DataNode服务器中。2.Staging
Sqoop是一个转换工具，用于在关系型数据库与HDFS之间进行数据转换。以下操作就是使用sqoop在mysql和hdfs之间转换数据。1.安装我们使用的版本是sqoop-1.4.3.bin__hadoop-1.0.0.tar.gz，打算安装在/usr/local目录下。首先就是解压缩，重命名为sqoop，然后在文件/etc/profile中设置环境变量SQOOP_HOME。把mysql的jdbc驱
Hbase和传统数据库的区别1.数据类型：Hbase只有简单的数据类型，只保留字符串；传统数据库有丰富的数据类型。 2.数据操作：Hbase只有简单的插入、查询、删除、清空等操作，表和表之间是分离的，没有复杂的表和表之间的关系；传统数据库通常有各式各样的函数和连接操作。 3.存储模式：Hbase是基于列存储的，每个列族都由几个文件保存，不同列族的文件是分离的，这样的好处是数据即是索引，访问查询涉及
转载
2023-08-18 22:51:49
69阅读
向量化模型 embedding模型默认用的是text2vec模型， 如果业务方有自己部署的其他embedding模型，那我们也可以接入。向量数据库三种类型的向量数据库 Tbase , Zsearch , Milvus 一主多备，主备可以切换。
原创
2024-10-11 18:18:43
0阅读
在上一篇文章中我们大致讲述了一下如何通过词嵌入向量的方式为大语言模型增加长期记忆，用于落地在私域场景的问题。其中涉及到使用openai的接口进行词嵌入向量的生成以及chat模型的调用由于众所周知的原因，国内调用openai接口并不友好，所以今天介绍两款开源平替实现分别替代词嵌入向量和文本生成。照例还是简单绘制一下拓扑图： 从拓扑上来看还是比较简单的，一个后端服务用于业务处理，两个AI模型
转载
2024-06-07 13:50:43
215阅读
分布式NoSQL数据库基本概念什么是NoSQL?NoSQL是一些分布式非关系型数据库的统称，它采用非关系的数据模型，弱化模式或表结构、弱化完整性约束、弱化甚至取消事务机制，可能无法支持，或不能完整的支持SQL语句。目的是实现强大的分布式部署能力——一般包括分区容错性、伸缩性和访问效率（可用性）。什么是HBase？全称Hadoop Database，它是Google BigTable的开源实现，是一
转载
2024-04-15 14:40:57
137阅读
## 向量数据库 MongoDB 和 Picon 的区别
在现代数据处理领域，向量数据库成为了一种非常重要的数据存储和查询工具。向量数据库能够高效地存储和处理大量的向量数据，这对于许多应用场景非常有帮助，比如图像搜索、推荐系统和自然语言处理等。在向量数据库领域，MongoDB 和 Picon 是两个常用的选择。本文将介绍 MongoDB 和 Picon 的区别，并提供一些代码示例。
### M
原创
2023-10-25 07:12:49
258阅读
在一些图计算的场景下，我们会遇到同时需要处理 OLTP 和 OLAP 的问题。而本文就给了一个 OLTP 与 OLAP 融合实践的指导思路，希望给你带来一点启发。Dag Controller 介绍Dag Controller 是 NebulaGraph 企业版的图系统，经过反复测试无误后已经发布，它主要解决的是 OLTP 和 OLAP 的融合问题，以及复杂场景下的图计算问题。欢迎大家来详细了解下：
华为云Centos7搭建hadoop集群四：mysql,hive安装 将mysql，hive上传至/opt/module中 mysql我使用rpm进行安装，节点选择03节点 1.检查当前系统是否安装过mysql rpm -qa|grep mariadb如果存在通过命令卸载 sudo rpm -e --nodeps mariadb-libs 2.解压mysql包，因为linux可能是最小化安装会存在
转载
2024-07-24 10:33:26
27阅读
前几天看到一条新闻，PostgresML 融了 4.7M 美元种子轮?。这是凑上了可以蹭的几乎所有热点：Postgres，向量，数据库，Serverless，AI。PostgresML – PostgreSQL 扩展PostgresML 是一个开源的 PostgreSQL 扩展，你能把机器学习（ML）模型无缝集成到你的 PostgreSQL 数据库，使用 SQL 查询对文本和表格数据进行训练和推理
关于数据仓库维度数据处理的方法探究1 维概述1.1概述维度是多维数据集的结构性特性。它们是事实数据表中用来描述数据的分类的有组织层次结构（级别）。这些分类和级别描述了一些相似的成员集合，用户将基于这些成员集合进行分析。(此概念引之于SQLServer2000联机帮助)所有维度均直接或间接地基于表。当从某个表创建维度时，您会选择定义此维度的列。选择列的顺序至关重要，因为它将影响维度层次结构内成员的位
转载
2024-07-16 15:08:41
47阅读
HDFS（Hadoop分布式文件系统）和NoSQL数据库相结合的使用场景，为处理大数据和高并发提供了有效的解决方案。在这篇博文中，我将详细记录解决“HDFS和NoSQL数据库”问题的过程，包括环境配置、编译过程、参数调优、定制开发、调试技巧以及部署方案。
## 环境配置
在开始之前，我们需要准备好相应的环境。以下是所需的环境配置步骤。
1. 确认系统版本为 Linux（推荐 Ubuntu 2
Apache doris介绍:Apache Doris是一个现代化的MPP分析型数据库产品。仅需亚秒级响应时间即可获得查询结果，有效地支持实时数据分析。Apache Doris的分布式架构非常简洁，易于运维，并且可以支持10PB以上的超大数据集。Apache Doris可以满足多种数据分析需求，例如固定历史报表，实时数据分析，交互式数据分析和探索式数据分析等。令您的数据分析工作更加简单高效！一,镜
向量可以简单地理解为一组数字，通常用来表示方向和大小。温度：虽然温度本身是一个标量（只有大小，没有方向），但是我们可以用一个向
原创
2024-09-23 12:21:50
416阅读
文章目录数据库集簇的逻辑结构数据库集簇的物理结构数据库集簇的布局数据库布局表和索引相关文件的布局表空间的布局堆表文件的内部布局读写元组的方式写入堆元组读取堆元组参考 数据库集簇的逻辑结构数据库集簇（database cluster）是一组数据库（database）的集合，由一个PostgreSQL服务器管理。数据库集簇与高可用数据库集群不同，并非意味着“一组数据库服务器”，一个PostgreSQ
HMM是一种结构简单的贝叶斯网络，主要用于时序数据建模，在语音识别，自然语言处理等领域有广泛应用。一、HMM概述1、HMM模型的网络结构上图为HMM模型的结构，其中是不可观测的状态序列；为观测序列。表示第时刻的状态变量，取值为；。表示第时刻的观测值，取值为2、HMM模型的三组参数为状态转移矩阵。从前一个状态转移到后一个状态的概率。为观测概率分布矩阵，在当前状态下取某个观测值的概率为初始概率矩阵,
关系型数据库：OracleSQLServerSybaseInformixAccessDB2mysqlvfpIngersFoxPro非关系型数据库：MongoDBCassandraCouchDBHypertableRedisRiakNeo4jHadoop HBaseCouchbaseMemcacheDBREVENDBVoldemort关系型数据库与非关系型数据库的对比 关系型数据库：关系型数据库的
转载
2024-04-26 09:40:23
113阅读
文章目录4. DataX使用4.3 同步HDFS数据到MySQL案例4.3.1 编写配置文件4.3.1.1 创建配置文件test_province.json4.3.1.2 配置文件内容如下4.3.2 配置文件说明4.3.2.1 Reader参数说明4.3.2.2 Writer参数说明4.3.3 提交任务4.3.3.1 在MySQL中创建gmall.test_province表4.3.3.2 执行
