一、kafka的基本介绍kafka是一个分布式，分区的，多副本的，多订阅者的消息发布订阅系统（分布式MQ系统），可以用于搜索日志，监控日志，访问日志等。最初由linkedin公司开发，使用scala语言编写，Kafka is a distributed,partitioned,replicated commit logservice。kafka对消息保存时根据Topic进行归类，发送消息者成为Pr
文章目录1、常识1.1磁盘性能1.2磁盘读取1.3数据库出现1.3.1 datapage1.3.2 索引1.3.3 数据库存储方式1.4Redis出现 1、常识1.1磁盘性能在计算机中，数据是可以存放在磁盘也可以是存放在内存。磁盘有两个非常重要的性能指标，平均访问时间和传输速率，磁盘的访问时间也就是寻址时间，它是毫秒级的；传输速率，也就是单位时间读写多少字节。相较于磁盘，内存则是另一个量级的存储
转载
2024-02-22 12:43:38
36阅读
背景依旧是用户画像的项目，现在标签化的数据存放在hive中，而查询是要在hbase上进行查询，所以需要将hive的数据导入hbase中。方案：1、hive和hbase的表建立映射关系，读取的是同一份HDFS文件，只是在上层建立hbase到hive表的映射。优点：一份数据存储，两种查询模式，数据存储最低；缺点：底层还是格式化的HDFS文件，查询需要进行映射转换，效率较低；2、将hive的数据通过生成
转载
2023-12-24 00:41:02
138阅读
Hive强依赖是一个在数据生态系统中比较常见的问题。这种强依赖关系可能导致系统的复杂性增加，更新和维护难度加大，甚至影响数据的稳定性。本文将详细介绍如何有效解决Hive的强依赖问题，包括环境预检、部署架构、安装过程、依赖管理、故障排查和扩展部署等几个方面。
### 环境预检
在解决Hive强依赖问题之前，我首先进行了环境预检，以确保所使用的工具和环境均符合需求。我使用了四象限图来分析不同组件和
安装包下载地址zookeeper 3.4.9+kafka 2.12_2.6.1
链接：https://pan.baidu.com/s/1aqBQVMxMNa7RrMfxmg65cw
提取码：s3ms
链接：https://pan.baidu.com/s/1Hr2pcqXUsQMrdxyLkuWZUA
提取码：9cwl192.xxx.xxxCentOS Linux release 7.9.2
转载
2024-04-25 21:30:06
41阅读
因为工作需要，我们使用hbase + hadoop存储基于用户内容的数据(UGC)，本文将描述如何逐步搭建此平台，仅作参考。 1. 环境 操作系统：Red hat 6.3，300G硬盘，双核CPU JAVA：JDK1.6
转载
2024-07-19 09:48:11
58阅读
redis持久化机制包括RDB和AOF两种，持久化功能对数据恢复是必不可少的，掌握redis持久化机制对于开发和运维都是非常重要的1.RDBredis的默认持久化方式是快照形式的RDB机制，将某一时刻内存的数据保存到磁盘上 1.1 触发机制 a. 手动触发 对应save和bgsav
转载
2023-08-22 16:51:28
46阅读
1.Redis是什么2.Redis的作者何许人也3.谁在使用redis4.学会安装redis5.学会启动redis6.使用redis客户端7.redis数据结构 – 简介8.redis数据结构 – strings9.redis数据结构 – lists10.redis数据结构 – 集合11.redis数据结构 – 有序集合12.redis数据结构 – 哈希13.聊聊redis持久化 – 两种方式14
转载
2024-06-24 21:36:33
29阅读
Java Gradle强依赖问题记录
在使用Java和Gradle构建项目时，开发者常常会遇到强依赖问题。这类问题一般指各个模块之间存在不兼容的版本依赖，从而导致构建失败。本文记录了解决“Java Gradle强依赖”问题的过程，其中包括环境预检、部署架构、安装过程、依赖管理、服务验证和扩展部署等多个环节。
## 环境预检
在进行项目构建之前，首先要确保环境的兼容性。这里使用四象限图来对比不
yarn仅仅一夜，却也是无数个日夜，FaceBook 开源了 yarn 这个新的 JavaScript 包管理工具， 这个和 Exponent, Google, 以及 Tilde 合作完成的项目。 官网 | Github Repo yarn出现的缘由 — 解决npm历史遗留的痛点亮点极致的快速—会缓存已经下载过的包，避免重复下载~~~这特性比npm好多了，不用每次都请求下载 离线模式 — 之前下载
转载
2024-10-12 07:48:22
9阅读
一、安装JDK 81、下载后上传2、解压```tar -zxvf jdk-8u201-linux-x64.tar.gz ```3、环境配置vi /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_201
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar
转载
2024-01-31 01:39:22
39阅读
# Redis可以放到磁盘吗？
## 1. 简介
Redis是一个高性能的键值存储系统，它将数据存储在内存中以提供快速的读写访问。然而，由于内存有限，当数据量变大时，Redis可能无法容纳所有数据。因此，有人会问，Redis是否可以将数据存储到磁盘上？
## 2. Redis持久化机制
Redis提供了两种持久化机制，用于将数据存储到磁盘上，以解决内存容量限制的问题。
### 2.1 R
原创
2023-12-29 08:49:17
48阅读
前言如果你是一个入行不久的前端开发，面试中多半会遇到一个问题：你认为使用React要注意些什么？这个问题意在考察你对React的使用深度，因为沉浸式地写过一个项目就会发现，不同于一些替你做决定的框架，“潜规则”丰富的React远比看上去要难相处。 React中主要有两类坑点，一种是让你措手不及，结果对不上预期，严重影响开发进度，另一种更为头痛，表面风平浪静，水下暗流涌动。 官方文档的触角只伸到De
转载
2024-09-23 12:15:59
45阅读
在软件工程中，依赖关系是一个不可避免的概念，它描述了模块、组件或系统之间的关联程度。这种依赖可以进一步细分为强依赖关系和弱依赖关系，它们在软件设计、开发、测试及维护过程中起着至关重要的作用。对于参加软考的考生而言，深入理解这两种依赖关系，能够更好地指导软件项目的实践。
**强依赖关系**
强依赖关系指的是模块或组件之间存在着紧密的、不可或缺的联系。在软件系统中，如果模块A必须在模块B存在且正确
原创
2024-05-27 19:33:15
358阅读
Tendis是腾讯互娱CROS DBA团队 & 腾讯云数据库团队自主设计和研发的分布式高性能KV存储数据库，兼容Redis核心数据结构与接口，可提供大容量、低成本、强持久化的数据库能力，适用于兼容Redis协议、需要大容量且较高访问性能的温冷数据存储场景。
Tendis目前已经被应用到腾讯内、外部大型项目中。
Tendis是腾讯互娱CROS DB
转载
2024-04-26 13:50:57
97阅读
Hive整合Hbase（一）1、简介Hive提供了与HBase的集成，使得能够在HBase表上使用HQL语句进行查询 插入操作以及进行Join和Union等复杂查询、同时也可以将hive表中的数据映射到Hbase中。2、应用场景1、将ETL操作的数据存入HBase 2、HBase作为Hive的数据源 3、构建低延时的数据仓库 3、环境准备3.1、hive与hbase版本兼容性Hive版本 hive
转载
2023-09-01 16:16:19
53阅读
要想非常明确什么场景下用Hbase，那么我们来先了解下Hbase的主要核心特性，那么在什么业务场景下用Hbase，就比较清晰了！Hbase是一种在Hadoop之上的NoSQL的Key/vale数据库，底层依靠HDFS进行数据存储。一、Hbase核心特性海量数据存储面对互联网应用的海量数据，传统关系型数据库比如mysql，一般单表不会超过一千万，并且单表字段数量也一般不会超过100个，否则性能急剧下
转载
2023-08-20 23:42:36
134阅读
笔记使用工具 介绍Jedis1.引入
依赖<dependency>
<groupId>
redis.clients</groupId>
<artifactId>jedis</artifactId>
</dependency>2.测试@Spring
转载
2024-07-04 22:40:02
88阅读
redis 持久化持久化概述RDB概述优点缺点配置AOF概述优点劣势配置 持久化概述Redis 的高性能是由于将其所有的数据都存储在了内存中。但是为了使Redis在重启之后保证数据不丢失，这就需要将数据写入到磁盘中进行持久化操作。 Redis支持两种方式的持久化，一种是RDB方式，一种是AOF方式。使用时，可以单独使用一种，或者两种方式结合使用。RDB概述Redis默认支持，无需配置 该机制是指
转载
2023-08-30 14:04:52
49阅读
系统版本：centos7.7
环境搭建（离线状态）
安装java环境安装配置mysql数据库安装配置redis数据库安装java环境jdk版本：jdk-8u5-linux-x64.rpm点击下载 提取码: ud1r检查系统是否已经有JDK，输入如下命令查看是否系统中是否已安装，部分人在安装CentOS 7时系统会自动安装JDK：java –version
如果系统没有安装，输入命令后提示如下[r
转载
2024-03-11 10:31:36
41阅读
