落地数据：就是被持久化的数据，这种数据一般放在硬盘或是其他的持久化存储设备里，例如：图片、系统日志、在页面上显示的数据以及保存在关系数据库里的数据等等，落地数据一定会有一个固定的载体，他们不会瞬时消失的。 不落地数据：一般指存储在内存或者是网络传输里的数据，这些数据是瞬时，使用完毕就会消失，例如：我
转载
2016-03-01 12:48:00
457阅读
2评论
流程: 1.设计并创建数据库; 2.编写操作数据库接口; 3.修改业务数据存储逻辑,按照先写入mysql再写reids的方式;拉取时如果在reids中找不到数据,就查找mysql; 4.迁移数据; 5.测试注意事项:&n
转载
2023-05-25 14:58:21
103阅读
用流计算 Oceanus 完成一个最接近真实场景的 Flink 任务：从 MySQL 到 ES
作者：腾讯云流计算 Oceanus 团队流计算 Oceanus 简介流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计
转载
2023-07-30 12:29:50
151阅读
# Flume 落地 MySQL
Flume 是一个高可靠、高可用、分布式的日志收集、聚合和传输系统，常用于大数据处理中。在实际应用中，我们经常会使用 Flume 将日志数据采集到 HDFS 或者其他数据存储中。本文将介绍如何使用 Flume 将数据落地到 MySQL 数据库中。
## 准备工作
在开始之前，我们需要准备以下工作：
- 安装 Flume
- 安装 MySQL 数据库
- 创
原创
2024-03-21 05:20:28
20阅读
Redis 的落地策略
Redis 的落地策略其实就是持久化(Persistence)，主要有以下2种策略：RDB: 定时快照方式(snapshot)AOF: 基于语句追加文件的方式RDBRDB 文件非常紧凑，它保存了 Redis 某个时间点上的数据集。RDB 恢复大数据集时速度要比 AOF 快。但是 RDB 不适合那些对时效性要求很高
转载
2023-05-26 16:33:51
185阅读
# MySQL 定期清理数据与备份的落地方案
在现代互联网应用中，数据库作为数据存储的核心，越来越受到重视。如何有效管理数据库中的数据，尤其是定期清理不必要的数据和备份，是每个开发者都需要面对的重要问题。本文将探讨如何在 MySQL 中实现定期清理数据和备份，并提供代码示例，帮助你更好地理解这一过程。
## 一、定期清理数据
随着时间的推移，数据库中的数据会不断增加，可能导致性能下降、存储空
原创
2024-10-11 06:33:48
312阅读
背景许多公司的业务平台每天都会产生大量的日志数据。对于这些日志信息，我们可以得到出很多有价值的数据。通过对这些日志信息进行日志采集、收集，然后进行数据分析，挖掘公司业务平台日志数据中的潜在价值。任何完整的大数据平台，一般包括以下的几个过程：数据采集-->数据存储-->数据处理（ETL）-->数据展现(可视化，报表和监控)其中，数据采集是所有数据系统必不可少的，随着大数据越来越被重
转载
2023-07-11 17:34:29
172阅读
Redisson实现分布式锁(3)—项目落地实现
有关Redisson实现分布式锁前面写了两篇博客作为该项目落地的铺垫。1、Redisson实现分布式锁(1)---原理2、Redisson实现分布式锁(2)—RedissonLock这篇讲下通过Redisson实现分布式锁的项目实现，我会把项目放到GitHub,该项目可以直接运用于实际开发中，作为分布式锁使用。一、项目概述 1
转载
2023-11-04 21:47:37
90阅读
AOF（AppendOfFile）介绍：以日志的形式来记录每个写操作，将Redis执行过的所有写指令记录下来(读操作不记录)，只许追加文件但不可以改写文件，redis启动之初会读取该文件重新构建数据，换言之，redis重启的话就根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作也就是说AOF会将所有的写操作以日的形式志记录到文件中，而且这个保存的时间间隔是1秒钟，那么这个时候所有的记录
转载
2024-10-08 10:46:26
29阅读
本文内容可查看目录本文内容包含单节点（单agent）和多节点（多agent，采集远程日志）说明一、环境linux系统：Centos7 Jdk：1.7 Flume：1.7.0 二、安装linux中jdk、mysql的安装不多赘述flume1.7的安装：进入官网：http://flume.apache.org/ 然后找到1.7版本下载放到centos系统解压即可三、准备数据库表注，本文flume的e
转载
2023-10-10 10:17:50
112阅读
从实战出发使用RedisShake进行Redis数据在线+离线模式迁移指南RedisShake基本介绍RedisShake是基于redis-port基础上进行改进的是一款开源的Redis迁移工具，支持Cluster集群的在线迁移与离线迁移（备份文件导入）。数据可平滑迁移，当部署在其他云厂商Redis服务上的Cluster集群数据，由于SYNC、PSYNC命令被云厂商禁用，无法在线迁移时，可以选择离
转载
2024-05-15 11:06:58
49阅读
1、官网地址官网地址：Redis
中文官网地址：CRUG网站
2、Redis命令大全官网命令大全直接搜索即可注：命令不区分大小写，而key是区分大小写的，可使用 help @类型名词 查看3、Redis 基本数据类型以前是 5 种数据类型，现在是 8 种啦~String(字符类型)Hash(散列类型)List(列表类型)Set(集合类型)SortedSet(有序集合类型，简称z
转载
2024-10-21 20:36:00
59阅读
随着数据驱动业务的发展，数据中台作为一种新兴的架构设计模式，逐渐受到企业的关注和采用。数据中台旨在构建统一的数据基础设施和数据服务，为企业内部各业务部门提供高效的数据支持和数据交换能力。在实际落地数据中台项目时，良好的架构设计是至关重要的。本文将探讨数据中台的架构设计要素和一些最佳实践。 1、架构设
原创
2023-12-01 10:25:29
96阅读
最近几年，Rddis非常的火，受到广大中大型公司，特别是互联网公司的青睐。而作为后端开发，如果你不知道Redis或不会用，没用过，你都不好意思出去找工作。可想而知Redis对于IT行业意义多么重大。对于一些初学者可能并不了解Redis，所以，我们接下来一起来学习一下Reids的一些基本概念，进而加深对Redis的理解。Redis是什么？首先看官网的解释：Redis是一个开源（BSD许可），内存存储
转载
2023-07-10 19:48:18
82阅读
今晚直播！
原创
2022-06-01 15:36:26
120阅读
近年来，随着智能电子产品的不断发展和普及，产品更新换代的速度越来越快，而且客户订单数量少，品种多，订单交货期短，导致库存的压力越来越大，进一步降低了电子企业的利润收益。为了对库存进行精细化管理，电子企业开始引入WMS仓储管理系统解决方案，借助仓储条码管理系统，解决现有库存问题，确保库存准确、不积压，提升库存周转率。电子企业库存管理痛点1、电子产品材料型号规格多，难区分、不易找，以致不少产品堆积在角
与传统的数据架构要求整合、面向主题、固定分层等特点不同，数据湖为企业全员独立参与
转载
2022-10-03 13:20:00
2052阅读
当今企业，尤其是大型企业，往往拥有数百个独立的应用程序和系统，跨组织、跨部门的数据很容易变得支离破碎、重复、以及不能及时更新。发生这种情况时，准确回答一些企业关心的基本问题都会变得很痛苦：例如“谁是我们最赚钱的客户？” “什么产品的利润率最高？”，甚至“我们有多少员工”？都会变得难以回答——至少难以准确的回答。随着数据源的增加，准确、及时的信息需求就会变得越来越迫切。保持数据定义是最新的，并一致地
转载
2023-07-30 22:46:38
160阅读
Java数字格式化DecimalFormat 是 NumberFormat 的一个子类，用于格式化十进制数字。DecimalFormat 类包含一个模式和一组符号Java大数字运算（BigInteger类和BigDecimal类） BigInteger 类是针对整型大数字的处理类，而 BigDecimal 类是针对大小数的处理类。BigInteger 类 在运算中 BigInteg
转载
2023-07-06 20:30:49
35阅读
# SpringBoot集成Quartz 落地到mysql实现步骤
## 流程概述
下面是实现SpringBoot集成Quartz并将任务信息持久化到MySQL数据库的简要步骤：
1. 添加依赖
2. 创建数据库表
3. 配置Quartz
4. 创建定时任务
5. 实现定时任务逻辑
6. 运行测试
## 具体步骤及代码实现
### 1. 添加依赖
首先，我们需要在项目的`pom.xml
原创
2024-01-16 10:15:37
540阅读
