工作中遇到一个问题，redis中存储了大量的key，而且没有设置时效，其中很大一部分后来都没用了，导致redis体积庞大，查询缓慢。 服务器版本为windows，网上搜索到很多批量删除的方法都是Linux下的，几番寻找，终于找到了在windows下批量删除超大量key的方法。 首先贴一下Linux下的方法：redis-cli keys "*" | xargs redis-cli del
/
转载
2023-06-13 14:09:35
117阅读
缓存预热：服务器可能存在刚一开启因请求量较大，或是服务器间数据同步频度较高导致崩溃。针对该问题，要进行缓存预热。前置准备工作： 1、日常例行统计数据访问记录，统计访问频度较高的热点数据 2、利用LRU数据删除策略，构建数据留存队列 例如storm和kafka配合准备工作： 3、将统计结果中的数据分类，根据级别，redis优先加载级别较高的热点数据 4、利用分布式多服务器同时进行数据读取，提取数据加
转载
2023-08-11 10:45:32
90阅读
前言 本博客内曾经整理过有关海量数据处理的10道面试题（十道海量数据处理面试题与十个方法大总结），此次除了重复了之前的10道面试题之后，重新多整理了7道。仅作各位参考，不作它用。 同时，程序员编程艺术系列将重新开始创作，第十一章以后的部分题目来源将取自下文中的17道海量数据处理的面试题。因为，我们觉得，下文的每一道面试题都值得重新
来自传感器、购买交易记录、网络日志等的大量数据，通常是万亿或EB的大小，如此庞大的数据，寻找一个合适处理工具非常必要，今天我们为大家分享在大数据处理分析过程中六大最好用的工具。【编者按】我们的数据来自各个方面，在面对庞大而复杂的大数据，选择一个合适的处理工具显得很有必要，工欲善其事，必须利其器，一个好的工具不仅可以使我们的工作事半功倍，也可以让我们在竞争日益激烈的云计算时代，挖掘大数据价值，及时调
转载
2024-04-26 15:44:48
40阅读
摘 要 本文用Java语言设计了一个数据处理的通用类，实现了字节（数组）与16进制字符串、英文字符串与16进制字节（数组）、Unicode编码与字符串等之间的相互转换，以及从ByteBuffer中获取byte数组和16进制字符串的格式化处理。所有方法均经过了严格的测试，并给出了可视化的测试结果。 关键词 16进制，字节，字符串，Unicode编码 一、引言 无论在何种
转载
2023-08-22 19:54:56
51阅读
转载自：http://jlins.iteye.com/blog/1583585
在Java Web开发中，经常需要导出大量的数据到Excel，使用POI、JXL直接生成Excel，很容易就造成内存溢出了。
1、有一种方式，就是把数据写成csv格式文件。
1）csv文件可以直接用Excel打开。
2）写csv文件的效率和写txt文件的效率一样高。
3）同样的数据
转载
精选
2012-07-11 12:34:09
910阅读
一、布隆过滤器(BloomFilter)如果想判断一个元素是不是在一个集合里，一般想到的是将集合中所有元素保存起来，然后通过比较确定。链表、树、散列表（又叫哈希表，Hash table）等等数据结构都是这种思路，存储位置要么是磁盘，要么是内存。很多时候要么是以时间换空间，要么是以空间换时间。在响应时间要求比较严格的情况下，如果我们存在内里，那么随着集合中元素的增加，我们需要的存储空间越来越大，以及
转载
2024-04-29 11:48:11
88阅读
（1）什么是redis? Redis 是一个基于内存的高性能key-value数据库。 (有空再补充，有理解错误或不足欢迎指正) （2）Reids的特点 Redis本质上是一个Key-Value类型的内存数据库，很像memcached，整个数据库统统加载在内存当中进行操作，定期通过异步操作把数据库数据flush到硬盘上进行保存。因为是纯内存操作，Redis的性能非常出色，每
转载
2023-09-19 16:36:36
138阅读
处理大数据的方法有很多，目前我知道就这么多，后面会持续更新：一、将数据分批次读取csv格式是常见的数据存储方式，对于我们普通人而言易于读写。此外，在pandas中有pd.read_csv()函数可以将csv形式的数据进行读取。但当csv文件非常大的时候，直接读取会很吃内存，甚至会出现内存不够用的情况。这时候我们可以 分批次(分块)读取，而不是一次性读取 这么大体量的数据。操作步骤：分批次读取处理每
转载
2023-09-29 07:20:39
480阅读
Redis 是目前最流行的KV缓存数据库，它简单易用，安全稳定，在互联网行业有着非常广泛的应用。本文主要给大家分享一下 Redis 在单数据多源超高并发访问下的解决思路和方案。前言Redis 主要解决两个问题：当遇到日活千万，同时百万在线的业务场景时，前端访问直接加载到后台数据库的话，可能顺间压垮底层数据库，导致业务停摆。又或者随着查询条件变多，结合条件复杂化，查询结果的响应时间也无法得到保证，导
转载
2023-09-28 16:17:41
44阅读
本文可以认为是的读后感，我是按照我理解的语言重新表述了一下而已。海量数据处理的常用方法包括一下几种：1.分而治之/hash映射 + hash统计 + 堆/快速/归并排序；2.双层桶划分3.Bloom filter/Bitmap；4.Trie树/数据库/倒排索引；5.外排序；6.分布式处理之Hadoop/Mapreduce。 1. 分而治之/hash映射 + hash统计 + 堆/快速/归
转载
2023-08-13 23:50:01
93阅读
RabbitMQ（四） | 惰性队列 - 解决消息堆积问题1.消息堆积问题2.惰性队列2.1.基于命令行设置lazy-queue2.2.基于@Bean声明lazy-queue2.3.基于@RabbitListener声明LazyQueue2.4.发送消息**惰性队列数据变化**正常队列数据变化3.总结 1.消息堆积问题当生产者发送消息的速度超过了消费者处理消息的速度，就会导致队列中的消息堆积，直
转载
2023-12-25 20:58:37
107阅读
文章目录声明数据样例功能需求1.将数据文件按天归档，即每天一个数据文件。需求分析代码实现输出结果2. 将省份文件重新输出，输出后文件以一行一个省份进行保存需求分析代码实现输出结果3.统计每个省份的农产品市场总数需求分析代码实现输出结果4.统计没有农产品市场的省份有哪些需求分析代码实现输出结果5.统计山东省售卖蛤蜊的农产品市场占全省农产品市场的比例需求分析代码实现输出结果6.统计每个省农产品种类总
转载
2024-01-10 11:13:15
49阅读
例如我想计算, 1-100的和是多少,我可以用十个线程,分别计算1-10,11-20.......91-100。
原创
2024-10-21 13:59:27
36阅读
例如我想计算, 1-100的和是多少,我可以用十个线程,分别计算1-10,11-20.......91-100。
（1）什么是redis?Redis 是一个基于内存的高性能key-value数据库。 (有空再补充，有理解错误或不足欢迎指正)（2）Reids的特点 Redis本质上是一个Key-Value类型的内存数据库，很像memcached，整个数据库统统加载在内存当中进行操作，定期通过异步操作把数据库数据flush到硬盘上进行保存。因为是纯内存操作，Redis的性能非常出色，每秒可以处理超过 10万次读写
转载
2023-07-21 19:45:23
91阅读
# Groovy Redis数据处理
## 1. 简介
Redis是一种高性能的内存数据库，它支持多种数据结构和强大的数据处理功能。本文将介绍如何使用Groovy语言处理Redis数据。
## 2. 流程
下表展示了实现"groovy redis数据处理"的整个流程。
| 步骤 | 描述 |
| ---- | ---- |
| 步骤1 | 连接到Redis数据库 |
| 步骤2 | 存储
原创
2023-11-11 13:23:01
73阅读
对于大型缓存系统，存在着以下两种情况会是系统无法做到高可用。第一种情况，对于新系统上线，redis中可能没有缓存数据，此时如果大量请求涌入，则会压垮DB是系统无法正常使用；第二种情况，可能系统运行过程中redis的数据全部丢失了，即使开启了持久化也无法恢复，那么也会出现上述描述的异常情况。因此，可以采用缓存预热来解决以上问题nginx+lua将访问流量上报到kafka中 结合之前的业务代码，在这
转载
2023-10-23 10:05:36
58阅读
Redis 是一个高性能的key-value数据库。 redis的出现，很大程度补偿了memcached这类key-value存储的不足，在部 分场合可以对关系数据库起到很好的补充作用。它提供了Python，Ruby，Erlang，PHP客户端，使用很方便。 1. 按照我们一般的使用Redis的场景应该是这样的： 也就是说：我们会先去redis中判断数据是否存在，如果存在，则直接返
转载
2024-06-21 13:36:44
73阅读
做过开发的应该都知道涉及到金额计算的 不能出现过大的精度缺失，如果还是用开发语言 如java中处理浮点数的方式，那样子会有精度缺失的情况出现.同时在java中如果出现0.001~1000 0000返回之外的 会使用科学计数法，那样明显无法满足实际情况的出现.Decimal Decimal格式化工具类是 用于对常见格式数字处理的，比如首先创建Decimal对象实例，通过有参构造方法 传入设置格式。然
转载
2023-06-15 20:06:22
294阅读
