缓存技术是一个老生常谈的问题，但是它也是解决性能问题的利器，一把瑞士军刀；而且在各种面试过程中或多或少会被问及一些缓存相关的问题，如缓存算法、热点数据与更新缓存、更新缓存与原子性、缓存崩...
转载
2021-07-21 10:53:56
69阅读
缓存技术是一个老生常谈的问题，但是它也是解决性能问题的利器，一把瑞士军刀；而且在各种面试过程中或多或少会被问
原创
2021-08-05 11:08:13
87阅读
本文介绍了vivo在万亿级数据增长驱动下，基础数据架构建设的演进过程，在实时和离线计算过程中，如何基于业务发展，数据质量，计算成本等方面的挑战，构建稳定，可靠，低成本、高性能的双活计算架构。
原创
2024-01-25 10:47:22
125阅读
随着互联网业务增长，传统日志处理方式面临高成本和扩展性差的问题。阿里云 Elasticsearch Serverless 提供按需付费、自动扩缩容和免运维等优势，显著降低成本并提升性能。
缓存技术是一个老生常谈的问题，但是它也是解决性能问题的利器，一把瑞士军刀；而且在各种面试过程中或多或少会被问及一些缓存相关的问题，如缓存算法、热点数据与更新缓存、更新缓存与原子性、缓存崩溃与快速恢复等各种与缓存相关的问题。而这些问题中有些问题又是与场景相关，因此如何合理应用缓存来解决问题也是一个选择题。本文所有内容是跟读服务缓存相关，不会涉及写服务数据的缓存。本文也不考虑内容型应用前置的CDN架构
转载
2020-11-09 19:34:53
300阅读
服务器存储，数据库技术，文件系统人才
原创
2011-05-04 13:12:33
155阅读
缓存技术是一个老生常谈的问题，但是它也是解决性能问题的利器，一把瑞士军刀；而且在各种面试过程中或多或少会被问及一些缓存相关的问题，如缓存算法、热点数据与更新缓存、更新缓存与原子性、缓存崩溃与快速恢复等各种与缓存相关的问题。而这些问题中有些问题又是与场景相关，因此如何合理应用缓存来解决问题也是一个选择题。
本文所有内容是跟读服务缓存相关，不会涉及写服务数据的缓存。本文也不考虑内容型应用前置的CD
转载
2021-06-23 12:27:54
84阅读
#define _CRT_SECURE_NO_WARNINGS 1//海量数据#includeusing namespace std;#inc
原创
2022-09-02 13:56:24
39阅读
1.方案1：可以估计每个文件安的大小为50G×64=320G，远远大于内存限制的4G。所以不可能将其完全加载到内存中处理。考虑采取分而治之的方法。s 遍历文件a，对每个url求取，然后根据所取得的值将url分别存储到1000个小文件（记为）中。这样每个小文件的大约为300M。s 遍历文件b，采取和a相同的方式将url分别存储到1000各小文件（记为）。这样处理后，所有可能相同的url都在对应的小文
转载
2023-07-20 23:31:25
45阅读
一、tushare的简单使用金融数据常识：trade:现价settlement:昨日收盘价open：开盘价close：收盘价high：最高价low：最低价per:市盈率pb:市净率mktcap:总市值nmc:流通市值volume：成交量amount:成交金额price_change：价格变动p_change：涨跌幅changepercent:涨跌幅ma5：5日均价ma10：10日均价ma20:20
转载
2024-08-26 09:13:58
121阅读
目录海量数据的存储海量数据的计算大数据处理的主要应用场景前言：大数据技术诞生之初，就是为了解决海量数据的存储和计算问题。大数据起源于Google。Google是当时世界上（尽管目前也是）最大的搜索引擎公司，由于互联网时代的到来，Google积累了海量的用户，海量用户意味着海量的数据，谷歌需要将这些数据保存下来，传统的保存数据的方式已经满足不了Google的需求了。首先我们需要了解，海量数据的存储面
转载
2024-04-03 15:12:46
100阅读
在大数据处理的诸多环节当中，存储是尤其关键的一环，只有实现了稳固的数据存储，才能为后续的大数据分析、数据可视化等环节提供稳定的地支持，可见大数据存储的重要性。今天我们就来详细聊聊大数据存储技术。进入大数据的学习，我们对于分布式理论都不陌生，正是分布式架构的出现，才使得基于廉价的PC硬件来实施大规模数据处理成为可能。而分布式架构当中，分布式存储和分布式计算，可以说是核心的环节。
转载
2023-11-14 09:56:35
177阅读
简介文字：小红书业务增长非常迅猛，保证数据存取效率的前提下，海量的SNS数据无法用传统型关系数据库去解决，同时爆发式的业务场景使小红书的研发团队更佳青睐于用非关系型数据库做主业务数据存储。为了应对快速增长的业务数据需求，小红书海量规模的使用了腾讯云redis(CRS)，存储容量接近6T，在行业内算是超大海量规模的使用redis的互联网公司。作者简介陈环，腾讯云NoSQL产品经理，负责腾讯云redi
转载
2017-03-01 20:21:48
1416阅读
大数据量时,索引无法全部载入内存由于索引无法一次性载入内存,
原创
2021-07-15 10:37:04
307阅读
模式一：分而治之/Hash映射 + Hash统计 + 堆/快排/归并
原创
2023-02-01 10:25:13
223阅读
大数据的定义：维基百科 给出的定义：
数据规模巨大到无法通过人工在合理的时间内达到截取，管理，处理并整理成为人类所解读的信
息。
麦肯锡全球研究所 给出的定义：
一种规模大到在获取、存储、管理、分析方面都大大超出了传统数据库软件工具能力范围的数据 集合。
高德纳(Gartner)研究机构 给出的定义：
"大数据"是需要新的处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海
转载
2023-11-07 08:09:26
87阅读
什么是JDK？JDK简介 JDK : Java Development ToolKit(Java开发工具包)。JDK是整个JAVA的核心，包括了Java运行环境（Java Runtime Envirnment），一堆Java工具（javac/java/jdb等）和Java基础的类库（即Java API 包括rt.jar）。 最主流的JDK是Sun公司发布的JDK，除了Sun之外，还有很多公司和组织
1. 背景介绍 许多公司的平台每天会产生大量的日志（一般为流式数据，如，搜索引擎的pv，查询等），处理这些日志需要特定的日志系统，一般而言，这些系统需要具有以下特征： （1）构建应用系统和分析系统的桥梁，并将它们之间的关联解耦；（2）支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统；（3）具有高可扩展性。即：当数据量增加时，可以通过增加节点进行水平扩展。
转载
2024-02-06 22:25:37
68阅读
SimHash是什么SimHash是Google在2007年发表
转载
2022-06-17 10:10:59
854阅读
原文链接：http://click.aliyun.com/m/13988/文章中提到的链接如下：1、更多数据集成方案，详见：https://data.aliyun.com/solution/cdp2、DataX开源项目地址：https://github.com/alibaba/DataX3、DataX工具包下载地址：http://datax-opensource.oss-cn-hangzhou.a
转载
2017-03-15 09:46:10
722阅读
