大数据场景一、各种标签查询查询要素：人、事、物、单位查询范围：A范围、B范围、...查询结果：pic、name、data from1、痛点：对所有文本皆有实时查询需求2、难点：传统SQL使用WHERE子句匹配LIKE关键词，在庞大的数据字段中搜索某些想要的字，需遍历所有数据页或者索引页，查询效率底，当出现千万级以上数据时，耗时较高，无法满足实时要求3、方案：使用全文检索方案
转载
2024-09-22 15:18:41
73阅读
虽然只看了这一篇文章，但应该这个系列的文件应该都不错。铛铛铛……项目源码下载地址： 此项目是用Maven创建的，没有使用Maven的，自己百度、谷歌去；直接用Junit测试就行，先执行里面的save方法，添加10000条测试数据提供各种聚合查询等。一、MongoDB数据库的配置（mongodb.xml）以下是我自己的配置，红色字体请改为自己本机的东东，你说不懂设置端口，不会创建数据库名称
转载
2024-07-02 07:49:53
19阅读
正常情况下，Redis执行命令的速度非常快，官方给出的数字是读写性 能可以达到10万/秒，当然这也取决于机器的性能， 但这里先不讨论机器性 能上的差异，只分析一下是什么造就了Redis除此之快的速度，可以大致归 纳为以下四点： 1 、Redis的所有数据都是存放在内存中的，表1-1是谷歌公司2009年给出的 各层级硬件执行速度，所以
转载
2023-05-26 17:17:26
74阅读
如果你了解 ES 应该知道，ES 可以说是对 Lucene 的一个封装，里面关于倒排索引的实现就是通过 lucene 这个 jar 包提供的 API 实现的，所以下面讲的关于倒排索引的内容实际上都是 lucene 里面的内容。三、倒排索引首先我们还不能忘了我们之前提的搜索需求，先看下建立倒排索引之后，我们上述的查询需求会变成什么样子，这样我们一输入“前”，借助倒排索引就可以直接定位到符合查询条件的
在当今互联网时代，数据是无价之宝。为了更高效地存储和管理数据，数据库成为了重要的组成部分。MySQL和MongoDB都是常用的数据库，但MongoDB比MySQL更为高效，这是为什么呢？一、数据存储方式不同MySQLMySQL是一种关系型数据库管理系统（RDBMS），它使用传统的表格方式来存储数据。具体来说，MySQL中的数据是以表格（也称为关系）的形式组织的，每个表格包含若干列和行。列表示数据的
转载
2023-08-20 14:55:05
376阅读
spark是什么Spark 是专为大规模数据处理而设计的快速通用的计算引擎
---百度百科由此可知，spark是一项处理大规模数据是技术，所以在了解Spark之前，熟悉以下开源的大数据技术对Spark的使用会很有帮助。- 1、HadoopHadoop是最早流行的开源大数据技术之一，是一个可扩展、可容错的系统，用来处
转载
2024-04-11 12:49:15
39阅读
MongoDB和MySQL性能测试及其结果分析 编者用四组数据的查询和插入操作说明MongoDB、HandlerSocket和MySQL在QPS、CPU、IO三种情况下性能的差异。 AD：51CTO 网+ 第十二期沙龙：大话数据之美_如何用数据驱动用户体验 一、测试环境1、测试服务器状况 共涉及4台测试服务器： 压力测试服务器 Web服务器 MongoDB服务器 MySQL服务器。
第一章：MongoDB简介MongoDB是一个高性能、开源、无模式的文档型数据库，由C++编写。没有表、模式、SQL、行的概念，没有事务、ACID兼容性、连接、外键的特性。MongoDB1.8以后，单个服务器的持久性通过事务日志来保证。该日志只追加，每100毫秒刷一次磁盘。MongoDB中要求每个文档必须由一个唯一标识符，默认_id是一个12字节的可在分布式环境中使用的objectId。特性：-
转载
2023-08-30 13:25:36
46阅读
消息5月9日，日前，坐落于廊坊市润泽国际信息港的京津冀大数据创新应用中心主体工程已竣工，该中心将于5月18日洽谈会期间正式投入运营。该中心将通过创新性的展示和互动手段，使用户身临其境体验物联网、传感器、可穿戴设备、智能感知、视频采集、虚拟现实等技术，通过多维度、全方位、实时实地的信息采集和数据分析，支撑智慧城市、智慧交通、智慧能源(600869,股吧)、智慧医疗、智慧环保等方面的应用。在国家大数据
转载
2024-02-05 09:14:35
36阅读
Elasticsearch Java API 客户端连接一个是TransportClient，一个是NodeClient，还有一个XPackTransportClientTransportClient：作为一个外部访问者，请求ES的集群，对于集群而言，它是一个外部因素。NodeClient作为ES集群的一个节点，它是ES中的一环，其他的节点对它是感知的。XPackTransportClient
1.mq的作用: a.削峰填谷（主要解决瞬时写压力大于应用服务能力导致消息丢失、系统奔溃等问题）b.系统解耦（解决不同重要程度、不同能力级别系统之间依赖导致一死全死）c.提升性能（当存在一对多调用时，可以发一条消息给消息系统，让消息系统通知相关系统） d. 蓄流压测（线上有些链路不好压测，可以通过堆积一定量消息再放开来压测） 2.rocketmq的优势： a.支持事务型消息（消息发送和DB操作保持
思考几个问题：为什么搜索是 近实时 的？为什么文档的 CRUD (创建-读取-更新-删除) 操作是 实时 的?复习一遍从上到下的整体结构这里有篇文章讲解的很形象：image 这是集群cluster。image 这是节点Node：就是个机器。image 由一个或者多个节点，多个绿色小方块组合在一起形成一个ElasticSearch
转载
2024-03-20 22:24:44
35阅读
Nginx为何高效，如此之快的原因？设计原理一个高性能服务器典型特点是处理速度块且占用资源少.尤其是当上万连接同时 在线时候.若要做到处理速度快,并发模型设计尤其关键.服务器并发量取决于两个因素:一是服务器连接的进程数量,二是每个进程可同时处理的并发请求数量,因而服务器并发模型由两部分构成,服务的提供方式和链接处理机制,由于这两种别具一格的方式使得Nginx在同类型的网页服务器中表现优秀连接方式一
转载
2024-02-17 17:19:44
11阅读
随着科技进步、社会发展，尤其是以计算机为代表的信息技术飞速发展,各种信息呈爆炸式增长，数据渗透到各行各业，很多企业也越来越重视数据的收集与分析，以三大运营商、阿里云、景安网络为代表的高新技术企业纷纷为客户建立起专业的大数据服务平台，对客户的需要数据进行收集与分析，提供基于大数据的运营指导。
随着科技进步、社会发展，尤其是以计算机为代表的信息技术飞速发展,
转载
2023-07-04 14:53:15
9阅读
前言在数据排序的算法中，不同数据规模应当使用合适的排序算法才能达到最好的效果，如小规模的数据排序，可以使用冒泡排序、插入排序，选择排序，他们的时间复杂度都为O（n2），大规模的数据排序就可以使用归并排序和快速排序，时间复杂度为O（nlogn）。今天我们就来看一下归并排序和快速排序。正文归并排序的原理核心思想（分治思想）： 排序数组，将数组从中间分成前后两部分，对前后两部分分别排序，然后合在一
倒排索引原理正排索引正排是以文档ID为关键字，表中记录文档中每个字的位置信息，查询时扫描表中每个文档中字的信息， 直到找出所有包含查询关键字的文档。倒排索引倒排表是以字或词作为关键字进行索引，表中关键字所对应的记录项记录了出现这个字或词的所有文档ID。正排索引是文档ID到关键字的映射，倒排索引是从关键字到文档ID的映射倒排索引的核心组成1、单词词典：记录所有文档的单词，一般都比较大。还会记录单词到
转载
2024-03-18 20:02:48
63阅读
在之前的博客《什么是大数据?看这一篇就足够了!》中,小菌为大家较为详细的介绍了一些关于大数据的知识。其中提到了大数据的四个特点,即海量化,多样化,快速化和高价值。本篇博客,小菌决定就以快速化这个提点展开,为大家科普下大数据技术为什么快?文章目录拓展性纵向扩展横向扩展分布式资源集中（计算与存储）集中式计...
原创
2021-06-02 09:35:47
493阅读
在之前的博客《什么是大数据?看这一篇就足够了!》中,小菌为大家较为详细的介绍了一些关于大数据的知识。其中提到了大数据的四个特点,即海量化,多样化,快速化和高价值。本篇博客,小菌决定就以快速化这个特点展开,为大家科普下大数据技术为什么快?文章目录拓展性纵向扩展横向扩
原创
2022-04-01 09:33:34
357阅读
转大数据技术开发要学哪些知识点？高效的大数据学习路线推荐。以往的数据开发需要一定的Java基础和工作经验，门槛高，入门难。如果零基础入门数据开发行业的小伙伴从Python语言入手。Python语言简单易懂，适合零基础入门，在编程语言排名上升最快，能完成数据挖掘。想要从事大数据技术开发工作要怎么做，路线是什么？从哪里开始学？学哪些？废话不多说，直接上干货！大数据本质上是海量数据。第一阶段：大数据开发
转载
2024-05-22 15:39:06
29阅读
拜访客户时，发现个有趣的现象客户一般都喜欢聊大数据而且是越大的领导越喜欢聊大数据大数据就像饭局中的小酒有种奇怪的”魔力“往往能瞬间撬开客户的话匣子↓为啥呢？↓因为大数据紧贴上层业务客户能够强烈感知到很多切肤之痛，就藏在数据中数据资产化/数据变现才是决策层关心的如果你聊”交换机有多快，云主机有多猛“客户多半无感但是吧大数据经常是聊得很嗨可到了最终到项目落地时却没那么顺利或甚至令人失望↓这，
原创
2021-05-11 13:49:58
476阅读
点赞
