目录1 SparkSession 应用入口2 词频统计WordCount2.1 基于DSL编程2.2 基于SQL编程3 数据处理分析3.1 基于DSL分析3.2 基于SQL分析 1 SparkSession 应用入口Spark 2.0开始，应用程序入口为SparkSession，加载不同数据源的数据，封装到DataFrame/Dataset集
原创
2021-08-25 23:21:37
479阅读
这是互联网领域一个比较经典的算法问题（top k），如何在巨大的数据中找出最大，或者访问量最高的前10个，前100个或者前1000个数据。比如在2亿用户记录中找出信用等级最高的，在上亿个搜索词汇中找出被搜索次数最高的10个关键字。前提是数据存储在文件中一般遇到这个问题，第一反应会想到排序，但是稍微对内存有点了解的人立刻都会否定这个答案，大量的数据导入内存且不说内存够不够，就算足够服务器上其他的服务
# Python大数据搜索实现流程
## 一、整体流程
下面是实现"Python大数据搜索"的整体流程：
| 步骤 | 描述 |
| --- | --- |
| 1 | 连接数据库 |
| 2 | 构建查询语句 |
| 3 | 执行查询 |
| 4 | 处理查询结果 |
| 5 | 展示结果 |
| 6 | 断开数据库连接 |
现在让我们来详细讨论每一步需要做什么。
## 二、具体步骤
原创
2023-10-27 05:50:51
20阅读
# Java 大数据搜索
随着互联网的快速发展，数据量不断增大，如何高效地进行大数据搜索成为了一个重要的问题。在Java语言中，我们可以利用一些强大的工具和框架来实现大数据搜索，提高搜索效率。本文将介绍如何使用Java实现大数据搜索，并提供代码示例。
## 大数据搜索的挑战
大数据搜索面临的挑战主要包括数据量大、数据复杂、搜索速度要求高等问题。在处理大数据时，我们需要考虑如何有效地进行数据存
原创
2024-07-12 04:16:54
26阅读
大数据技术，就是从各种类型的数据中快速获得有价值信息的技术。大数据领域已经涌现出了大量新的技术，它们成为大数据采集、存储、处理和呈现的有力武器。大数据处理关键技术一般包括：大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用（大数据检索、大数据可视化、大数据应用、大数据安全等）。今天为大家整理了部分大数据学习教程与大家共享，每个人可以根据自己的需要来选择，需要的小伙伴可以
转载
2023-11-10 11:27:52
58阅读
Spark的设计与运行原理 关于SparkSpark是基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序。 Spark具有如下几个主要特点：运行速度快：Spark使用先进的DAG（Directed Acyclic Graph，有向无环图）执行引擎，以支持循环数据流与内存计算，基于内存的执行速度可比Hadoop MapReduce快上百倍，基于磁盘的执行
转载
2023-12-27 18:30:49
64阅读
1.海量日志数据，提取出某日访问百度次数最多的那个IP 首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到ip是32位的，最多有个2^32个ip。同样可以采用映射的方法，比如模1000，把整个大文件映射为1000个小文件，在找出每个小文件中出现频率最大的ip（可以采用hash_map进行频率统计，然后再找出频率最大的几个）及相应的频率。然后再在这1000个最大的ip
转载
2024-01-13 23:18:14
45阅读
在企业日益发展的今天，数据、文档、资料的不断扩充，大大增加了我们查找搜索的难度，如何才能在最短时间找到我们需要的资料成为大型企业经常遇到的问题，我们统称这些为大数据搜索。(www.lingjoin.com) 大数据的特点有四个层面：第一，数据体量巨大。从TB级别，跃升到PB级别；
转载
2023-09-14 17:03:29
81阅读
“大数据”一词近年来在IT行业很火热，相信大家都有过这样的体验，在购物软件上购买或者浏览了一件商品，下次再购物时会收到同类商品的推送，这是因为我们的浏览记录和购物记录都会存到软件后台数据里面，商家会根据这些数据预测我们感兴趣的商品，这就是大数据的应用之一。大数据又叫做巨量资料，指无法在一定时间范围内使用常规的工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有的更强决策力、洞察发现力和流程
原创
2021-04-01 17:45:31
1075阅读
“大数据”一词近年来在IT行业很火热，相信大家都有过这样的体验，在购物软件上购买或者浏览了一件商品，下次再购物时会收到同类商品的推送，这是因为我们的浏览记录和购物记录都会存到软件后台数据里面，商家会根据这些数据预测我们感兴趣的商品，这就是大数据的应用之一。 大数据又叫做巨量资料，指无法在一定时间范围内使用常规的工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有的更强决策力、洞察发现力和流
转载
2021-04-03 21:17:34
1015阅读
2评论
NLPIR大数据搜索与挖掘共享开发平台 一、简介 NLPIR文本搜索与挖掘开发平台针对互联网内容处理的需要，融合了自然语言理解、网络搜索和文本挖掘的技术，提供了用于技术二次开发的基础工具集。开发平台由多个中间件组成，各个中间件API可以无缝地融合到客户的各类复杂应用系统之中，可兼容Windows，Linux， Androi
转载
2023-08-04 21:10:53
75阅读
大数据的特点有四个层面：第一，数据体量巨大。从TB级别，跃升到PB级别；第二，数据类型繁多。网络日志、视频、图片、地理位置信息等等。第三，价值密度低。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。第四，处理速度快。最后这一点也是和传统的数据挖掘技术有着本质的不同。业界将其归纳为4个“V”——Volume，Variety，Value，Velocity。大数据搜索引擎的主要挑战在于：海
转载
2024-02-27 16:15:44
47阅读
尽管大数据已呈爆炸式增长，以致带动不少相关技术的衍生与发展。但是，不少人还是对大数据技术的作用感到云里雾里。今天，就跟随 大圣众包威客平台 一起看看大数据的其中一项重要技术——意图搜索技术。一、大数据环境下的意图搜索技术的利弊我们都知道，在大数据时代，任何在网络行为中留下的“蛛丝马迹”都以数据的形式被隐藏在大数据中，并通过应用物联网、大数据、人工智能等技术，构建成网络空间中的行为事件、思想事件等模
转载
2024-05-24 08:18:41
21阅读
前言 确实，关于SQL的学习资料，各类文档在网上到处都是。但它们绝大多数的出发点都局限在旧有关系数据库里，内容近乎千篇一律。而在当今大数据的浪潮下，SQL早就被赋予了新的责任和意义。 本篇中，笔者将结合过去在A公司和T公司大数据部门的学习工作经历，对传统SQL语法进行一次回顾性学习。同时，思
转载
2023-10-11 19:04:39
89阅读
如下是整个过程的流程图：
```mermaid
stateDiagram
[*] --> 开始
开始 --> 解析Json数据: 获取需要搜索的关键字
解析Json数据 --> 构建搜索功能: 判断是否包含关键字
构建搜索功能 --> 输出结果: 显示搜索结果
输出结果 --> 结束
结束 --> [*]
```
首先，我们需要告诉小白整个实现“
原创
2024-06-27 05:12:15
58阅读
网上经常盛传 大数据=sql boy，后端开发=crud boy，算法工程师=调参boy在大数据领域也工作了好几年了，确实大数据开发，很多工作就是写sql，hive sql、spark sql、flink sql等等sql一、背景：但是经常有这样一个需求，一大段sql 跑出来之后，发现不是自己想要的结果？比如：demo 1:
select id,name from (
select id,name
转载
2023-11-03 12:10:58
59阅读
常写的SQL可能主要以实现查询出结果为主,但如果数据量一大,就会突出SQL查询语句优化的性能独特之处.一般的数据库设计都会建索引查询,这样较全盘扫描查询的确快了不少.下面总结下SQL查询语句的几个优化效率的地方,经验有限,难免有不足.1、对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引2、避免在索引列上使用NOT在 where 子句中对字段进行
转载
2023-06-13 23:46:25
408阅读
文章目录加速处理大数据的思路动机最开始的方法1. 概述2. 遇到的问题3. 速度慢的根本原因优化后的方法1. 概述2. 具体方法（具体代码看下一章）方法一：批量查询数据，减少调用数据库的次数方法二：建立数据库索引并定时重建索引方法三：查询数据时指定列，不要全部查询所有列方法四：多进程运行python程序方法五：用DataX工具 将结果存入数据库推荐方法/工具一、multiprocessing：多
转载
2024-03-29 06:19:46
112阅读
目录1 Flume 安装部署1.1 安装地址1.2 安装部署2 Flume 入门案例2.1 监控端口数据官方案例2.2 实时监控单个追加文件2.3 实时监控目录下多个新文件2.4 实时监控目录下的多个追加文件 1 Flume 安装部署 1.1 安装地址（1）Flume 官网地址：http://flume.apache.org/ （2）
原创
2021-04-11 19:34:12
197阅读
目录1 环境准备2 源码编译3 Spark 安装4 运行spark-shell5 词频统计WordCount5.1 MapReduce WordCount5.2 Spark WordCount5.3 编程实现5.4 监控页面6 运行圆周率 1 环境准备目前Spark最新稳定版本：2.4.x系列，官方推荐使用的版本，也是
原创
2021-05-04 23:47:25
339阅读
