java 大数据处理
转载
精选
2012-11-08 23:41:07
525阅读
场景描述：停车记录表过大，需要归档处理（不是备份），偶有少量应用查询。 针对insert、update热表+数据量大的问题，果断分库分表。以下讨论针对仅是数据量大，不易维护，没有热表问题。 综合评估， 1、研发工作量最小，推荐3，支持本地join操作。不支持海量数据，使用前需计算。2、研发工作量第二小，推荐4.1。drds支持夸实例查询。不支持海量数据，使用前需计算。 3、单表海量数据：推荐6，不
转载
2023-10-07 22:32:35
90阅读
当MySQL单表记录数过大时，增删改查性能都会急剧下降，可以参考以下步骤来优化：单表优化除非单表数据未来会一直不断上涨，否则不要一开始就考虑拆分，拆分会带来逻辑、部署、运维的各种复杂度，一般以整型值为主的表在千万级以下，字符串为主的表在五百万以下是没有太大问题的。而事实上很多时候MySQL单表的性能依然有不少优化空间，甚至能正常支撑千万级以上的数据量：字段尽量使用TINYINT、SMALLINT、
转载
2023-08-22 13:24:51
85阅读
【摘要】 在物联网时代，数量庞大的“物”会产生海量数据，本文为您介绍两种基于物联网平台进行大数据分析的方法-实时分析和离线分析。在物联网时代，数量庞大的“物”会产生PB级的海量数据，传统的数据处理服务的处理速度已无法跟上数据产生的速度。如果没法及时分析与利用这庞大的物联网设备数据，就无法将数据的价值最大化，大数据分析能力的建设对物联网企业来说又成为了一个新的挑战。针对这种情况，大数据处理服务应运而
转载
2024-04-25 08:47:04
11阅读
碰到的python的一些包的用法及功能python osos 模块提供了非常丰富的方法用来处理文件和目录。1.os.path 模块获取文件的属性信息2.os.listdir(path)返回path指定的文件夹包含的文件或文件夹的名字的列表。randomrandom()方法返回随机生成的一个实数，它在[0,1)范围内。注意：random()是不能直接访问的，需要导入 random 模块，然后通过 r
什么是mysqlMySQL是一个关系型数据库管理系统，由瑞典MySQL AB 公司开发，目前属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一，在 WEB 应用方面，MySQL是最好的 RDBMS (Relational Database Management System，关系数据库管理系统) 应用软件。为什么是mysqlMySQL是一种关系数据库管理系统，关系数据库将
转载
2023-12-27 07:22:03
45阅读
当MySQL单表记录数过大时，增删改查性能都会急剧下降，可以参考以下步骤来优化。单表优化除非单表数据未来会一直不断上涨，否则不要一开始就考虑拆分，拆分会带来逻辑、部署、运维的各种复杂度，一般以整型值为主的表在 千万级以下，字符串为主的表在 五百万以下是没有太大问题的。而事实上很多时候MySQL单表的性能依然有不少优化空间，甚至能正常支撑千万级以上的数据量。字段尽量使用 
转载
2023-07-11 10:26:03
62阅读
# 如何使用axios处理stream数据
## 一、整体流程
在使用axios处理stream数据时，通常需要经历以下几个步骤：
```mermaid
pie
title Stream数据处理流程
"创建axios实例" : 20
"发送请求并接收stream数据" : 30
"处理stream数据" : 40
"关闭stream" : 10
```
原创
2024-04-17 06:49:48
1273阅读
目录1.前言2.解决方案解决方案一：聚合原数据解决方案二：过滤导致倾斜的key解决方案三：提高shuffle操作中的reduce并行度解决方案四：使用随机key实现双重聚合解决方案五：将reduce join转换为map join解决方案六：sample采样对倾斜key单独进行join解决方案七：使用随机数以及扩容进行join 1.前言spark中的数据倾斜问题主要指shuffle过程中出现的数
转载
2023-09-19 12:44:55
86阅读
统一结果响应为了与前端进行数据交互时，能有一个统一的数据结构，一般我们都需要一个统一响应结果类以下直接上代码，粘贴可用package com.kjyfx.response;
import java.io.Serializable;
/**
* 微信公众号：云说Java、Java栈记
* @Created by 墨云
* @Description 统一响应数据
* @Date 2020/
1、场景 当我们业务数据库表中的数据越来越多，如果你也和我遇到了以下类似场景，那让我们一起来解决这个问题 a、数据的插入,查询时长较长 b、后续业务需求的扩展 在表中新增字段 影响较大 c、表中的数据并不是所有的都为有效数据 需求只查询时间区间内的2、评估表数据体量 &
转载
2023-08-31 06:55:38
234阅读
Spark Streaming介绍Spark Streaming它是对Spark核心API的扩展，目的在于对实时数据流进行高吞吐、高容错的处理。Spark Streaming底层是Spark Core。Spark Streaming流处理框架Spark Streaming 原理首先Spark Streaming前面也说到了是对数据流的处理。数据流是指：数据的流入、数据的处理、数据的流出。数据流处理
转载
2023-08-28 09:39:56
221阅读
# Spark支持的数据处理方式
Apache Spark是一个强大的分布式计算框架，支持多种数据处理方式。作为一名初学者，了解Spark支持的数据处理方式对你今后的开发工作至关重要。本文将通过一个简单的流程，逐步引导你如何实现“Spark支持的各种数据处理方式”。我们将使用代码示例、状态图和流程图来帮助你理解。
## 一、实现流程
我们可以把实现过程分为以下几个步骤：
| 步骤 | 描述
1、Apache spark是一个为速度和通用目标设计的集群计算平台。从速度的角度看，Spark从流行的MapReduce模型继承而来，可以更有效地支持多种类型的计算，如交互式查询和流处理。速度在大数据集的处理中非常重要，它可以决定用户可以交互式地处理数据，还是等几分钟甚至几小时。Spark为速度提供的一个重要特性是其可以在内存中运行计算，即使对基于磁盘的复杂应用，Spark依然比MapRedu
转载
2023-07-14 16:59:39
156阅读
页面加载和数据处理不同步处理方式
原创
2021-11-29 15:06:39
782阅读
背景目前按照大数据处理类型来分大致可以分为：批量数据处理、交互式数据查询、实时数据流处理，这三种数据处理方式对应的业务场景也都不一样；关注大数据处理的应该都知道Hadoop，而Hadoop的核心为HDFS与MapReduce，HDFS分布式文件系统在Hadop中是用来存储数据的；MapReduce为Hadoop处理数据的核心，接触过函数式编程的都知道函数式语言中也存在着Map、Reduce函数其实
转载
2023-08-31 10:18:04
130阅读
一、序列化（obj->str）1.1 Gson-好用1、依赖<!--json序列化-->
<dependency>
<groupId>com.google.code.gson</groupId>
<artifactId>gson</artifactId>
<version>2.8.6</ve
原创
2024-02-04 12:00:10
593阅读
点赞
之前也做过一段时间的大数据，自己一直记性不太好，怕遗忘所以捞一下~ 本质其实就是一个数据的流转问题。。 目录1.数据采集数据来源数据传输在数据采集时需要注意的一些问题2.数据预处理3.数据入库(数仓)数仓建设1. 需求分析2. 维度建模（星型模型）3. 设计数仓分层架构（ods-dwd-dws-ads）4. 定制规范（命名规范、模型规范、开发规范、流程规范）5. 数据治理（数据质量，数据安全，元数
转载
2023-07-29 21:51:42
313阅读
写在前面：有博主的文章写的很好，很详细，推荐！参考：Spark如何处理数据倾斜（甚好，甚详细，很有逻辑，强推！） spark数据倾斜解决方案汇总1、什么是数据倾斜在执行shuffle操作的时候，数据是按照key对每行数据进行拉取、聚合等操作的。同一个key的数据Row，一定是分配到一个task中进行处理的。当大量相同key的数据被partition分配到同一个分
转载
2024-02-08 03:33:33
20阅读
Spark Streaming与流处理一、流处理1.1 静态数据处理在流处理之前，数据通常存储在数据库，文件系统或其他形式的存储系统中。应用程序根据需要查询数据或计算数据。这就是传统的静态数据处理架构。Hadoop 采用 HDFS 进行数据存储，采用 MapReduce 进行数据查询或分析，这就是典型的静态数据处理架构。1.2 流处理而流处理则是直接对运动中的数据的处理，在接收数据时直接计算数据。
转载
2024-03-11 10:56:50
9阅读
