碰到的python的一些包的用法及功能python osos 模块提供了非常丰富的方法用来处理文件和目录。1.os.path 模块获取文件的属性信息2.os.listdir(path)返回path指定的文件夹包含的文件或文件夹的名字的列表。randomrandom()方法返回随机生成的一个实数，它在[0,1)范围内。注意：random()是不能直接访问的，需要导入 random 模块，然后通过 r
java 大数据处理
转载
精选
2012-11-08 23:41:07
525阅读
场景描述：停车记录表过大，需要归档处理（不是备份），偶有少量应用查询。 针对insert、update热表+数据量大的问题，果断分库分表。以下讨论针对仅是数据量大，不易维护，没有热表问题。 综合评估， 1、研发工作量最小，推荐3，支持本地join操作。不支持海量数据，使用前需计算。2、研发工作量第二小，推荐4.1。drds支持夸实例查询。不支持海量数据，使用前需计算。 3、单表海量数据：推荐6，不
转载
2023-10-07 22:32:35
90阅读
# 如何使用axios处理stream数据
## 一、整体流程
在使用axios处理stream数据时，通常需要经历以下几个步骤：
```mermaid
pie
title Stream数据处理流程
"创建axios实例" : 20
"发送请求并接收stream数据" : 30
"处理stream数据" : 40
"关闭stream" : 10
```
原创
2024-04-17 06:49:48
1273阅读
数据库备份1.冷备份–定期备份数据库2.数据库热备份 数据库热备份原理: 1.当数据库主库执行更新操作时,会将更新的内容写入到二进制日志文件中. 并且写入二进制文件的过程是一个异步的过程. 2.从库会开启IO线程去读取主库的二进制日志文件,之后写入中继(临时存储)日志中. 3.从库会开启SQL线程去读取中继日志中的信息.之后将数据同步到从库中. 上述的操作是由从库向主库获取数据, 所以从库理论上可
转载
2024-06-05 08:59:28
166阅读
当MySQL单表记录数过大时，增删改查性能都会急剧下降，可以参考以下步骤来优化：单表优化除非单表数据未来会一直不断上涨，否则不要一开始就考虑拆分，拆分会带来逻辑、部署、运维的各种复杂度，一般以整型值为主的表在千万级以下，字符串为主的表在五百万以下是没有太大问题的。而事实上很多时候MySQL单表的性能依然有不少优化空间，甚至能正常支撑千万级以上的数据量：字段尽量使用TINYINT、SMALLINT、
转载
2023-08-22 13:24:51
85阅读
目录1.前言2.解决方案解决方案一：聚合原数据解决方案二：过滤导致倾斜的key解决方案三：提高shuffle操作中的reduce并行度解决方案四：使用随机key实现双重聚合解决方案五：将reduce join转换为map join解决方案六：sample采样对倾斜key单独进行join解决方案七：使用随机数以及扩容进行join 1.前言spark中的数据倾斜问题主要指shuffle过程中出现的数
转载
2023-09-19 12:44:55
86阅读
统一结果响应为了与前端进行数据交互时，能有一个统一的数据结构，一般我们都需要一个统一响应结果类以下直接上代码，粘贴可用package com.kjyfx.response;
import java.io.Serializable;
/**
* 微信公众号：云说Java、Java栈记
* @Created by 墨云
* @Description 统一响应数据
* @Date 2020/
# Spark支持的数据处理方式
Apache Spark是一个强大的分布式计算框架，支持多种数据处理方式。作为一名初学者，了解Spark支持的数据处理方式对你今后的开发工作至关重要。本文将通过一个简单的流程，逐步引导你如何实现“Spark支持的各种数据处理方式”。我们将使用代码示例、状态图和流程图来帮助你理解。
## 一、实现流程
我们可以把实现过程分为以下几个步骤：
| 步骤 | 描述
1、Apache spark是一个为速度和通用目标设计的集群计算平台。从速度的角度看，Spark从流行的MapReduce模型继承而来，可以更有效地支持多种类型的计算，如交互式查询和流处理。速度在大数据集的处理中非常重要，它可以决定用户可以交互式地处理数据，还是等几分钟甚至几小时。Spark为速度提供的一个重要特性是其可以在内存中运行计算，即使对基于磁盘的复杂应用，Spark依然比MapRedu
转载
2023-07-14 16:59:39
156阅读
页面加载和数据处理不同步处理方式
原创
2021-11-29 15:06:39
782阅读
什么是mysqlMySQL是一个关系型数据库管理系统，由瑞典MySQL AB 公司开发，目前属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一，在 WEB 应用方面，MySQL是最好的 RDBMS (Relational Database Management System，关系数据库管理系统) 应用软件。为什么是mysqlMySQL是一种关系数据库管理系统，关系数据库将
转载
2023-12-27 07:22:03
45阅读
背景目前按照大数据处理类型来分大致可以分为：批量数据处理、交互式数据查询、实时数据流处理，这三种数据处理方式对应的业务场景也都不一样；关注大数据处理的应该都知道Hadoop，而Hadoop的核心为HDFS与MapReduce，HDFS分布式文件系统在Hadop中是用来存储数据的；MapReduce为Hadoop处理数据的核心，接触过函数式编程的都知道函数式语言中也存在着Map、Reduce函数其实
转载
2023-08-31 10:18:04
130阅读
当MySQL单表记录数过大时，增删改查性能都会急剧下降，可以参考以下步骤来优化。单表优化除非单表数据未来会一直不断上涨，否则不要一开始就考虑拆分，拆分会带来逻辑、部署、运维的各种复杂度，一般以整型值为主的表在 千万级以下，字符串为主的表在 五百万以下是没有太大问题的。而事实上很多时候MySQL单表的性能依然有不少优化空间，甚至能正常支撑千万级以上的数据量。字段尽量使用 
转载
2023-07-11 10:26:03
62阅读
一、序列化（obj->str）1.1 Gson-好用1、依赖<!--json序列化-->
<dependency>
<groupId>com.google.code.gson</groupId>
<artifactId>gson</artifactId>
<version>2.8.6</ve
原创
2024-02-04 12:00:10
593阅读
点赞
写在前面：有博主的文章写的很好，很详细，推荐！参考：Spark如何处理数据倾斜（甚好，甚详细，很有逻辑，强推！） spark数据倾斜解决方案汇总1、什么是数据倾斜在执行shuffle操作的时候，数据是按照key对每行数据进行拉取、聚合等操作的。同一个key的数据Row，一定是分配到一个task中进行处理的。当大量相同key的数据被partition分配到同一个分
转载
2024-02-08 03:33:33
20阅读
Spark Streaming与流处理一、流处理1.1 静态数据处理在流处理之前，数据通常存储在数据库，文件系统或其他形式的存储系统中。应用程序根据需要查询数据或计算数据。这就是传统的静态数据处理架构。Hadoop 采用 HDFS 进行数据存储，采用 MapReduce 进行数据查询或分析，这就是典型的静态数据处理架构。1.2 流处理而流处理则是直接对运动中的数据的处理，在接收数据时直接计算数据。
转载
2024-03-11 10:56:50
9阅读
在上一篇中，我们介绍了什么是3D相机。但是对于初次接触3D相机的同学，可能首先面临的问题是如何处理3D相机得到的数据。3D相机的数据分为两种方式：三维点云数据方式，二维数据方式。其中，三维数据保存的格式有csv,txt，ply，stl等。二维数据通常以二维图像的形式存在，其中保存Z方向的二维图像被称为深度图像。本篇主要介绍一下深度图像的生成与处理。1.前言3D相机虽然也被称为相机，也可以得
转载
2022-10-05 19:51:23
263阅读
这次总结一下hadoop的相关知识点，主要参考了以下三个链接现在常见的有三大分布式计算系统：Hadoop，Spark和Storm。前两个由Apache开发，后一个由Twitter开发。Hadoop使用硬盘存储数据，数据持久性强但是受硬盘读写速度影响数据处理速度受限，适合离线处理复杂度高的数据；Spark使用内存处理数据，处理速度快断电后易丢失，适合于在线快速处理数据；Storm通过网络实时处理并传
转载
2023-09-13 11:08:57
57阅读
【摘要】 在物联网时代，数量庞大的“物”会产生海量数据，本文为您介绍两种基于物联网平台进行大数据分析的方法-实时分析和离线分析。在物联网时代，数量庞大的“物”会产生PB级的海量数据，传统的数据处理服务的处理速度已无法跟上数据产生的速度。如果没法及时分析与利用这庞大的物联网设备数据，就无法将数据的价值最大化，大数据分析能力的建设对物联网企业来说又成为了一个新的挑战。针对这种情况，大数据处理服务应运而
转载
2024-04-25 08:47:04
11阅读
