java 大数据处理
转载
精选
2012-11-08 23:41:07
472阅读
场景描述：停车记录表过大，需要归档处理（不是备份），偶有少量应用查询。 针对insert、update热表+数据量大的问题，果断分库分表。以下讨论针对仅是数据量大，不易维护，没有热表问题。 综合评估， 1、研发工作量最小，推荐3，支持本地join操作。不支持海量数据，使用前需计算。2、研发工作量第二小，推荐4.1。drds支持夸实例查询。不支持海量数据，使用前需计算。 3、单表海量数据：推荐6，不
之前也做过一段时间的大数据，自己一直记性不太好，怕遗忘所以捞一下~ 本质其实就是一个数据的流转问题。。 目录1.数据采集数据来源数据传输在数据采集时需要注意的一些问题2.数据预处理3.数据入库(数仓)数仓建设1. 需求分析2. 维度建模（星型模型）3. 设计数仓分层架构（ods-dwd-dws-ads）4. 定制规范（命名规范、模型规范、开发规范、流程规范）5. 数据治理（数据质量，数据安全，元数
转载
2023-07-29 21:51:42
204阅读
当MySQL单表记录数过大时，增删改查性能都会急剧下降，可以参考以下步骤来优化：单表优化除非单表数据未来会一直不断上涨，否则不要一开始就考虑拆分，拆分会带来逻辑、部署、运维的各种复杂度，一般以整型值为主的表在千万级以下，字符串为主的表在五百万以下是没有太大问题的。而事实上很多时候MySQL单表的性能依然有不少优化空间，甚至能正常支撑千万级以上的数据量：字段尽量使用TINYINT、SMALLINT、
转载
2023-08-22 13:24:51
54阅读
当MySQL单表记录数过大时，增删改查性能都会急剧下降，可以参考以下步骤来优化。单表优化除非单表数据未来会一直不断上涨，否则不要一开始就考虑拆分，拆分会带来逻辑、部署、运维的各种复杂度，一般以整型值为主的表在 千万级以下，字符串为主的表在 五百万以下是没有太大问题的。而事实上很多时候MySQL单表的性能依然有不少优化空间，甚至能正常支撑千万级以上的数据量。字段尽量使用 
转载
2023-07-11 10:26:03
50阅读
什么是mysqlMySQL是一个关系型数据库管理系统，由瑞典MySQL AB 公司开发，目前属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一，在 WEB 应用方面，MySQL是最好的 RDBMS (Relational Database Management System，关系数据库管理系统) 应用软件。为什么是mysqlMySQL是一种关系数据库管理系统，关系数据库将
1、场景 当我们业务数据库表中的数据越来越多，如果你也和我遇到了以下类似场景，那让我们一起来解决这个问题 a、数据的插入,查询时长较长 b、后续业务需求的扩展 在表中新增字段 影响较大 c、表中的数据并不是所有的都为有效数据 需求只查询时间区间内的2、评估表数据体量 &
转载
2023-08-31 06:55:38
214阅读
【摘要】 在物联网时代，数量庞大的“物”会产生海量数据，本文为您介绍两种基于物联网平台进行大数据分析的方法-实时分析和离线分析。在物联网时代，数量庞大的“物”会产生PB级的海量数据，传统的数据处理服务的处理速度已无法跟上数据产生的速度。如果没法及时分析与利用这庞大的物联网设备数据，就无法将数据的价值最大化，大数据分析能力的建设对物联网企业来说又成为了一个新的挑战。针对这种情况，大数据处理服务应运而
大数据下的分页语句pageSize:一页几条数据pageNumber:当前页mysql: select * from students order by id limit " + pageSize*(pageNumber-1)+ "," + pageSize;oracle: select * from (select *,rownum rid from (sele
原创
2016-03-11 11:47:04
873阅读
1. 基本介绍 448异常处理就是当异常发生时，对异常处理的方式。2. 异常处理方式1) try- catch-finally程序员在代码中捕获发生的异常，自行处理2) throws将发生的异常抛出，交给调用者(方法)来处理，最顶级的处理者就是JVM2.1 示意图 4483. try-
原创
精选
2023-05-14 12:16:08
307阅读
1、nulll大小写敏感 关于这个问题，其实是对面试时候手写算法题时候需要注意的问题。 null 它是 Java的关键字，它是大小写敏感的，不能写成 NULL，Null等等。 2、null 是任何引用类型的初始值 这里需要注意是引用类型，基本数据类型的，int 默认初始值是 0；boolean 默认 ...
转载
2021-10-14 22:42:00
278阅读
2评论
故障处理是指在故障发生之后，采取措施，使系统尽快恢复正常1、首要任务，使系统恢复正常2、找到故障原因，避免下一次故障更为重要故障处理对工程师的要求1、沉着冷静，处乱不惊2、精通各种技术原理3、熟悉相关产品特性4、具备丰富的经验一、排除故障思想二、三、结构化排除故障流程四、各个层可能存在的问题（分类——>询问信息——>证实——>上报——>协调——>更新——>报告）
原创
2017-04-10 14:59:54
2070阅读
# 如何使用axios处理stream数据
## 一、整体流程
在使用axios处理stream数据时，通常需要经历以下几个步骤：
```mermaid
pie
title Stream数据处理流程
"创建axios实例" : 20
"发送请求并接收stream数据" : 30
"处理stream数据" : 40
"关闭stream" : 10
```
Spark Streaming介绍Spark Streaming它是对Spark核心API的扩展，目的在于对实时数据流进行高吞吐、高容错的处理。Spark Streaming底层是Spark Core。Spark Streaming流处理框架Spark Streaming 原理首先Spark Streaming前面也说到了是对数据流的处理。数据流是指：数据的流入、数据的处理、数据的流出。数据流处理
转载
2023-08-28 09:39:56
219阅读
每个文件均按块存储，每个块的元数据存储在NameNode的内存中，因此HDFS存储小文件会非常低效。因为大量的小文件会耗尽NameNode中的大部分内存。但注意，存储小文件所需要的磁盘容量和数据块的大小无关。每个块的大小可以通过配置参数（dfs.blocksize）来规定，默认的大小128M。
转载
2023-07-06 09:24:51
146阅读
使用updateAndGet方法进行更新值，传入的是一个IntUnaryOperator接口，使用lambda表达式完成功能即可。下面是一个简单的例子public class ThreadLocalDemo {
原创
2022-02-24 17:31:51
790阅读
异常处理方式的选择1.如果父类中被重写的方法没有throws方式处理异常，则子类重写的方法也不能使用throws，意味着如果子类重写的方法中有异常，必须使用try…catch…finally方式处理。2.执行的方法a中，先后又调用了另外的几个方法，这几个方法是递进关系执行的。我们建议这几个方法使用throw的方式进行处理，而执行的方法a可以考虑使用try…catch…finally方式进行处理。...
原创
2021-08-14 09:55:24
417阅读
比如在一个窗体里有一个“取消”和“确定”按钮,“取消”按钮批次取消所有修改,“确定”按钮批次提交：
转载
2010-07-22 20:13:00
112阅读
2评论
IP不够的处理方式
原创
2014-09-04 15:48:59
634阅读
使用updateAndGet方法进行更新值，传入的是一个IntUnaryOperator接口，使用lambda表达式完成功能即可。下面是一个简单的例子public class ThreadLocalDemo { public static void main(String[] args) { AtomicInteger atomicInteger = new AtomicInteger(Integer.MAX_VALUE); atomicInteger.upda
原创
2021-08-07 10:03:55
723阅读
