MySQL安装、配置和优化 一、下载MySQL数据库 进入MySQL官方网站（MySQL Community Downloads） 第一步，下载MySQL安装包，然后鼠标双击安装包（这里主要讲解安装过程，所以对下载就不做展开说明），接着勾选上【I accept the license terms】，最后点击【Next>】按钮， 2、第二步，这里是选择安装类型，这里可根据自己的情况选择，一般选
转载
2024-11-01 21:42:42
2阅读
1.在源端Oracle创建表SQL> create table t2 (T1 TIMESTAMP(6));Table created.SQL> insert into t2 values(to_timestamp('2021-10-22 15:23:23.123456','yyyy-mm-dd hh24:mi:ss.ff'));1 row created.SQL> commit
原创
2022-08-05 11:42:42
323阅读
接触编程以来，在数据存储方面一直用的MS SQL。Oracle这名字对我来说是如此的熟悉，但是对其内容却很陌生，最近公司的一个项目用起了Oracle，所以也开始高调的用起了Oracle。在没有接触Oracle之前，听很多人都说Oracle的语法与MS SQL差不多，我在朋友圈里也帮着吹嘘这个观点。`
原创
2021-07-21 14:03:59
2056阅读
oracle判断表是否存在........
转载
2009-05-20 17:21:00
808阅读
2评论
在使用Linux系统时，经常会遇到一些问题，比如Oracle数据库中SID已存在的情况。SID（System Identifier）是在Oracle数据库中用于唯一标识一个实例的名称。
当我们在安装Oracle数据库时，可能会遇到一个错误提示：“SID already exists”。这意味着我们尝试创建的SID已经在该数据库中存在了。这个问题可能是由于之前安装过同样的SID，或者其他原因导致的
原创
2024-04-29 10:52:19
408阅读
sql 如下：
select sequence_name from user_sequences where sequence_name= '参数'
需要注意的是 oracle sequence 参数必须转换成大写。
例子：(这是使用simple
原创
2013-02-05 14:45:56
2479阅读
Android调用照相机展示高清图片及展示图片时图片倾斜问题一、概述二、配置权限三、封装CameraUtil工具类1、Android调用照相机2、调用系统相册3、拍摄完毕或在相册选取好照片后处理图片四、MainActivity如何调用五、Layout布局文件查看源码 一、概述由于需要做一个调用Android原生照相机并展示出清楚的图片的demo，在网上查找了很多资料，没有找到一个我希望的完整文章
转载
2023-07-01 18:34:20
135阅读
=============================================== 2018/11/5_第1次修改
转载
2024-06-20 08:17:18
36阅读
一、原因：1.key的null和空值数量过多，这些都被分到一个reduce中去处理，导致某一个或几个reduce的任务要远大于平均值2.key的值分布不均匀，某一个或者多个key相同的数据量过大（有些情况是由业务本身的特性决定的）3.SQL语句不合理二、现象：在运行日志里面可以明显看出，任务执行进度一直维持在99%，由于某一个或几个reduce处理的数据量过大且资源无法平均，所以会大大拖慢查询速度
转载
2023-07-14 23:07:50
146阅读
下面列举了一些常见的导致数据倾斜的场景。场景 1 ： 当一个大表和一个小表 join 时， 如果小表的 key 较集中，将会引起大表中的数据被分发到一个或者少数几个 Reducer 任务中，导致数据分布不均匀。 场景 2： 在 group by 时，如果分组的维度太少，维度的值分布不均匀，将导致数据分布不 均匀。 场景 3： 当大表与大表关联时，在关联的条件字段中，其中一个表的空值、 null 值
转载
2023-12-02 17:26:51
92阅读
数据倾斜，即单个节点认为所处理的数据量远大于同类型任务所处理的数据量，导致该节点成为整个作业的瓶颈，这是分布式系统不可避免的问题，从本质上说，导致数据倾斜有两种原因1.任务读取大文件2.任务需要处理大量相同键的数据任务读取大文件，最常见的就是读取压缩的不可分割的大文件，而任务需要读取大量相同键的数据，这种情况下有一下4种表现形式：1.数据含有大量无意义的数据，例如空值（null），空字符串等2.含
转载
2023-07-14 16:58:02
189阅读
什么是数据倾斜？ 在shuffle操作的时候,是按照key来进行value的数据的输出,拉取和聚合的,同一个key的values,一定是分配到同一个reduce task进行处理的,假如对100w的数据做shuffle，其中98w的数据key是相同的，那么就会造成某个task执行98w数据聚合，而其他task很快执行完毕，整个shuffle操作都在等在这个task的执行，不仅大幅拉长了任务的执行时
转载
2024-02-22 18:25:21
92阅读
SELECT * FROM DBA_TABLES WHERE OWNER IN ('user1', 'user2') AND TABLE_NAME = '表名'
原创
2022-06-30 15:00:34
72阅读
extents的特性：1：一个extent由相连的多个blocks组成，多个extents组成一个segment，2：oracle在为segment分配空间时，是以extent为单位因此extents带来的好处：1：空间分配、释放效率将会提升oracle建议一个segment的extents数量一般...
转载
2014-05-06 11:12:00
220阅读
2评论
为了避免全表扫描, 应该这样写: Sql代码 select spu_id from tbcat2.spu where category_id = #value# and (status = 0 or status is null) and rownum < 2se...
转载
2009-01-09 11:05:00
545阅读
2评论
数据倾斜的原因和解决方案： 原因： 数据倾斜是指，map /reduce程序执行时，reduce节点大部分执行完毕，但是有一个或者几个reduce节点运行很慢，导致整个程序的处理时间很长，这是因为某一个key的条数比其他key多很多（有时是百倍或者千倍之多），这条key所在的reduce节点所处理的数据量比其他节点就大很多，从而导致某几个节点迟迟运行不完。 方案： 1）网上找了下，spark数据倾
转载
2024-08-20 22:24:32
47阅读
手机现在通常会在用户旋转手机时更改屏幕方向。本文讨论了将加速度计的输出转换为倾斜角度的基本原理和所需计算。 确定系统倾斜或倾斜度的一种常用方法是集成陀螺仪的输出。尽管这种方法很简单，但与零偏置稳定性相关的误差会随着积分周期的增加而迅速复合，即使在器件静止时也会导致明显的旋转。在某些应用中，系统上的净加速度或力量时间是重力，加速度计可用于测量静态倾斜角度或倾斜度。这些应用包括游戏，数码相机中的地平线
转载
2024-01-27 23:57:28
58阅读
数据倾斜的原因: 1. 存在bigkey - 业务层避免bigkey - 将集合类型的bigkey拆分为多个小集合 2. slot手工分配不均 3. hashtag 导致数据分配到同一个slot - 避免使用hashtag访问倾斜的原因: 1. 存在热点数据 - 如果是只读数据,可以使用多副本 key+随机值使数据分配到不同的实例中 或者存储在二级缓存 比如jvm
转载
2023-06-26 11:16:23
106阅读
在实际使用过程中，我们经常会遇到数据倾斜的问题，导致Spark作业运行缓慢甚至失败。本文将介绍如何解决Spark数据倾斜问题。数据倾斜是指在分布式计算中，某些节点上的数据比其他节点上的数据更多或更少，从而导致Spark作业运行缓慢或失败。例如，在使用Group By操作时，如果某些key的值比其他key的值更多，则会导致一些节点的负载更高，从而可能导致数据倾斜问题。 数据倾斜
转载
2023-09-02 10:36:36
59阅读
spark中的数据倾斜的现象、原因、后果 (1)、数据倾斜的现象 多数task执行速度较快,少数task执行时间非常长，或者等待很长时间后提示你内存不足，执行失败。 (2)、数据倾斜的原因 数据问题 1、key本身分布不均衡（包括大量的key为空） 2、key的设置不合理 spark使用问题 1、shuffle时的并发度不够 2、计算方式有误 (3)、数据倾斜的后果 1、sp
转载
2023-10-27 06:23:27
48阅读
