本文是笔者在面试过程中被问到次数最多的一些问题,特此记录1.什么是Hive?hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行2.使用过hive的排序吗?有哪些?可以说下吗?在hive语法
转载
2024-06-15 14:03:38
21阅读
大数据迁移——Python+MySQL引言方法一：数据库复制 ——最糟糕方法二：数据库转存——最蜗牛方法三：数据库备份——最尬速方法四：内存操作Python+MySQL——最火箭 引言最近，因为课题组更换服务器，有一批数据需要做数据迁移，数据量大约150G-200G，一部分数据存储在原来服务器的MySQL上，另外一部分数据以txt文件存储在硬盘上。现在，我需要将这些数据全部迁移存储在新服务器的M
转载
2023-08-11 14:25:11
464阅读
应用场景：MySQL数据量达到百万级别，并且数据更新时大部分数据重复，需要比对更新或者插入新的数据
效果：MySQL执行过程中如果数据库中存在该记录则执行对应更新操作，不存在执行插入操作，而且这些操作是在数据库引擎中完成；避免了对数据进行批量操作时，首先对重复数据进行过滤，然后进行CRUD操作，减少对数据库访问压力
语法：
INSERT [LOW_P
转载
2024-03-06 00:24:14
99阅读
为什么学习大数据要先学Java？首先，为什么要学大数据？ 就我个人而言，为了高薪工作，不用风吹日晒，显然大数据能满足这一点。 互联网的时代，数据之大，急需有人去处理以及运用这些数据来为社会创造价值。大数据就业门槛高---竞争者少，长期更有优势；社会上这类人才需求尚未饱和---互联网时代产生的需求，而供给人才尚不足；高薪---人才需求
转载
2024-07-10 20:42:49
22阅读
前一节使用 AND 和 OR 等连接符来对数据的搜索进行筛选，那些是在条件明确的情况下，比如 id 值的范围，大小等等。 那么在我们知道的条件有限，只包含一部分，比如说 我要搜索 某个字段中包含 ‘Python’ 字符串的数据，但是我忘了 这个单词怎么拼写，或者忘了数据库中存储的 ‘P’ 是大写还是小写，只记得有 ‘ython’，怎么办呢？那么这就可以用到我们这一节要介绍的 使用 LIKE 进行模
转载
2023-09-29 07:00:03
201阅读
看过许许多多的MySQL大数据量查询优化方案，集合了所有的精华，在此分享了：
1、对查询进行优化、应尽量避免全表扫描、首先应考虑在 where 及 order by 涉及的列上建立索引。
2、应尽量避免在 where 子句中对字段进行 null 值判断、否则将导致引擎放弃使用索引而进行全表扫描、如：
1. select id from t whe
转载
2024-08-17 19:36:18
78阅读
1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。
转载
2023-07-13 06:53:32
369阅读
目录一：存储过程概述1.1 理解：1.2 分类：二：创建存储过程2.1 语法分析：2.2 代码举例：三：调用存储过程3.2 代码举例 3.3 如何调试 四：存储函数4.1 语法分析4.2 调用存储函数 4.3 代码举例4.4 对比存储函数和存储过程 五. 存储过程和函数的查看、修改、删除 5.1 查看5.2 修改5.3 删除一：存储过程概述1.1
转载
2024-07-09 22:51:54
0阅读
一、数据库结构的设计表的设计具体注意的问题：1、数据行的长度不要超过8020字节，如果超过这个长度的话在物理页中这条数据会占用两行从而造成存储碎片，降低查询效率。2、能够用数字类型的字段尽量选择数字类型而不用字符串类型的(电话号码)，这会降低查询和连接的性能，并会增加存储开销。这是因为引擎在处理查询和连接回逐个比较字符串中每一个字符，而对于数字型而言只需要比较一次就够了。3、对于不可变字符类型ch
转载
2023-08-04 15:00:01
400阅读
1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：select id from t where num is null可以在num上设置默认值0，确保表中num列没有null值，然后这样查询：select id from t
转载
2023-07-13 16:40:08
327阅读
mysql大数据量导入mysql大数据量导入数据生成测试数据5000万import java.io.*;
import java.util.Random;
public class GenerateDataTest {
public static void main(String[] args) throws IOException {
File file = new
转载
2024-06-06 12:32:59
95阅读
在当前的大数据时代，Java技术在面对大数据量文件解析、入库等复杂操作时展现出强大的能力。面对这些挑战，开发团队需不断进行技术演进和架构优化，以达到高效、稳定的处理能力。
## 背景定位
在处理大数据量文件的过程中，我团队面对的初始技术痛点主要集中在以下几个方面：
1. **性能瓶颈**：传统的文件处理方法无法支持超大规模文件的高效解析。
2. **系统稳定性**：在数据量达千万级以上时，系
1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。
2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：
select id from xuehi.com where num is null
可以在num上设置默认值0，确保表中num列没有null值，然后这样查询：
sele
转载
2023-12-28 03:34:02
106阅读
在优化查询中，数据库应用（如MySQL）即意味着对工具的操作与使用。使用索引、使用EXPLAIN分析查询以及调整MySQL的内部配置可达到优化查询的目的。 任何一位数据库程序员都会有这样的体会：高通信量的数据库驱动程序中，一条糟糕的SQL查询语句可对整个应用程序的运行产生严重的影响，其不仅消耗掉更多的数据库时间，且它将对其他应用组件产生影响。 如同其它学科，优化查询性能很大程度上决定于开发者的
转载
2024-08-26 13:09:55
28阅读
最近一段时间由于工作需要，开始关注针对Mysql数据库的select查询语句的相关优化方法。 由于在参与的实际项目中发现当mysql表的数据量达到百万级时，普通SQL查询效率呈直线下降，而且如果where中的查询条件较多时，其查询速度简直无法容忍。曾经测试对一个包含400多万条记录（有索引）的
转载
2024-06-06 06:20:07
48阅读
批量更新 mysql更新语句很简单，更新一条数据的某个字段，一般这样写： 复制代码代码如下:
UPDATE mytable SET myfield = 'value' WHERE other_field = 'other_value';
如果更新同一字段为同一个值，mysql也很简单，修改下where即可： 复制代码代码如下:
UPDATE mytable
转载
2023-12-24 17:42:29
67阅读
准备工作一般分页查询使用子查询优化使用 id 限定优化使用临时表优化关于数据表的 id 说明当需要从数据库查询的表有上万条记录的时候，一次性查询所有结果会变得很慢，特别是随着数据量的增加特别明显，这时需要使用分页查询。对于数据库分页查询，也有很多种方法和优化的点。下面简单说一下我知道的一些方法。准备工作为了对下面列举的一些优化进行测试，下面针对已有的一张表进行说明。表名：order_history
转载
2023-08-20 14:48:49
285阅读
Mysql大表查询优化，理论上千万级别以下的数据量Mysql单表查询性能处理都是可以的。
转载
2023-06-26 17:26:38
215阅读
数据库性能瓶颈对于一些互联网项目来说，企业为节省成本，一般会考虑将所有的数据都存储在一个数据库中，这个时候我们只需要考虑数据库优化、SQL优化、数据缓存、限流，消息队列、服务器性能等问题。阿里巴巴《Java 开发手册》提出mysql单表行数超过 500 万行后（oracle应该是上千万），数据库性能逐渐下降。SQL优化创建必要索引(可以了解下mysql的B+树)，通过开启慢查询日志来找出较慢的SQ
转载
2023-09-29 20:50:07
180阅读
mysql大数据量处理
以下是个人的总结，有不对的地方大家指点： 设计上： 冗余：有些能冗余的就冗余吧，尽量少关联表； 垂直分区，一条记录中有text,varchar()这些能拆出来就拆出来，能用小的类型就用小的类型，如：char替换varchar之类的，能使用smallint,int就不要使用long等更大的数字型; 水平分区：range,list,hash
转载
2023-07-02 23:03:44
202阅读
