大数据量处理的基础思路
一:分字诀
1:用和不用分开,常用和不常用分开
2:对数据库存放的数据:分区,分库,分表
3:对文件存放的数据:拆文件
4:考虑分批处理
原则就是:尽量使每次操作的数据的基数减少
二:合理使用缓存
三:数据库优化
1:合理设计数据库结构
2:合理构建索引
3:数据库集群(读写分离),集群分担压力
四:优化算法
1:优化操作数据的算法
2:优化SQL
3:考虑使用临时表、中间表
五:合理使用Nosql
六:使用分布式大数据处理方案(Hadoop,Spark,Storm)
------------------------------------------------------
Mysql分区:
将一个表分解成多个区块进行操作和保存,从而降低每次操作的数据基数,提高性能,而对应用来说是透明的,从逻辑看来还是一个表(这跟分库分表的访问不一样),但在物理上这个表可能是由多个物理分区组成的。每个分区都是一个独立的对象,可以进行独立处理。
分区能干什么:
1:进行逻辑数据分隔,分隔数据能够有多个不同的物理文件路径。
2:可以存储更多的数据,突破系统单个文件最大限制
3:提升性能,提高每个分区的读写速度,提高分区范围查询的数据。
4:可以通过删除相关分区来快速删除数据(以年分区,删除若干年前的数据)
5:通过跨多个磁盘来分散数据查询,从而提高磁盘IO性能。
6:设计到SUM,COUNT等聚合函数可以并行处理。
7:可以备份和恢复独立的分区
分区类型:(1,2常用)
1:Range分区 例如每10000行记录一个区
2:List分区,按list的离散值分区
3:Hash分区(用户定义hash函数)
4:Key分区(系统默认hash函数)
注意:
分区函数的key必须是pk或者UK,即分区只能从pk,uk取子集,但表没pk和uk则随意指定一个列;无论使用何种类型分区,分区总是在创建时就自动从0开始编号
mysql造大数据 大数据mysql如何处理
转载本文章为转载内容,我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题,欢迎原作者联系我们进行内容更正或删除文章。
提问和评论都可以,用心的回复会被更多人看到
评论
发布评论
相关文章
-
sql server 大数据量处理
Sql Server大量数据处理
数据 数据库 Server -
数据库如何处理大数据访问
当系统要满足每秒数万次的读写请求的需求时,我们可以用分布式计算、编写优良的
大数据 数据库 分布式计算 数据库分离 数据