Mysql数据库架构设计与优化1. 数据库命名规范所有数据库对象名称必须使用小写字母并用下划线分隔mysql是大小写敏感的，sql除外。不同的数据库名：Dbname、dbname；不同的表名：Table、table所有数据库对象名称，禁止使用mysql保留关键字比如以下，查询的列表中有from关键字，必须用反单引号转义才行，否则会报错！ select id,username,from,age fr
转载
2023-08-15 16:37:32
46阅读
不同应用的表可以放在不同的schema之中，同时，每一个schema对应一个用户，不同的应用可以以不同的用户连接数据库，这样，一个大数据库就可以根据应用把其表分开来管理。 不同的schema之间它们没有直接的关系，不同的shcema之间的表可以同名，也可以互相引用（但必须有权限），在没有操作别的schema的操作根权下，每个用户只能操作它自己的schema下的所有的表。不同的schema下的同名
转载
2023-07-03 09:35:49
73阅读
曾经有人这样对工说：“针对计算机这个行业，我们要有敬重的态度”，说的一点不错，大家好好学习吧，加油。 针对大数据，以下列了一些必须要掌握的知识，希望能够为迷茫中的小伙伴，指明个方向。正在学习的小伙伴，也可以系统的把知识理一下。
转载
2023-07-25 16:21:15
65阅读
IDERA ER/Studio 数据架构师是什么? 它能够从用户的单个界面创建和管理多数据库平台的数据模型。信息建模者和架构师希望对与小型企业需求相关的不同高度的数据做出反应。有一些关键行动可能希望他们的重点被包括在内。 行动是： 构建数据模型作为增长周期的一部分。 发现并记录他们在景观信息中已经存在的资产。 创建和填充数据仓库。 构建完整的企业信息模型。 用于信息治理甚至信息质
转载
2023-08-15 16:21:27
88阅读
试着走向大牛们的世界项目的开发流程具体步骤软技能沟通硬技能技术系统架构技术选型与工具协作工具：confluence版本管理工具：gitlab、git项目管理工具：maven、nexus持续集成工具：Jenkins（可能会用容器引擎）：docker运维监控工具：Open-Falcon数据库：mysql缓存：redis消息中间件：kafka or mq日志管理工具：ELK后端技术选型 项目的开发流程
转载
2023-10-03 20:58:44
30阅读
架构师一时是技术的大拿，一时是技术的规划者，一时是技术团队的指挥者。
原创
2022-11-02 00:26:12
173阅读
文|傅一平今天跟着我来学学数据仓库的基础知识，希望你结合案例可以把它吃透。商业智能时代，无论是程序员，数据分析师，架构师也好，这篇一定要懂，这样才能更好的赋能自己的工作。一、数据仓库建模的意义如果把数据看作图书馆里的书，我们希望看到它们在书架上分门别类地放置；如果把数据看作城市的建筑，我们希望城市规划布局合理；如果把数据看作电脑文件和文件夹，我们希望按照自己的习惯有很好的文件夹组织方式，而不是糟糕
转载
2023-07-14 18:41:25
58阅读
文章目录数据湖技术概述什么是数据湖？大数据为什么需要数据湖？数据湖技术之IcebergIceberg概念及特点Iceberg数据存储格式1. Iceberg术语2. 表格式Iceberg特点详述1. Iceberg分区与隐藏分区(Hidden Partition)2. Iceberg表演化(Table Evolution)3. 模式演化(Schema Evolution)4. 分区演化(Part
转载
2023-07-12 18:50:05
42阅读
在整体数据仓库架构中的数据架构部分是受业务流程所驱动的。在开发技术架构模型前，要先起草一份架构需求的文件，然后将每一项业务需求计划包含到它的架构中。架构总是存在的：或隐性或具体的，或无计划或计划内的。经验证明，有一个计划内和具体的架构会使数据仓库与商业智能项目有更多的成功机会。 对于数据仓库
转载
2023-07-14 16:31:25
59阅读
“随着全球对数据科学家及‘大数据’研究人员和分析师需求持续增长，掌握‘大数据’相关专业技能的人才往往能够获得高于平均水平的薪酬和更全面的职业发展方向。”今天，悉尼科技大学高级讲师鲁海燕在接受本网记者采访时表示，数据科学家是现今需求最旺盛的职业之一，一些从海外顶尖大学取得“大数据”相关专业学位的毕业生尤其受欢迎。鲁海燕介绍，‘大数据’关乎于利用包括如数据视觉化等一些特殊新颖的手段，分析处理庞大且复杂
转载
2023-07-31 16:16:43
63阅读
大数据专业未来就业方向有哪些？1、ETL研发随着人们产生的数据种类越来越多，对数据的整合与处理变得越来越困难，各个企业都特别需要一种有数据整合能力的人才。ETL开发者就是面对这种需求的职位。2、Hadoop开发随着数据规模的不断增大，传统BI的数据处理成本过高使企业负担加重。而Hadoop廉价的数据处理能力被重新挖掘，企业需求持续增长。并成为大数据人才必须掌握的一种技术。3、可视化工具开发可视化开
转载
2023-09-08 10:14:12
52阅读
数据结构与算法数据结构与算法介绍先看几个经典的算法面试题字符串匹配问题汉诺塔游戏八皇后问题马踏棋盘数据结构和算法的重要性数据结构和算法的关系几个实际编程中遇到的问题字符串替换五子棋程序约瑟夫(Josephu)问题其它常见问题线性结构和非线性结构线性结构非线性结构稀疏数组和队列稀疏数组SparseArray队列队列的一个使用场景队列的介绍数组模拟队列思路代码实现测试问题分析数组模拟环形队列分析说明
转载
2023-08-15 14:37:29
46阅读
“Java程序员成长为架构师进阶步骤
未来我会用1-2个月在实战为大家讲解架构师的九大必备技能。 架构师进阶系列之独孤九剑九大步骤：1-程序设计和开发2-操作系统要求3-Java开发4-Web开发5-网络安全6-数据库设计7-架构设计要求8-运维能力要求9-产品业务要求1-程序设计和开发•1-1 数据结构算法•1-2 面向对象编程•1-3 设计模式•1-4 UML建模•1-5 高质量编码能力•1
转载
2023-08-15 16:54:13
34阅读
场景又到了一年一度的跳槽旺季，是时候小涨一波工资了。 考虑到最近各大公司频繁爆出裁员的消息，因此，有必要好好复习与准备一下常见的面试题，做到心中有谱。答题策略一. 禁止瞎说知之为知之，不知为不知，态度要真诚。二. 核心原理与应用场景所有问题尽量按如下两个方向靠拢 :原 理 : 是什么应用场景：在实际项目中的应用；在经典分布式开源框架 eg. spark、hdfs 与 spring cloud eu
前言：
哲学家常思考的问题：" 我是谁？"" 我从哪里来？"" 要到哪里去？不只是哲学家，我想每个人都有自己对这三个问题的认知。 如果我们要成为架构师，我们自己要面临的三大问题：找准自己定位：我是谁？在哪里？怎样做好架构师：我要做什么？如何搭建架构师知识体系：我该怎么做？这里面就是做事方法论：目标（我要做什么），方法（计划）（我该怎么做）, 执行/行动找准自己定位：我是谁？在哪里？
怎样做好
转载
2021-06-21 10:31:14
512阅读
什么是架构师？ 寻找一个值得共同奋斗的目标，营造一个让大家都能最大限度发挥自我价值的工作氛围。 没有懒惰的员工，只有没被激发出来的激情。 发掘人的优秀 有些企业喜欢挖优秀的人，而不是去把自己打造成一个培养优秀人才的地方。 做事，让自己和参与的人都变得优秀。 我们，其实比自己以为的更优秀。 做一些有挑
原创
2021-08-05 15:39:27
241阅读
一、数据库架构原则高可用高性能一致性扩展性二、常见的架构方案方案一：主备架构，只有主库提供读写服务，备库冗余作故障转移用 jdbc:mysql://vip:3306/xxdb1、高可用分析：高可用，主库挂了，keepalive（只是一种工具）会自动切换到备库。这个过程对业务层是透明的，无需修改代码或配置。 2、高性能分析：读写都操作主库，很容易产生瓶颈。大部分互联网应用读多写少，读会先
转载
2023-07-27 10:57:08
4005阅读
本人作为一名DBA，对于李老师课程当中的内容，在工作中接触比较多的就是存储架构设计方面的内容。但本人平时的工作中，涉及的内容更多注重于某一个具体问题的处理，如数据库索引优化或主从复制问题的处理。本人主要做MySQL数据库，MySQL数据库本身作为一个开源数据库，市面上基于MySQL的高可用架构很多，平时在接触这些内容时，只是尝试去了解其实现即可，能够作为DBA熟练的运维就达到了学习的目的。听完李老
有的知识点，我是没整理成的思维导图不规范化带来的四大问题 (1）数据冗余：数据被多次重复存储； (2）插入异常：插入时异常 (3）修改异常：修改导致数据不一致， (4）删除异常：删除了不该删除的数据。反规范化技术 (1)增加冗余列：在多个表中保留相同的列，减少或避免查询时的连接操作。 (2）增加派生列：在表中增加可以由本表或其它表中数据计算生成的列，减少查询时的连接操作并避免计算或使用集合函数。
说说Mysql的架构体系一、MySQL架构图二、架构图分层1、连接层2、服务层3、连接池4、缓存5、解析器6、优化器7、执行器7、存储引擎层8、系统文件存储层9、数据文件10、日志文件11、配置文件12、SQL查询流程总结 一、MySQL架构图二、架构图分层1、连接层 与客户端打交道，上面已经写明了能支持的语言。客户端的链接支持的协议很多，比如再Java开发中的JDBC2、服务层3、连接池主要是
转载
2023-08-15 15:28:04
75阅读
