系统开发中的坑
这个是在公司分享的一个ppt，整理下发到博客里，记录下，也是避免忘记了
一．幂等性
二．数据库
三．代码默认写法
四．业务设计
一、幂等性
概念
不管调用多少次，都应该
产生一样的效果
和
返回一样的结果
案例：
1. 前端重复提交选中的数据，应该后台只产生对应这个数据的一个反应结果。
2. 我们发起一笔付款请求，应该只扣用户账户一次钱，当遇到网络重发或系统bug重发，也应该只扣一次钱
3. 发送消息，也应该只发一次，同样的短信发给用户，用户会哭的
4. 创建业务订单，一次业务请求只能创建一个，创建多个就会出大问题。
技术实现（一）
查询操作
查询一次和查询多次，在数据不变的情况下，查询结果是一样的。
select是天然的幂等操作。
技术实现（二）
删除操作
删除操作也是天生幂等的，删除一次和多次删除都是把数据删除。
(注意可能返回结果不一样，删除的数据不存在，返回0，删除的数据多条，返回结果多个)
Select * from table_xxxwhere id=#id;
不抛出异常，删除操作都返回true, 注意Dao层代码写法
技术实现（三）
唯一索引，防止新增脏数据
案例：
支付宝的资金账户，支付宝也有用户账户，每个用户只能有一个资金账户，怎么防止给用户创建资金账户多个，那么给资金账户表中的用户ID加唯一索引，所以一个用户新增成功一个资金账户记录要点：唯一索引或唯一组合索引来防止新增数据存在脏数据（当表存在唯一索引，并发新增报错时，再次调用接口会返回成功结果）
注意点：
先查询，用唯一索引来查，后新增，新增控制幂等
技术实现（四）
token机制，防止页面重复提交
业务要求：页面的数据只能被点击提交一次
发生原因：由于重复点击或者网络重发，或者nginx重发等情况会导致数据被重复提交
解决办法：集群环境：采用token加redis（redis单线程的，处理需要排队）单JVM环境：采用token加redis或token加jvm内存
处理流程：1. 数据提交前要向服务的申请token，token放到redis或jvm内存，token有效时间2. 提交后后台校验token，同时删除token，生成新的token返回
token特点：要申请，一次有效性，可以限流注意：redis要用删除操作来判断token，删除成功代表token校验通过，如果用select+delete来校验token，存在并发问题，不建议使用
技术实现（五）
悲观锁
获取数据的时候加锁获取，进行业务操作在提select * from table_xxxwhere id = 'xxx' for update;
建议使用悲观锁：账户一个人拥有，铜宝账户，积分账户，会员等级账户
不建议使用：产品份额账户。。。几百个人抢一个份额
注意：id字段一定是主键或者唯一索引，不然是锁表，会死人的悲观锁使用时一般伴随事务一起使用，数据锁定时间可能会很长，根据实际情况选用，数据库引擎要用Innodb，支持行锁
技术实现（六）
乐观锁
乐观锁只是在更新数据那一刻锁表，其他时间不锁表，所以相对于悲观锁，效率更高。乐观锁的实现方式多种多样可以通过version或者其他状态条件：
1. 通过版本号实现update table_xxxset name=#name#,version=version+1 where version=#version#
2. 通过条件限制update table_xxxset avai_amount=avai_amount-#subAmount# where avai_amount-#subAmount# >= 0
增加额外表来保证单条记录的幂等，一个用户一个幂等。
要求：avai_amount-#subAmount# >= 0 ，这个情景适合不用版本号，只更新是做数据安全校验，适合库存模型，扣份额和回滚份额，性能更高注意：乐观锁的更新操作，最好用主键或者唯一索引来更新,这样是行锁，否则更新时会锁表，上面两个sql改成下面的两个更好update table_xxxset name=#name#,version=version+1 where id=#id# and version=#version#update table_xxxset avai_amount=avai_amount-#subAmount# where id=#id# and avai_amount-#subAmount# >= 0
技术实现（七）
分布式锁，拿不到conn
还是拿插入数据的例子，如果是分布是系统，构建全局唯一索引比较困难，例如唯一性的字段没法确定，这时候可以引入分布式锁，通过第三方的系统(redis或zookeeper)，在业务系统插入数据或者更新数据，获取分布式锁，然后做操作，之后释放锁，这样其实是把多线程并发的锁的思路，引入多多个系统，也就是分布式系统中得解决思路。要点：某个长流程处理过程要求不能并发执行，可以在流程执行之前根据某个标志(用户ID+后缀等)获取分布式锁，其他流程执行时获取锁就会失败，也就是同一时间该流程只能有一个能执行成功，执行完成后，释放分布式锁(分布式锁要第三方系统提供)
技术实现（八）
select + insert
并发不高的后台系统，或者一些任务JOB，为了支持幂等，支持重复执行，简单的处理方法是，先查询下一些关键数据，判断是否已经执行过，在进行业务处理，就可以了
注意：核心高并发流程不要用这种方法，每天只执行几次的任务，建议使用，性能好一点
技术实现（九）
状态机幂等
在设计单据相关的业务，或者是任务相关的业务，肯定会涉及到状态机(状态变更图)，就是业务单据上面有个状态，状态在不同的情况下会发生变更，一般情况下存在有限状态机，这时候，如果状态机已经处于下一个状态，这时候来了一个上一个状态的变更，理论上是不能够变更的，这样的话，保证了有限状态机的幂等。
注意：订单等单据类业务，存在很长的状态流转，一定要深刻理解状态机，对业务系统设计能力提高有很大帮助
技术实现（十）
对外提供接口的api如何保证幂等
如银联提供的付款接口：需要接入商户提交付款请求时附带：source来源，seq序列号source+seq在数据库里面做唯一索引，防止多次付款，(并发时，只能处理一个请求)
重点：对外提供接口为了支持幂等调用，接口有两个字段必须传，一个是来源source，一个是来源方序列号seq，这个两个字段在提供方系统里面做联合唯一索引，这样当第三方调用时，先在本方系统里面查询一下，是否已经处理过，返回相应处理结果；没有处理过，进行相应处理，返回结果。注意，为了幂等友好，一定要先查询一下，是否处理过该笔业务，不查询直接插入业务系统，会报错，但实际已经处理了。
二、数据库
数据库设计原则
字段的命名规范化，简洁易懂，cash—取现，不合理，withdraw合理些
字段名要有注释，方便后人(不是死了的)查找问题
主键是选择自增的方式，还是带业务含义的主键，还是一个自增方式主键+ 一个业务含义流水要考虑清楚
字段长度选择，字符串考虑未来扩展性问题，整形有很多种，int(11)和int(2)，在性能上并没有优化
数据库引擎选择innodb
是否有幂等性业务需求靠数据库唯一索引来完成，索引设置的合理性
Decimal的长度选择，保留小数点后6位
同一个系统中各个表中同样含义的字段，名词要一致hk_detail,,HkDetail
同一个系统前缀一致，tb_share,tb_income_expense, tbShareId, shareId其他表里面存储的（MBA智库百科，查询金融词汇）
主键的设计
每个表都应该设置一个ID主键，最好的是一个INT型，并且设置上自动增加的AUTO_INCREMENT标志，这点其实应该作为设计表结构的第一件必然要做的事！！
个人强烈建议：自增id主键+全局唯一序列号
100xxxxxx-广东省, 200xxxxxx-黑龙江
遍历需求的对于自增ID的表来说很容易实现
主键设计：
1.自增
2.15位时间戳+业务标志+rand 32
3.分布式全局唯一，UUID或额外系统主键生成系统支持
数据库字段长度的优化
类型
占用字节
范围
tinyint 1 -128~127
smallint 2 -32768~32767
mediumint 3 -8388608~8388607）
int 4 -2147483648~2147483647
bigint 8 +-9.22*10的18次方
原则：
不浪费空间, 能用小的数据类型干嘛占用那么多空间
方便以后扩容
能用int，不影响业务理解，不用char
Tinyint(30)------30个字节---10, 000000000000000000010,
例子
direction收支方向，就收和支两个值，一定用tinyint(1)
数据库表名的命名
原则：
同一个应用都相同前缀，如tbj_aaa,tbj_bbb
简洁，见名知意
数据库字段的命名
原则：
同一个含义的字段各个表中名称一致
尽量用专业词汇
简洁，见名知意
例子
持仓的专业词汇是position，份额是share，所以份额表示tb_share
用户份额id，没有用tb_share_id而是用share_id，简洁易懂
设计索引
原则：
根据业务需求设计索引
索引不要过多，影响插入更新性能
如果有幂等性需求，设置数据库唯一索引
例子
如铜板账户，userId设置为唯一索引，一个人只能有一个铜板账户
收支流水表的userID设置普通索，查询效率高
Create_time默认加索引。。。。
A,b,c组合索引，，A**，ABX XXB XXC, a+b+c, 按位加索引
字段类型的选择
原则：
整形效率高于字符串，高于datetime
时间long形式时间建议加
日期：int20121212，2100000 2010000
长度过程用text，remark，varchar1024，默认截取，前端，append，/n
如果表数据量很大，主键用bigint
例子
occur_date用整形不用datetime，20121212，查询频繁用整形效率高
因为每个表未来的数据量都会很大，用bigint
如何避免全表扫描，如何避免误删数据
原则：
全表扫描会造成数据库挂掉,OOM
索引值很少，走索引也会全表扫描
删数据时，加limit限制和where后必须有条件
例子
DAO层面限制不走索引的查询sql
DAO层面限制索引值少的查询sql
Delete from tb_positionwhere id=142343 limit 1;
怎么分表？
深入理解业务，根据业务特性来分表，根据查询需求来分表
案例：
1.代金券分表（季度分）
2.每日收益分表（userId取余）
3.对账分表（按月分）
4.微信红包分表（年度+用户分）
分表后怎么查询？
前端要配合改，尽量不支持后台聚合查询
案例：
I.微信红包查询收支明细, 只能按年查询
II.按月查询
III.查询历史等
缓存和DB数据一致
索引字段上进行运算会使索引失效
尽量避免在WHERE子句中对字段进行函数或表达式操作，这将导致引擎放弃使用索引而进行全表扫描。如：
SELECT * FROM T1 WHERE F1/2=100 应改为: SELECT * FROM T1 WHERE F1=100*2
禁止如下sql：
Select * from table_xxxwhere nvl(filed_xx)=xxx;(红色字体不能加函数)
Sql的编写
一个xml里不要有两个表名，不做关联表查询，因为mysql接不了那么多客
下面的写法不对，不要给字段加函数
Sql通用查询的优化
Sql1：
select * from coupon where status=1 and use_time>’2016-03-14 00:00:00’ and use_time<’2016-03-15 00:00:00’;
Sql2：
select * from coupon where use_time>’2016-03-14 00:00:00’ and use_time<’2016-03-15 00:00:00’and status=1;
默认前提：
status，use_time都是索引字段
由于where后面索引一般生效顺序是从前到后，所以sql1是先走索引status再走use_time,sql2是先走索引use_time，后走status。
优化手段：先走的索引影响条数越少越好
三、代码默认写法
如何保证小数点后计算准确性
1.保留两位有效数字的值，要保留小数点后六位BigDecimal进行计算
案例：
非标产品收益
2. 保留六位有效数字的值，要保留小数点后20位BigDecimal进行计算
案例：
铜宝账户
SimpleDateFormat不是线程安全的
每次要new，不new，原因都查不到
如何避免全表扫描和误删数据—DAO层就禁止掉
日志是为了查问题，所以怎么记日志？
用户ID，异常原因这是必须要记录的，其他的业务关键信息也要记录下来
核心业务流程，请求参数，执行完业务影响数据要记录下来，info日志
核心业务流程，执行时间要记录下来，info日志
一个类中每条日志都要是唯一的，不然你怎么知道是那块代码出来的日志
日志要漂亮，要格式化，打印出来的才漂亮
案例：
出问题了可不可以立即关掉，开关？
核心业务系统要有开关，重大异常时可以随时关掉,，服务降级
案例：
交易系统全局开关，新手体验金开关
只用一次的系统，单独开发，独立部署
一些促销活动和营销活动临时开发，要临时部署，不要影响主业务系统
案例：
支付宝5福
15年春晚微信摇一摇
activity
经常扩展的常量类用java类不用枚举
枚举在增加变量，新老版本，序列化，反序列化中不太友好
JOB什么标准？
支持重复执行，幂等，这是基础
F(x)，F(Y) 是两个幂等操作：所以：f(x) +f(y)也是幂等的
JOB跑一半断电了，支持重跑修复
JOB返回结果要有，查询多少数据，处理了多少，失败了多少，成功了多少
JOB执行时间比较久的，继承AbstractJob来写，支持中断, sorce->trade>
几个JOB之间应该是互斥关系，可以独立跑，不要搞依赖
代码看着要美丽，漂亮
不要有黄点提示
不要用deprecate的方法和类，慢慢改掉
特别长的方法名，类名不漂亮
代码块是个方块，一行不要超一屏幕，横着拉代码太难看
竖着不要超过一屏幕，一个原理
嵌套不要超过三层，看不懂
一句话解决的，不要写一堆。啰嗦，多用apache工具类
代码看着要有结构感觉，不要不换行
注释要点睛
一个流程多次用到的数据，提前放内存
一些DB的配置数据，dubbo调用的获取的需要多次使用的数据等
查询一次，放到内存，多次使用，不用每次用到再去查询
敏感信息，加密
身份证，姓名，银行卡号，密码等核心数据，存储时要加密存储
看业务需求，哪些字段还需要加密
考虑加密算法的性能
RSA < DES < AES < MD5
MD5----》签名----》完整性，正确性
RSA----》加密----》安全性
加密算法的安全性
看复杂度选择,一般和性能成反比
去掉过多的if else
改成键值对配置形式，取配置便于维护，配置的选择看情况
数据库、应用、前端、含义的一致性
一个含义的字段，要用一个英文单词，别多个英文单词一个含义，搞死人的
怎么做遍历？
有自增主键的遍历
select * from table_xxxwhere status = #status and limit 1000; id > #lastQueryId
优点：性能高，不漏数据，遍历数据状态变更不会造成位移
缺点：暂时没发现
非自增主键遍历
select * from table_xxxwhere status = #status and id > #lastQueryIdlimit 1000;
每次取出最后一条ID，进行下一次查询，性能极高，强哥推荐，好片
是否是带状态更新的遍历：
会可能存在位移差，存在漏数据
解决办法：
1. id>#lastId, limit 100, order没有自增主键
2. Create_time索引，create_time>=#lastCreateTime, limit 100;支持幂等
3. 存在新增数据的遍历，做临时表，临时表做业务重复判断。
4. create_time半开查询create_time>= egtCreateTimeand create_time<ltCreateTime
容错
异步怎么做？
同步怎么做，超时时间？
对方接口的承受能力？
容错代码是正常代码的2倍以上？
doPay，，，，超时了，，，但是它成功了。。。。反查。。。。
一眼看的懂。一眼看不懂，一定有问题
一眼看不懂，怎么维护
一眼看不懂是流程设计问题还是命名问题，反正是有问题的
业务领域也是，很清晰，看得懂
四、业务设计
怎样做重构？
复杂简单化
简单标准化
标准流程化
流程自动化
做成一个标准的模式，大家都认为这么做合理，这事就成了
案例：交易流程，充值流程，做成品牌
根据状态机设计业务
业务核心点
业务边界点
业务对接点
核心业务状态机
服务升降级
服务自动升降级
案例：
