一线码农的博客_(2)

记一次排查线上程序内存的忽高忽低，又是大集合惹祸了

一：背景1.讲故事昨天继续还技术债，优化一轮后的程序拉到线上后内存继续忽高忽低，低的时候20G，高的时候30G，过了一会又下降了几个G，毫无疑问，程序中有什么集合或者什么操作占用了大量内存，所以准备在28，29G的时候抓dump分析分析。二：解决思路从快照中找问题就像看病一样，根据病象猜测，都有一套经验可循。1.把托管堆中>10M的对象找出来通常应对大集合从托管堆入手最简单，看哪个类型占用空

java

原创 2020-08-29 20:36:46 101 阅读

BitArray虽好，但请不要滥用，又一次线上内存暴增排查

一：背景1.讲故事前天写了一篇大内存排查在园子里挺火，这是做自媒体最开心的事拉，干脆再来一篇满足大家胃口，上个月我写了一篇博客提到过使用bitmap对原来的List<CustomerID>进行高强度压缩，将原来的List内存压缩了将近106倍，但是bitmap不是一味的好，你必须在正确的场景中使用，而不是闭着眼睛滥用，bitmap在C#中对应的集合是BitArray。好像剧透了，结果就

java

原创 2020-08-29 20:33:54 192 阅读

第五站使用winHex利器加深理解数据页

这篇我来介绍一个winhex利器，这个工具网上有介绍，用途大着呢，可以用来玩数据修复，恢复删除文件等等。。。。它能够将一个file解析成hex形式，这样你就可以对hex进行修改，然后你就可以看到修复后的结果，为什么要在sqlserver系列中说这个呢？？？很简单呀，sqlserver的DB本质上也是一个mdf文件，对吧，既然是文件，我就可以利用winhex对它进行随意的修改，然后你也知道sqlse

java

原创 2020-08-29 20:30:08 133 阅读

Sql Server之旅——第六站为什么都说状态少的字段不能建索引

我们在学sqlserver的时候，大多教科书和前辈们都说状态少的字段不要建索引，由此带来的开销还不如不建索引，但是这句话有多少人真的知道，或者说有多少人真的对此有比较深刻的理解，而不是听别人道听途说。。。这样记得快，忘记的也不慢。。。这篇我来分析一下这句话到底有几个意思。一：现象首先我们还是用测试数据来发现问题，我先建立一个Person，有5个字段，建表sql如下：DROPTABLEdbo.Per

java

原创 2020-08-29 20:26:22 95 阅读

List的扩容机制，你真的明白吗？

一：背景1.讲故事在前一篇大内存排查中，我们看到了Dictionary正在做扩容操作，当时这个字典的count=251w，你把字典玩的66飞起，其实都是底层为你负重前行，比如其中的扩容机制，当你遇到几百万甚至千万的大集合这个扩容机制还真的需要挖一下，免的入戏太深，难以自拔。为了方便讲述，我准备从List说起，因为它最简单哈二：List扩容机制1.如何查看要想看它的扩容机制，可以用ILSpy去看看L

java

原创 2020-08-29 20:23:31 110 阅读

Sql Server之旅——第七站复合索引和include索引到底有多大区别？

索引和锁，这两个主题对我们开发工程师来说，非常的重要。。。只有理解了这两个主题，我们才能写出高质量的sql语句，在之前的博客中，我所说的索引都是单列索引。。。当然数据库不可能只认单列索引，还有我这篇的复合索引，说到复合索引，可能熟悉的人又会说到include，那这两个索引到底有什么区别呢?我也是菜鸟一枚。。。所以下面的也是我的个人见解。。。一：从数据页角度看问题1.做两个表，插入两条数据，在tes

java

原创 2020-08-29 13:29:35 121 阅读

阿里短信回执.net sdk的bug导致生产服务cpu 100%排查

一：背景1.讲故事去年阿里聚石塔上的所有isv短信通道全部对接阿里通信，我们就做了对接改造，使用阿里提供的.netsdk。网址：https://help.aliyun.com/document_detail/114480.html同事当时使用的是ons-.netv1.1.3版本，程序上线后若干天就会有一次程序崩溃现象，当时也没特别在意，以为是自己代码或者环境出了什么问题，索性就加了一个检测程序，如

java

原创 2020-08-29 13:26:56 97 阅读

Sql Server之旅——第八站看公司这些DBA们设计的这些复合索引

这一篇再说下索引的最后一个主题，索引覆盖，当然学习比较好的捷径是看看那些大师们设计的索引，看从中能提取些什么营养的东西，下面我们看看数据库中一个核心的Orders表。一：查看表的架构1.先查看这个表的大概架构信息--查看表的架构信息SELECTc.column_id,c.name,t.nameFROMsys.columnsAScJOINsys.typestONc.system_type_id=t.

java

原创 2020-08-29 13:23:41 59 阅读

使用PInvoke互操作，让C#和C++愉快的交互优势互补

一：背景1.讲故事如果你常翻看FCL的源码，你会发现这里面有不少方法借助了C/C++的力量让C#更快更强悍,如下所示：[DllImport("QCall",CharSet=CharSet.Unicode)][SecurityCritical][SuppressUnmanagedCodeSecurity]privatestaticexternboolInternalUseRandomizedHash

java

原创 2020-08-29 13:20:35 94 阅读

Sql Server之旅——第九站看看DML操作对索引的影响

我们都知道建索引是需要谨慎的，当只有利大于弊的时候才适合建，同时也知道建索引是需要维护成本的，这个维护也就在于DML操作，下面具体看看到底DML对索引都有哪些内幕。。。。一：delete操作现在大家都已经知道索引是以B树的形式存在，既然是B树就要给大家展示一下叶子节点和分支结点，先准备点测试数据，如下代码：CREATETABLEPerson(IDINT,NAMECHAR(200))CREATEIN

java

原创 2020-08-29 13:15:27 103 阅读

自定义值类型一定不要忘了重写Equals，否则性能和空间双双堪忧

一：背景1.讲故事曾今在项目中发现有同事自定义结构体的时候，居然没有重写Equals方法，比如下面这段代码：staticvoidMain(string[]args){varlist=Enumerable.Range(0,1000).Select(m=>newPoint(m,m)).ToList();varitem=list.FirstOrDefault(m=>m.Equals(newP

java

原创 2020-08-29 13:11:05 56 阅读

Sql Server之旅——第十站简单说说sqlserver的执行计划

我们知道sql在底层的执行给我们上层人员开了一个窗口，那就是执行计划，有了执行计划之后，我们就清楚了那些烂sql是怎么执行的，这样就可以方便的找到sql的缺陷和优化点。一：执行计划生成过程　　说到执行计划，首先要知道的是执行计划大概生成的过程，这样就可以做到就心中有数了，下面我画下简图：1.分析过程这三个比较容易理解，首先我们要保证sql的语法不能错误，select和join的表是必须存在的，以及

java

原创 2020-08-29 10:46:13 93 阅读

MySql轻松入门系列——第一站从源码角度轻松认识mysql整体框架图

一：背景1.讲故事最近看各大技术社区，不管是知乎，掘金，博客园，csdn基本上看不到有小伙伴分享sqlserver类的文章，看样子这些年sqlserver没落了，已经后继无人了，再写sqlserver是不可能再写了，这辈子都不会写了，只能靠技术输出mysql维持生活这样子。二：了解架构图mysql最大的好处就是开源，手握百万源码，有什么问题搞不定呢？这一点要比sqlserver爽多了，不用再dbc

java

原创 2020-08-29 10:42:02 145 阅读

Sql Server之旅——第十一站 sqltext的参数化处理

说到sql的参数化处理，我也是醉了，因为sql引擎真的是一个无比强大的系统，我们平时做系统的时候都会加上缓存，我想如果没有缓存，就不会有什么大网站能跑的起来，而且大公司一般会在一个东西上做的比较用心，比较细，sqlserver同样也使用了缓存，其中就包括Datacache和Plancache两个大头。现在我们也知道了Plancache包括上一篇生成的xml结构和sqltext，更有趣的是，sqlt

java

原创 2020-08-29 10:37:41 113 阅读

字符串太占内存了，我想了各种奇思淫巧对它进行压缩

一：背景1.讲故事在我们的一个全内存项目中，需要将一家大品牌店铺小千万的trade灌入到内存中，大家知道trade中一般会有订单来源,省市区，当把这些字段灌进去后，你会发现他们特别侵蚀内存，因为都是字符串类型，不知道大家对内存侵蚀性是不是很清楚，我就问一个问题。Answer:一个空字符串占用多大内存？你知道吗？思考之后，下面我们就一起验证下，使用windbg去托管堆一查究竟，代码如下：static

java

原创 2020-08-29 10:30:44 74 阅读

Sql Server之旅——第十二站对锁的初步认识

作为一个开发人员，锁机制也是我们程序员必须掌握的东西，很久之前在学习锁的时候，都是教科书上怎么说，然后我怎么背，缺少一个工具让我们眼见为实。。。如果这样的话，学习一个东西就很容易忘记。。。因为这些都是你背诵过来的。。。这篇的话我就来分享一个工具来帮助我们学习锁。一：到底都有哪些锁学习锁之前，必须要知道锁大概有几种？？？通常情况下作为码农我们只需知道如下几个锁即可。。。1.S（Share）锁为了方便

java

原创 2020-08-29 10:26:08 97 阅读

Sql Server之旅——第十三站深入的探讨锁机制

上一篇我只是做了一个堆表让大家初步的认识到锁的痉挛状态，但是在现实世界上并没有这么简单的事情，起码我的表不会没有索引对吧，还有就是我的表一定会有很多的连接过来，10:1的读写，很多码农可能都会遇到类似神乎其神的死锁，卡住，读不出来，插不进入等等神仙的事情导致性能低下，这篇我们一起来探讨下。一：当select遇到性能低下的update会怎么样？1.还是使用原始的person表，插入6条数据，由于是4

java

原创 2020-08-29 10:23:09 57 阅读

一个static和面试官扯了一个小时，舌战加强版

一：背景1.讲故事最近也是奇怪，在社区里看到好几篇文章聊static的玩法以及怎么拿这个和面试官扯半个小时，有点意思，点进去看都是java版的，这就没意思了，怎么也得有一篇和面试官扯C#中的static用法撒，既然没有人开这个头，那我就献丑了。。。，下面以QA的方式记述，大家可以代入一下能回答几个问题。二：QA环节面试官：请问您都是在什么场景下用static的？解析：可能面试官潜意识的想问问你会不

java

原创 2020-08-29 10:19:03 83 阅读

Sql Server之旅——终点站 nolock引发的三级事件的一些思考

曾今有件事情让我记忆犹新，那年刚来携程不久，马上就被安排写一个接口，供企鹅公司调用他们员工的差旅信息，然后我就三下五除二的给写好了，上线之后，大概过了一个月。。。DBA那边报告数据库出现大量锁超时，并且及时根据sql的来源将email发到了我们部门，指出sql读取时间过长，并且缺少nolock，影响了大量机票订单入库，然后我就拿着sql去生产环境跑了下，22s。。。花擦。。。项目上线时间太久，版本

java

原创 2020-08-29 10:12:41 115 阅读

数据结构与算法专题——第一题 Bitmap算法

在所有具有性能优化的数据结构中，我想大家使用最多的就是hash表，是的，在定位查找场景上具有O(1)的常量时间，多么的简洁优美，但是在特定的场合下：①：对10亿个不重复的整数进行排序。②：找出10亿个数字中重复的数字。当然我只有普通的服务器，就算2G的内存吧，在这种场景下，我们该如何更好的挑选数据结构和算法呢？一：问题分析这年头，大牛们写的排序算法也就那么几个，首先我们算下放在内存中要多少G:(1

java

原创 2020-08-29 10:09:19 319 阅读

数据结构与算法专题——第二题优先队列

前段时间玩小爬虫的时候，我把url都是放在内存队列里面，有时我们在抓取url的时候，通过LCS之类的相似度比较，发现某些url是很重要的，需要后端解析服务器优先处理，针对这种优先级比较大的url，普通的队列还是苦逼的在做FIFO操作，现在我们的需求就是优先级大的优先服务，要做优先队列，非堆莫属。一：堆结构1:性质堆是一种很松散的序结构树，只保存了父节点和孩子节点的大小关系，并不规定左右孩子的大小，

java

原创 2020-08-29 10:05:45 90 阅读

MySql轻松入门系列——第二站使用visual studio 对mysql进行源码级调试

一：背景1.讲故事上一篇说了mysql的架构图，很多同学反馈说不过瘾，毕竟还是听我讲故事，那这篇就来说一说怎么利用visualstudio对mysql进行源码级调试，毕竟源码面前，不谈隐私，圣人面前，皆为蝼蚁。二：工具合集mysql是C++写的，要想在windows上编译，还需要下载几个必备小工具。mysql-5.7.12.zipcmake-3.17.3-win64-x64.msiboost_1_

java

原创 2020-08-29 09:59:12 61 阅读

C#9.0 终于来了，您还学的动吗？带上VS一起解读吧！

一：背景1.讲故事好消息，.NET5.0终于在2020年6月10日发布了第五个预览版，眼尖的同学一定看到了在这个版本中终于支持了C#9.0，此处有掌声，太好了！！！.Net5官方链接可以看到目前的C#9还是预览版，实现了一部分新语法供开发者提前尝鲜，从github的roslyn仓库上可以看到目前准备实现17个新特性，现阶段已经实现了8个，其中的InProgress表示正在开发中。新特性预览2.安装

java

原创 2020-08-29 09:50:16 76 阅读

C#9.0 终于来了，带你一起解读 nint 和 Pattern matching 两大新特性玩法

一：背景1.讲故事上一篇跟大家聊到了Target-typednew和Lambdadiscardparameters，看博客园和公号里的阅读量都达到了新高，甚是欣慰，不管大家对新特性是多头还是空头，起码还是对它抱有一种极为关注的态度，所以我的这个系列还得跟，那就继续开撸吧，今天继续带来两个新特性，更多新特性列表，请大家关注：新特性预览二：新特性研究1.Nativeints从字面上看貌似是什么原生类型

java

原创 2020-08-28 22:11:13 288 阅读

数据结构与算法专题——第三题最长公共子序列

一：作用最长公共子序列的问题常用于解决字符串的相似度，是一个非常实用的算法，作为码农，此算法是我们的必备基本功。二：概念举个例子，cnblogs这个字符串中子序列有多少个呢？很显然有27个，比如其中的cb,cgs等等都是其子序列，我们可以看出子序列不见得一定是连续的，连续的那是子串。我想大家已经了解了子序列的概念，那现在可以延伸到两个字符串了，你可以看出cnblogs和belong的公共子序列吗？

java

原创 2020-08-28 22:07:35 515 阅读

foreach 集合又抛经典异常了，这次一定要刨根问底

一：背景1.讲故事最近同事在写一段业务逻辑的时候，程序跑起来总是报：集合已修改；可能无法执行枚举操作，硬是没有找到什么情况下会导致这个异常产生，就让我来找一下bug，其实这个异常在座的每个程序员几乎都遇到过，谁也不是一生下就是大牛，简单看了下代码，确实是多线程操作foreach，但并没有对foreach进行Add，Remove操作，扫完代码其实我也是有点懵，没撤只能调试了，在foreach里套一层

java

原创 2020-08-28 22:04:36 139 阅读

数据结构与算法专题——第四题字符串相似度

这篇我们看看最长公共子序列的另一个版本，求字符串相似度(编辑距离)，我也说过了，这是一个非常实用的算法，在DNA对比，网页聚类等方面都有用武之地。一：概念对于两个字符串A和B，通过基本的增删改将字符串A改成B，或者将B改成A，在改变的过程中使用的最少步骤称之为:编辑距离。比如如下的字符串：我们通过种种操作，痉挛之后编辑距离为3，不知道你看出来了没有？二：解析可能大家觉得有点复杂，不好理解，我试着把

java

原创 2020-08-28 22:01:09 190 阅读

HashSet扩容机制在时间和空间上的浪费，远大于你的想象

一：背景1.讲故事自从这个纯内存项目进了大客户之后，搞得我现在对内存和CPU特别敏感，跑一点数据内存几个G的上下，特别没有安全感，总想用windbg抓几个dump看看到底是哪一块导致的，是我的代码还是同事的代码？很多看过我博客的老朋友总是留言让我出一套windbg的系列或者视频，我也不会呀，没办法，人在江湖飘，迟早得挨上几刀，逼着也得会几个花架子，废话不多说，这一篇就来看看HashSet是如何扩容

java

原创 2020-08-28 21:58:46 154 阅读

数据结构与算法专题——第五题并查集

这一篇我们看看经典又神奇的并查集，顾名思义就是并起来查，可用于处理一些不相交集合的秒杀。一：场景有时候我们会遇到这样的场景，比如:M={1,4,6,8},N={2,4,5,7}，我的需求就是判断{1,2}是否属于同一个集合，当然实现方法有很多，一般情况下，普通青年会做出O(MN)的复杂度，那么有没有更轻量级的复杂度呢？嘿嘿，并查集就是用来解决这个问题的。二：操作从名字可以看出，并查集其实只有两种操

java

原创 2020-08-28 21:53:25 189 阅读

对 JsonConvert 的认识太肤浅了，终于还是遇到了问题

一：背景1.讲故事在开始本文之前，真的好想做个问卷调查，到底有多少人和我一样，对JsonConvert的认识只局限在SerializeObject和DeserializeObject这两个方法上(┬＿┬),这样我也好结伴同行，不再孤单落魄，或许是这两个方法基本上能够解决工作中80%的场景，对于我来说确实是这样，但随着编码的延续，终究还是会遇到那剩下的20%，所以呀。。。我的场景是这样的：前段时间写

java

原创 2020-08-28 21:50:34 1094 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

码农博客

记一次排查线上程序内存的忽高忽低，又是大集合惹祸了

BitArray虽好，但请不要滥用，又一次线上内存暴增排查

第五站使用winHex利器加深理解数据页

Sql Server之旅——第六站为什么都说状态少的字段不能建索引

List的扩容机制，你真的明白吗？

Sql Server之旅——第七站复合索引和include索引到底有多大区别？

阿里短信回执.net sdk的bug导致生产服务cpu 100%排查

Sql Server之旅——第八站看公司这些DBA们设计的这些复合索引

使用PInvoke互操作，让C#和C++愉快的交互优势互补

Sql Server之旅——第九站看看DML操作对索引的影响

自定义值类型一定不要忘了重写Equals，否则性能和空间双双堪忧

Sql Server之旅——第十站简单说说sqlserver的执行计划

MySql轻松入门系列——第一站从源码角度轻松认识mysql整体框架图

Sql Server之旅——第十一站 sqltext的参数化处理

字符串太占内存了，我想了各种奇思淫巧对它进行压缩

Sql Server之旅——第十二站对锁的初步认识

Sql Server之旅——第十三站深入的探讨锁机制

一个static和面试官扯了一个小时，舌战加强版

Sql Server之旅——终点站 nolock引发的三级事件的一些思考

数据结构与算法专题——第一题 Bitmap算法

数据结构与算法专题——第二题优先队列

MySql轻松入门系列——第二站使用visual studio 对mysql进行源码级调试

C#9.0 终于来了，您还学的动吗？带上VS一起解读吧！

C#9.0 终于来了，带你一起解读 nint 和 Pattern matching 两大新特性玩法

数据结构与算法专题——第三题最长公共子序列

foreach 集合又抛经典异常了，这次一定要刨根问底

数据结构与算法专题——第四题字符串相似度

HashSet扩容机制在时间和空间上的浪费，远大于你的想象

数据结构与算法专题——第五题并查集

对 JsonConvert 的认识太肤浅了，终于还是遇到了问题