mb5fe559d8b9ae4的博客_原创

按发布时间
按阅读量
时间轴

全部2318篇
2021年645篇 11月26篇 10月131篇 09月77篇 08月119篇 07月66篇 06月113篇 05月22篇 04月5篇 03月4篇 02月10篇 01月72篇 2020年212篇 12月39篇 11月12篇 10月6篇 09月2篇 08月7篇 07月25篇 06月25篇 05月10篇 04月13篇 03月29篇 02月25篇 01月19篇 2019年214篇 12月11篇 11月22篇 10月30篇 09月11篇 08月26篇 07月28篇 06月12篇 05月11篇 04月12篇 03月16篇 02月13篇 01月22篇 2018年179篇 12月23篇 11月13篇 10月13篇 09月11篇 08月41篇 07月8篇 06月10篇 05月15篇 04月12篇 03月8篇 02月10篇 01月15篇 2017年248篇 12月10篇 11月40篇 10月8篇 09月7篇 08月28篇 07月57篇 06月32篇 05月24篇 04月13篇 03月12篇 02月5篇 01月12篇 2016年229篇 12月4篇 11月20篇 10月44篇 09月24篇 08月27篇 07月9篇 06月11篇 05月20篇 04月20篇 03月21篇 02月11篇 01月18篇 2015年110篇 12月5篇 11月5篇 10月2篇 09月19篇 08月20篇 07月17篇 06月8篇 05月7篇 04月4篇 03月16篇 02月2篇 01月5篇 2014年98篇 12月6篇 11月6篇 10月32篇 09月1篇 08月7篇 07月13篇 06月7篇 05月15篇 04月3篇 03月5篇 02月2篇 01月1篇 2013年113篇 12月5篇 11月3篇 10月4篇 09月6篇 08月20篇 07月9篇 06月6篇 05月28篇 04月4篇 03月24篇 02月1篇 01月3篇 2012年103篇 12月4篇 11月2篇 10月2篇 09月10篇 08月2篇 07月8篇 06月14篇 05月17篇 04月7篇 03月26篇 02月11篇 2011年53篇 12月4篇 11月3篇 10月7篇 09月2篇 08月3篇 07月4篇 06月3篇 05月1篇 04月14篇 03月9篇 02月1篇 01月2篇 2010年34篇 12月16篇 10月2篇 09月2篇 08月1篇 07月2篇 06月4篇 05月1篇 04月2篇 03月1篇 02月3篇 2009年18篇 12月1篇 11月3篇 09月1篇 08月1篇 07月1篇 06月2篇 05月2篇 04月2篇 03月2篇 02月1篇 01月2篇 2008年16篇 11月1篇 10月1篇 09月1篇 08月4篇 07月3篇 05月1篇 04月1篇 03月1篇 02月2篇 01月1篇 2007年37篇 12月5篇 11月6篇 10月1篇 07月2篇 05月2篇 04月2篇 03月14篇 02月5篇 2006年7篇 11月1篇 09月2篇 08月2篇 02月1篇 01月1篇 2005年1篇 12月1篇 2004年1篇 12月1篇
推荐
原创

全部原创转载翻译

高并发秒杀场景下，基于Redis、LUA防止商品超卖

关联阅读秒杀场景设计的总结简单列一下分布式高并发要做的事情与超卖对应的是商品热Key的解决方案高并发下热Key解决方案总结基于SpringBoot、Zookeeper、Caffeine的热Key解决方案的代码实现高并发情况下，库存扣减、查询等操作就不要考虑用数据库了，Redis是比较常用的解决方案，主要是基于Redis的高并发、原子性的特点。防止用户重复提交购买如果前端的“购买”按钮没有置灰，用户

Java

原创点赞0 阅读3089 收藏0 评论0 2021-01-24

基于SpringBoot、Zookeeper、Caffeine的热Key解决方案的代码实现

解决方案的说明请看高并发下热Key解决方案总结。本文讲解一下，基于SpringBoot、Zookeeper、Caffeine实现热Key的解决方案。相比较前文的给出的几种实现方式，采用本地缓存而非专门存热Key的Redis来分担热Key的高并发压力，主要还是个人倾向于用内存空间资源去换网络IO资源。采用Zookeeper而非消息队列，单纯是因为Docker没有Kafka的镜像。使用Caffeine

Java

原创点赞0 阅读733 收藏0 评论0 2021-01-24

高并发下热Key解决方案总结

总的方针还是将数据前移。以电商系统为例，最容易产生热Key的无疑是商品详情接口（静态页面orJSON数据）。从整体来看，可以采用客户端缓存，CDN缓存，甚至限流来减少服务端的并发压力。而作为服务端，可以采用下列方案来解决高并发下的热Key问题。数据库高并发状况下，MySQL就指望不上了。A厂曾在源代码上做了修改，使TPS从150提高到8万5，其他公司恐怕没有这个技术实力。甚至说公司特别有钱，给My

Java

原创点赞0 阅读908 收藏0 评论0 2021-01-24

Elasticsearch根据日期价格范围搜索酒店且排序

Java

原创点赞0 阅读587 收藏0 评论0 2021-01-24

Elasticsearch根据日期价格范围搜索酒店

前一篇《基于SpringBoot、Elasticsearch的酒店搜索》仅写了Elasticsearch的简单查询，比如查个关键词，地标之类的。在现实场景中，还有复杂的组合查询，例如根据关键词，查询出某个时间段内，价格在某区间的酒店列表，如图：除了酒店信息，这还涉及到了酒店内的房型信息，以及每个房型的价格日历。在管理系统中配置完毕后，表结构应该是：酒店>房型>价格日历。因为我们在页面展

Java

原创点赞0 阅读519 收藏0 评论0 2021-01-24

基于SpringBoot、Elasticsearch的酒店搜索

在一些应用中，Elasticsearch应用于全文搜索的很少，多是用于ToC端的查询，更像是一个缓存数据库。与ToB的查询项是确定的不同——例如查名字，性别，地址，直接去DB对应的字段查就可以了，ToC大多是一个搜索框，对应多个查询项，如图：这时候用DB就显得很不优雅了，用Elasticsearch就比较好了。本文内容主要是通过基于SpringBoot、Elasticsearch实现对酒店查询的功

Java

原创点赞0 阅读179 收藏0 评论0 2021-01-24

简单列一下分布式高并发要做的事情

数据库：以MySQL为例。慢查询日志，索引优化（explain），覆盖索引。数据库一主多从或者双主多从。读写分离。然后对表进行垂直划分，例如一张字段很多的宽表转为子母表。水平划分，根据业务特性，对表进行分区（现在应该很少用），分表，甚至分库。数据该归档的归档，日表变月表，年表，或者变地域表等。使用sharding-jdbc等。甚至可以给数据库硬盘换上SSD。数据量再大，就该考虑大数据了。缓存：以R

Java

原创点赞0 阅读53 收藏0 评论0 2021-01-24

Elasticsearch读书笔记（三）

接Elasticsearch读书笔记（一）、Elasticsearch读书笔记（二）复合查询：constant_sourcequery。包装一个其他查询且评分相同的文档。boolquery。将任意简单查询组合在一起。must=and，should=or，mustnot=!and。filter=must=and，但是不评分，只过滤dis_maxquery。支持并发查询。boolquery将所有匹配查

Java

原创点赞0 阅读144 收藏0 评论0 2021-01-23

Elasticsearch读书笔记（二）

接Elasticsearch读书笔记（一）静态映射字段类型：1、keyword。适用于索引结构化的字段，例如姓名，电话号码，电子邮箱，身份证等。通常用于过滤，排序，聚合，精确搜索。2、数字。Long，Integer等。3、text。全文搜索，例如文档内容，产品描述等。通过分词器生成倒排索引。不用于排序，聚合。4、date。内部存储的是毫秒计时的长整型，配置的时候要设定格式化。5、boolean。6

Java

原创点赞0 阅读236 收藏0 评论0 2021-01-23

Elasticsearch读书笔记（一）

Lucene有两大任务：索引文档（倒排索引），搜索文档。多域搜索MultiFieldQuery，可以取多个字段查询关键词。词项搜索TermQuery，查询某个字段的关键词。布尔搜索BooleanQuery，组合查询，把各种Query添加进去并标明其逻辑关系，例如{title:人工智能}and{content:深度学习}。范围搜索RangeQuery，满足范围内的搜索。前缀搜索PrefixQuery

Java

原创点赞0 阅读133 收藏0 评论0 2021-01-23

Kafka读书笔记（二）

自动位移提交，避免不了消息丢失，重复消费。手动位移提交，拉取到消息，业务处理完毕后，视为完成消费，再手动提交位移。有同步、异步两种方式。消费者可通过指定offset来回溯消费。再均衡：分区所属权从一个消费者转到另一个消费者，期间消费组不可用，会发生重复消费。优先副本，leader副本均匀分布在Broker中，但不保证整个集群的负载均衡。Kafka提供自动分区平衡功能，Broker参数：auto.l

Java

原创点赞0 阅读310 收藏0 评论0 2021-01-23

Docker版Elasticsearch和Kibana的安装配置

作为开发人员，在开发电脑上装个ES，供开发学习使用是很普遍的，使用Docker就很省事，本文就记录一下我的安装步骤和遇到的问题。1、下载镜像：dockerpullelasticsearch:7.9.3dockerpullkibana:7.9.32、运行镜像：先创建一个自定义网络，用于连接到连接同一网络的其他服务，比如ES和Kibana。dockernetworkcreateesnetwork分别运

Java

原创点赞0 阅读1415 收藏0 评论0 2021-01-23

有关TF-IDF现有资料的一些问题的总结

在搜索、关键词提取等领域，常用到TF-IDF算法，我在学习过程中查阅了一些资料，发现有些问题，在此总结一下。我们分析一篇文本与某词的相关性时，本能的想法就是，包含某词的数量越多，文本与其相关性就越高。例如两篇字数相当的新闻，一篇报道足球，一篇报道篮球，不可能出现报道篮球的新闻中“足球”一词出现的次数多于另一篇的情况。但是单纯地计算单词出现的次数也不合适，例如一篇报道篮球的新闻，涉及了一些足球内容，

Java

原创点赞0 阅读216 收藏0 评论0 2021-01-23

Kafka读书笔记（一）

Kafka包含若干个Producer（生产者）、Broker（服务器实例）、Consumer（消费者）。依赖Zookeeper，负责集群元数据的管理，控制器的选举。Producer发消息到Broker，Broker持久化，Consumer从Broker订阅并消费消息。消息用Topic归类，一个Topic有多个Partition（分区），不同分区的消息内容不同，消息有唯一的offset（偏移量），顺

Java

原创点赞0 阅读141 收藏0 评论0 2021-01-23

秒杀场景设计的总结

主要解决瞬时高并发、处理速度、商品超卖的问题。1、秒杀的相关服务要单独开发，单独部署。与正常的服务实例做隔离。绝不要傻乎乎地使用原来商城的相关接口。2、不用DB，用缓存（本地缓存、Redis）存库存。3、基于MQ的异步。商品详情页的处理秒杀前用户会停留在此页面，不停地刷新。可以将页面存入Redis、服务实例的本地缓存，甚至是使用用户浏览器的本地缓存（此者最佳），从而减少服务端的处理压力。秒杀的开始

Java

原创点赞0 阅读276 收藏0 评论0 2021-01-23

基于MQ的分布式事务方案，断电了咋办

涉及到分布式、微服务，面试一定会问分布式事务的处理方案，强一致性这种就不说了，很好奇现在是否还有企业在分布式系统中使用强一致性。最终一致性的实现，例如2PC、TCC本文就不说了，性能上，实现成本上都不理想。我从工作中以及跟朋友交流接触到的消息来看，采用MQ较多。这就衍生出一个被问到很多次的问题：给MQ发消息失败了怎么办，例如MQ服务器断电了。基于MQ的分布式事务现在有两种。相关角色如下：生产者（P

Java

原创点赞0 阅读279 收藏0 评论0 2021-01-23

Spring Boot异步方法&自定义线程池知识点总结

先说一下异步方法的使用场景。根本目的肯定还是为了节省时间。1、子流程不影响主流程。例如记录日志，发送短信验证码等，主流程不关心这些子流程的结果，或者说默认这些子流程的结果一定正常——如果不正常则启动自己的补偿机制。2、需要子流程返回结果，但各个子流程相互不依赖。例如已知用户ID，用户的经纬度，通过三个HTTP请求，分别获取用户详细信息、用户订单列表、经纬度所在城市。完全没必要串行。一、简单开启异步

Java

原创点赞0 阅读418 收藏0 评论0 2021-01-23

基于Redis实现的分布式锁知识点总结

应用场景：分布式系统中，面对高并发场景，又对数据一致性有一定要求的情况下，使用分布式锁。例如商城中下单扣库存，订单与库存是两个服务这种情况。解决方案：基于数据库例如：select*frommall_spuwhereid=111forupdate例如：专门建一张表用来实现。例如以类名、方法名、数据ID作为唯一主键，org.leo.mall.order.OrderServer.addOrder.sku

Java

原创点赞0 阅读126 收藏0 评论0 2021-01-23

快速搭建XXL-Job调度中心并开发

就我了解的情况而言，分布式任务调度这一块，用XXL-Job或Elastic-Job的居多，都是国内开源软件的佼佼者。Elastic-Job之前所在的公司就在用，本文就记录一下个人在学习搭建开发XXL-Job中的一些知识点。基于最新版2.2.0。部署：首先从GitHub上下载源码，并将工程导入IDE，如图：core是核心，admin是调度中心，剩下的是各种示例工程。下载的文件中，找到tables_x

Java

原创点赞0 阅读650 收藏0 评论0 2021-01-23

关于YOLO算法的个人理解

假设有一张训练图片包含2个类型，每个类型BBox的坐标(x,y)，宽高(w,h)，应该类似于：Dog:x1,y1,w1,h1Car:x2,y2,w2,h2不同数据集的格式肯定不一样，但是我们最终都能转化成以上数据。最关键的就是将图像分割成S*S个网格。接下来我们分几步描述：第一步解决这个网格有没有物体的问题。一个物体可能覆盖多个网格，每个网格都有一个含有物品的概率，即Pr(Object)，为了简化

Java

原创点赞0 阅读442 收藏0 评论0 2021-01-23

分布式ID生成--雪花算法

这个也没啥讲的，上数据库集群，要是按照数据库实例1:表ID初始值1，步长3；数据库实例2:表ID初始值2，步长3；数据库实例3:表ID初始值3，步长3；的设置，可以解决ID重复问题，只是要再加一台就不好办了。还有就是通过Redis的incr自增，因为是原子操作，也可以保证ID不重复。再有就是zookeeper的持久顺序节点，也可以。接着就是要说的雪花算法。生成的ID是一个Long型数字，结构是：0

Java

原创点赞0 阅读551 收藏0 评论0 2021-01-23

查询的数据超过阈值，不走索引直接全表扫描的原因

也是很巧合，之前遇到过一次情况，一条SQL，根据时间范围查数据，但有时候速度很快，有时候速度就慢。第一反应是没有设置索引，但开发人员告诉我已经设置了二级索引，查询的速度依然有快有慢。通过explain解析，发现同一条SQL，时间范围不一样，有的使用了索引，有的全表扫描。当时我都懵逼了！经过查询，发现一种说法是当查询的数据量超过全表的30%，就不再走索引，而直接全表扫描。经过排查，我们的情况恰好符合

Java

原创点赞0 阅读2615 收藏0 评论0 2021-01-23

要写count(*)！

分页总是要查表记录总数的，十几年前就一直有说法，count(*)比count(1)或者count(id)要慢。一直不敢苟同，我寻思MySQL也是有优化的，会放任这个点不管？就现在流行的MySQL版本来看，已经不是这个说法了。先说个现在已经“没用的”知识点：MyISAM是将表记录总数记下来，count的时候直接查，速度最快。因为MyISAM没有事务，所以可以这么搞。但是InnoDB是有事务的，为了解

Java

原创点赞0 阅读92 收藏0 评论0 2021-01-23

Dubbo、Redis、I/O、锁、MySQL的一些知识点

一、Dubbo线程池有两种线程池：IO线程池，使用netty的boss和worker线程池。boss线程接收客户端的连接，并注册到一个worker线程上。每绑定一个端口，就有一个boss线程。worker线程处理注册在其身上的连接的各种IO事件。个数默认CPU核数+1。一个worker线程可以注册多个连接，一个连接只能注册在一个worker上。业务线程池，配合worker处理请求。5种派发策略：a

Java

原创点赞0 阅读188 收藏0 评论0 2021-01-23

使用PyTorch的torchvision处理CIFAR10数据集并显示

在训练图像分类的时候，我们通常会使用CIFAR10数据集，今天就先写一下如何展示数据集的图片及预处理。第一部分代码，展示原始图像：importnumpyasnpimporttorch#导入内置cifarfromtorchvision.datasetsimportcifar#预处理模块importtorchvision.transformsastransformsfromtorch.utils.da

Java

原创点赞0 阅读2415 收藏0 评论0 2021-01-23

MySQL优化之索引覆盖

有两种索引，聚簇索引和非聚簇索引。假设我们有表tabA，字段：id(主键自增)，name，address其中主键id采用的就是聚簇索引。如果我们将name设为索引：ALTERTABLEtabAADDINDEX(name);则为非聚簇索引。聚簇索引与非聚簇索引虽然都是B+树结构，但是区别在于：聚簇索引节点存储的是主键，在叶子节点上存储行记录。而非聚簇索引存储的是name，在叶子节点上存储的是对应的主

Java

原创点赞0 阅读104 收藏0 评论0 2021-01-23

结合我用小米音箱开电视的场景谈谈命令模式

一般家庭还是电视+机顶盒的配置，想看电视节目，要开电视，开机顶盒，按两个遥控器。后来我买了小米的智能音箱。经过设置之后，说一句“开电视”，电视和机顶盒就同时打开了。其实这就是设计模式中的命令模式。首先，我们要有“接收者”，这是接收命令，实现具体功能的，在这里，就是电视机和机顶盒，含有开机功能的实现。publicinterfaceReceiver{publicvoidturnOn();}public

Java

原创点赞0 阅读456 收藏0 评论0 2021-01-23

个人开发者如何使用X宝沙箱开发支付功能

一般来说支付功能都是通过公司申请账户进行开发、测试。如果是个人想了解学习一下，可以使用X宝提供的沙箱功能，做一些基础功能的学习和测试。我查了一圈没发现微信支付有类似的功能，如果谁知道请说一下。准备工作登录X宝的开发者中心控制台，如图：设置密钥：生成密钥的工具，如图：下面还有安卓版的X宝（沙箱版），配合使用。代码接下来我们就可以着手进行开发。文档很丰富，大家可以根据自己的情况选用，我这里就是用Spr

Java

原创点赞0 阅读472 收藏0 评论0 2021-01-23

用Pytorch基于MNIST实现手写数字识别

代码的基本结构还是延续我上一篇通过深度学习神经网络，基于MNIST实现手写数字识别的结构，只是神经网络部分使用了Pytorch的API。有一些地方要多说一点，但是不展开讲：1、激活函数选用了ReLU，而非之前的sigmoid，二者的不同，网上文章很多，有机会总结一下。2、可以跟前文的代码进行比较看，主要看train、query两个方法，感受一下Pytorch的封装。3、用Pytorch构建的神经网

Java

原创点赞0 阅读399 收藏0 评论0 2021-01-23

通过深度学习神经网络，基于MNIST实现手写数字识别

通过深度学习神经网络，基于MNIST实现手写数字识别算是深度学习里的“Helloworld”了，记录一下个人的实现过程。思路：将图片格式化成28*28=784像素的灰度图片，如下图：每个像素都是一个0~255的颜色值，这样我们就得到了如下数组：此为输入层。收集手写图片，制成标准化的图片还是很麻烦的，可以使用MNIST提供好的图片：也可以使用已经数字化的文件：以mnist_test_10.csv的一

Java

原创点赞0 阅读905 收藏0 评论0 2021-01-23

首页
1
2
3
4
共96条记录

官方博客	意见反馈	了解我们	全部文章
在线客服	网站地图	热门标签

51CTO博客

mb5fe559d8b9ae4的博客