一.sharding jdbc简介（这里你可以不看）首先，我要在这里先介绍一下sharding jdbc：\ Sharding-JDBC定位为轻量级java框架，使用客户端直连数据库，以jar包形式提供服务，未使用中间层，无需额外部署，无其他依赖，DBA也无需改变原有的运维方式，可理解为增强版的JDBC驱动，旧代码迁移成本几乎为零。它主要的功能：分库分表；读写分离；柔性事务；分布式主键；兼容性；灵
转载
2024-07-03 11:52:10
119阅读
介绍Byterun是用Python实现的Python解释器。通过在Byterun上的工作，我感到惊讶和高兴，发现Python解释器的基本结构很容易适应500行大小的限制。本章将介绍解释器的结构，并为您提供足够的上下文以进一步探索它。目的不是要解释关于解释器的所有知识，就像许多有趣的编程和计算机科学领域一样，您可以花很多年时间来深入理解该主题。Byterun由Ned Batchelder和我本人根据
一、简介 Elasticsearch 是一个分布式的免费开源搜索和分析引擎，适用于包括文本、数字、地理空间、结构化和非结构化数据等在内的所有类型的数据。Elasticsearch 在 Apache Lucene 的基础上开发而成，由 Elasticsearch N.V.（即现在的 Elastic）于 2010 年首次发布。Elasticsearch 以其简单的 REST 风格 API、分布式特性、
转载
2024-07-04 12:25:07
85阅读
文章目录Spring注解开发Spring原始注解完善测试环境编写接口编写实现类编写service接口编写实现类编写spring.xml模拟web层编写测试类测试运行原始注解入门操作组件注解、Bean创建UserDaoImpl.javaUserServiceImpl.java配置组件扫描编写spring.xml测试运行原始注解详解1Repository注解代替Service注解代替测试运行删除se
SpringCloud微服务架构 文章目录微服务框架SpringCloud微服务架构17 初识ES17.6 安装IK 分词器17.6.1 分词器 17 初识ES17.6 安装IK 分词器17.6.1 分词器es在创建倒排索引时需要对文档分词；在搜索时，需要对用户输入内容分词。但默认的分词规则对中文处理并不友好。我们在kibana的DevTools中测试：# 测试分词器
POST /_analyze
转载
2023-12-07 15:54:08
694阅读
Springboot集成elasticsearch 使用IK+拼音分词docker安装ES下载docker pull docker.elastic.co/elasticsearch/elasticsearch:6.3.2启动docker run -d --name="es" -p 9200:9200 -p 9300:9300 -e "cluster.name=elasticsearch" -e "
转载
2023-11-29 00:44:24
305阅读
具体tomcat配置solr 安装 在我的上一篇文章：一、solr创建core： 1、首先在solrhome中创建solrDemo目录;(solrhome目录为：复制solr/server/solr/* 所有文件到tomcat/solrhome目录，用到创建solr的core时使用。) 2、复制solr-8.0.0\example\example-DIH\solr\solr下的所有文件到apach
转载
2024-06-24 11:01:04
202阅读
IK分词器插件安装 1.安装插件并重启root@ryj-dev10:/opt/modules# docker container ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS
导读 分库分表的技术有：数据库中间件Mycat(点我直达)，当当网开源的Sharding-JDBC；我们公司用的也是sharding-jdbc，自己也搭建一个完整的项目，直接可以拿来用。下面附源码(CRUD，分页，事务等都已测试过)技术栈SpringBoot 2.3.9sharding-jdbc-core 2.0.3 （官网地址：点我直达）druidmybatis-pluslombokmybat
转载
2024-07-22 16:22:01
324阅读
ictalas4j用到的字典主要是下面的三个：coreDict、biGramDict、nr。coreDict记录了6768个词块，里面有对应的词频和句柄（用于词性标注）；biGramDict里面记录的是词和词之间的关系，也就是相邻两个词一起出现的频率；nr记录的是中文人名角色标注，该标注来自对人民日报语料库训练的结果。
&nb
一、概述DispatcherServlet是SpringMVC的一个前端控制器，是MVC架构中的C，即controller的实现，用于拦截这个web应用的所有请求，具体为在web.xml中配置这个servlet，对应的url-pattern设置为“/”，或者使用servlet3.0之后的WebApplicationInitializer来配置，在web容器启动这个应用时，会创建和初始化这个Disp
转载
2024-10-01 10:00:17
36阅读
spring框架理解笔记整理 以前写在笔记本上的笔记，整理一下，方便以后在线翻阅。使用@Autowired注解自动装配bean的时候，都会有一个id , 默认为类名首字母小写。 当前也可以像xml中一样指定id名称。 如下所示：@Component("xxx")
public class Test(){
...
}这样就指定了Test类交由spring容器管理bean的id 为 “xxx”.@
转载
2024-10-26 09:37:22
17阅读
摘要：本篇是本人在Solr的基础上，配置了中文分词器，并对其进行的性能测试总结，具体包括使用mmseg4j、IKAnalyzer、Ansj，分别从创建索引效果、创建索引性能、数据搜索效率等方面进行衡量。具体的Solr使用方法假设读者已有了基础，关于Solr的性能指标见前期的Solr博文。前提：Solr提供了一整套的数据检索方案，一台四核CPU、16G内存的机器，千兆网络。需求：1、对Solr创建索
转载
2023-11-03 12:52:17
102阅读
我们在搜索的时候，都会对数据进行分词，英文的分词很简单，我们可以直接按照空格进行切分即可，但是中文的分词太过复杂，例如：夏天太热，能穿多少穿多少，冬天太冷，能穿多少穿多少。下雨地滑，还好我一把把车把把住了，才没有摔倒。人要是行，干一行行一行，一行行行行行等等的分词都是非常麻烦的，所以针对中文的分词，专门出了一个叫做IK的分词器来解决对中文的分词问题。 安装每台机器都要配置。配置完成之后，
转载
2024-04-30 12:13:27
94阅读
在实现了.Net版分词器之后，一直想进一步提升搜索速度和体验。最近又学习全切分分词以及IK分词原理，在理解其理念再加上结合本公司业务需求，决定改进分词器算法，宗旨为提升性能，提高体验。 对比原有分词： 基于词典的最长匹配： 基于词典分词的一种方法是将词典构建成一个Trie搜索树，每个节点放一个字，同时将词的信息放在Node中,如词性，权重等。
什么是IK分词器？分词:把一段中文或者别的划分成一个一个的关键字,我们在搜索的时候会把自己的信息进行分词,会把数据库中或者索引库中的数据进行分词,然后进行一个匹配操作,默认的中文分词是将每个字看成一个词,比如"我爱魏一鹤"会被分成"我",“爱”,“魏”,“一”,“鹤”,这显然是不符合要求的,索引我们需要安装中文分词器IK来解决这个问题 如果要使用中文,建议使用ik分词器 IK提供了两个分词算法,i
转载
2023-12-21 21:59:48
151阅读
HanLP: Han Language Processing 面向生产环境的多语种自然语言处理工具包(由一系列模型与算法组成的Java工具包)，基于 TensorFlow 2.0，目标是普及落地最前沿的NLP技术。目前，基于深度学习的HanLP 2.0正处于alpha测试阶段，未来将实现知识图谱、问答系统、自动摘要、文本语义相似度、指代消解、三元组抽取、实体链接等功能。HanLP有如下功能：中文分
转载
2024-03-19 14:56:51
148阅读
ICU Analysis 插件是一组将 Lucene ICU 模块集成到 Elasticsearch 中的库。 本质上，ICU 的目的是增加对 Unicode 和全球化的支持，以提供对亚洲语言更好的文本分割分析。 从 Elasticsearch 的角度来看，此插件提供了文本分析中的新组件，如下表所示:安装我们可以首先到 Elasticsearch 的安装目录打入如下的命令：$ pwd
/Users
转载
2024-08-19 20:02:21
110阅读
Elasticsearch中，内置了很多分词器（analyzers），例如standard （标准分词器）、english （英文分词）和chinese （中文分词）。其中standard 就是无脑的一个一个词（汉字）切分，所以适用范围广，但是精准度低；english 对英文更加智能，可以识别单数负数，大小写，过滤stopwords（例如“the”这个词）等；chinese 效果很差;1、elas
转载
2024-05-05 11:13:36
239阅读
# 使用 Python 导入 BERT 分词器
## 引言
在自然语言处理（NLP）的领域，BERT（Bidirectional Encoder Representations from Transformers）是一种广泛使用的预训练模型，而其分词器在文本处理和输入格式化方面至关重要。对于刚入行的小白来说，从本地导入 BERT 分词器可能会有些困难。本文将详细阐述如何在 Python 中实现
