Python语言的厉害之处在哪里？个人认为在于它强大的内置模块和丰富的第三方库，可以帮助我们进行快速开发，毕竟是站在巨人的肩膀上。每天用大神写好的轮子开发，但自己造轮子的心一直躁动不已。最近静极思动，着手做一个好用的工具包开源一下，所以对Python发布包到pypi的流程研究了一下，这里做一下简单整理记录。当然由于Python更新发展速度很快，PyPI的发布机制也不断更新，可能方法会生效，有需要的
转载
2023-06-16 10:40:58
119阅读
# 如何用Java自建分词库
分词是自然语言处理中的重要环节，尤其在中文文本处理中。本文将引导你一步步地实现一个自建的分词库。以下是整个实现流程的总结。
## 实现流程
| 步骤 | 描述 | 所需库/工具 |
|------------|---------------------------------|
原创
2024-10-07 03:52:02
43阅读
java分布式架构-分库分表详解既然是“漫谈分库分表”，那么我们需要确定我们要谈什么，不谈什么。首先，我们不讨论具体的分库分表框架的实现和源码，这不是我们讨论的范围。 我们讨论的是思路，主要讨论如何分库分表的套路，有什么坑，有什么心得，不针对具体的细节进行展开式讨论。当然我自己的能力有限，只是希望能够抛砖引玉。 我们要明确，分库分表，并不是一个银弹，它只是我们针对MySQL单机性能不够的情况下，想
转载
2023-09-30 18:00:48
61阅读
# Python词库：一个强大的工具集
Python作为一门流行的编程语言，拥有丰富的库和模块，这使得它成为数据分析、科学计算、机器学习等领域的首选语言。本文将介绍一些常用的Python词库，帮助读者更好地利用这些工具解决实际问题。
## 什么是Python词库？
Python词库是指由Python开发者编写的可重用的代码集合，这些代码可以帮助我们解决特定的问题。词库通常包含了函数、类、方法
原创
2023-09-08 00:51:59
114阅读
中文分词，通俗来说，就是将一句(段)话按一定的规则(算法)拆分成词语、成语、单个文字。中文分词是很多应用技术的前置技术，如搜索引擎、机器翻译、词性标注、相似度分析等，都是先对文本信息分词处理，再用分词结果来搜索、翻译、对比等。在Python中，最好用的中文分词库是jieba。用“结巴”给一个中文分词库命名，非常生动形象，同时还带有一种程序员式的幽默感。最好的Python中文分词组件“结巴”中文分词
转载
2023-09-04 20:53:03
136阅读
path [ pɑ:θ ] 路径 unexpected [ˌʌnɪkˈspektɪd] 不期望的class [klɑ:s] 类 usage [ˈju:sɪdʒ] 使用public ['p ʌblik] 公共的,公用的 version [ˈvɜ:ʃn] 版本private ['praivit] 私有的,私人的 author [ˈɔ:θə®] 作者static ['stæ tik] 静的;静态的;静止
转载
2023-07-02 23:37:07
168阅读
用括号来指定连接的范围， 但不想选择要输出的字符串，必须添加“ ?:”，它是许多神秘奥妙的正则表达式之一。
re.findall(r'^.*(?:ing|ly|ed|ious|ies|ive|es|s|ment)$', 'processing')
#输出['processing']
#正则表达式匹配单词
import nltk
转载
2023-10-21 15:04:50
124阅读
1.nametuple# namedtuple('名称', [属性list]):
Circle = namedtuple('Circle', ['x', 'y', 'r'])2.dequedeque除了实现list的append()和pop(),还支持appendleft和popleft，这样可以高效地往头部添加和删除数据>>> from collections import d
转载
2024-01-21 08:52:08
31阅读
在信息检索(IR)中，我们企图要获取的项称之为“document”，每一个document是被一个terms集合所描述的。 “document”和“term”这两个词汇是IR中的术语，它们是来自“图书馆管理学”的。通常一个document认为是一块文本，. Usually a document is thought of as a piece of text, most likely in a m
# Python 标签词库的创建指南
在这篇文章中，我们将学习如何使用 Python 创建一个简单的标签词库。标签词库是一个存储关键字、标签或词汇的集合，通常用于文本分析、分类、推荐系统等场景。下面是创建标签词库的基本流程：
| 步骤 | 描述 |
| ---- | ---- |
| 1 | 确定标签词库的主题 |
| 2 | 收集数据 |
| 3 | 数据清洗和预处理 |
| 4 | 创建标
原创
2024-08-16 07:56:54
22阅读
1，了解mmseg和libmmsegMMSeg是一个基于最大匹配算法的两种变体的中文单词识别系统。简单来说就是算法。LibMMSeg 是Coreseek.com为 Sphinx 全文搜索引擎设计的中文分词软件包，其在GPL协议下发行的中文分词法，采用Chih-Hao Tsai的MMSEG算法。LibMMSeg 采用C++开发，同时支持Linux平台和Windows平台。2，mmseg词典mmseg
转载
2023-10-07 13:46:01
281阅读
作者：王辉近年来人工智能发展迅速，模型参数量随着模型功能的增长而快速增加，对模型推理的计算性能提出了更高的要求，GPU作为一种可以执行高度并行任务的处理器，非常适用于神经网络的推理计算，因此近年来在人工智能领域得到广泛关注与应用。本文将结合我在阿里智能互联云端模型推理部署方面半年以来的工作学习，对相关的GPU编程与云端模型部署的知识与经验进行总结分享，下文内容为个人学习总结，如有疏漏与错误，还请各
转载
2023-08-22 13:49:30
392阅读
Python3源码分析DPython3模块初始化与加载Python的模块分为内建的模块，函数与用户定义的模块，首先分析Python内建模块。Python3的系统内建模块初始化上文介绍了Python的线程对象和解释器对象，在初始化的时候，会执行_Py_InitializeEx_Private函数，会先创建解释器对象和线程对象，然后再设置系统默认的moudle,void
_Py_InitializeE
转载
2023-11-20 10:32:00
201阅读
```python !/usr/bin/python coding: utf 8 import struct import sys import binascii import pdb 搜狗的scel词库就是保存的文本的unicode编码，每两个字节一个字符（中文汉字或者英文字母） 找出其每部分的偏
转载
2018-10-26 17:22:00
419阅读
中文分词是中文文本处理的一个基础性工作，然而长久以来，在Python编程领域，一直缺少高准确率、高效率的分词组件。下面这篇文章主要给大家介绍了关于python中文分词教程之前向最大正向匹配算法的相关资料，需要的朋友可以参考下。 前言大家都知道，英文的分词由于单词间是以空格进行分隔的，所以分词要相对的容易些，而中文就不同了，中文中一个句子的分隔就是以字为单位的了，而所谓的正向最大匹配和逆
# Python中文词库的实现
## 一、整体流程
为了实现Python中文词库，我们需要按照以下步骤进行：
| 步骤 | 描述 |
| --- | --- |
| 步骤一 | 安装Python库 |
| 步骤二 | 下载中文词库数据 |
| 步骤三 | 加载中文词库数据 |
| 步骤四 | 使用中文词库 |
接下来，我将逐步介绍每个步骤的具体实现。
## 二、步骤一：安装Python库
原创
2023-09-04 15:52:56
216阅读
# Python 如何生成词库
在自然语言处理（NLP）领域，构建一个词库是基础任务之一。词库通常用于处理文本数据，特别是在文本分类、情感分析和语言建模方面。本文将详细介绍如何使用 Python 生成一个简单的词库，并提供相应的代码示例。这一过程可以被视为构建一个词汇表，其中存储了所有唯一的单词及其频率。
## 问题定义
我们想要处理一组文本数据，提取出其中的单词并构建一个词库。词库不仅包含
文章目录Lucene初识适用场景特性Lucene初识分词器正向索引反向索引Lucene自带分词器项目集成IKAnalyzer分词器IKAnalyze扩展 官方网站： https://lucene.apache.org/ Lucene初识Apache顶级开源项目，Lucene-core是一个开放源代码的全文检索引擎工具包，但它不是一个完整的全文检索引擎，而是一个全文检索引擎的框架，提供了完整的查
前言一、CodewarsCodeWars是一个非常棒的编程自学平台，所涉及的编程语言比较全面，题目也比较贴近实际生活。二、The Python Challenge如果你的编程生涯中从没做过这样的挑战，这可能会有点难度。但是配合上面介绍的那本书的话也不是很难，你应该尝试一下。它有33个关卡(谜题)，你可以用Python编程技巧解决。几百万的人都在试着解决这个，即使你不能完成所有的关卡，你也会将学到很
转载
2023-07-07 00:12:01
69阅读
dict：dict全称dictionary，在别的语言中叫Map，是一种使用键-值对的方式来存储数据，具有极快的操作速度，存储信息量几乎不受限制。使用{}来标识字典。下面介绍字典(定义，查询，增加，删除，修改...)一个简单字典，比如根据学生的名字查找对应成绩 2.访问字典中的值 要获取与键相关联的值，可依
转载
2023-06-28 22:52:43
79阅读
