本文由来在做抽取日常短语中地名（包括省市区县街道社区道路）的工作，待处理的文本都是常用语，本身该工作也只是一个小工程，暂时没有花时间学术研究模型，也不太在意准确率。语言是python，有一些bug和处理方法建议，主要是关于中文句子的正则匹配，记录下来以备不时之需。汉字正则和取字符问题问题：需要匹配该句子的规则性很强的部分汉字。例如：我去了长安路买东西。识别路的结果应为“长安路”str=u'我去长安
转载
2024-03-07 13:10:38
41阅读
'''创建数据集和类标签'''
def loadDataSet():
docList = [];classList = [] # 文档列表、类别列表
dirlist = ['C3-Art','C4-Literature','C5-Education','C6-Philosophy','C7-History']
for j in range(5):
for i
转载
2024-01-03 22:27:07
85阅读
1.Python中文处理Python的中文处理
一、使用中文字符
在python源码中如果使用了中文字符，运行时会有错误，解决的办法是在源码的开头部分加入字符编码的声明，下面是一个例子：
#!/usr/bin/env python
# -*- coding: cp936 -*-
Python Tutorial中指出，python的源文件可以编码ASCII以
转载
2024-08-20 22:24:10
140阅读
中文文本分类，TextCNN，TextRNN，FastText，TextRCNN，BiLSTM_Attention, DPCNN, Transformer, 基于pytorch介绍我从THUCNews中抽取了20万条新闻标题，文本长度在20到30之间。一共10个类别，每类2万条。以字为单位输入模型，使用了预训练词向量：搜狗新闻 Word+Character 300d。类别：财经、房产、股票、教育、
转载
2023-11-16 14:57:20
9阅读
# Python 中文文本聚合
随着大数据时代的到来，文本数据的处理变得尤为重要。特别是在中文领域，如何对海量的中文文本进行有效的聚合和分析，已成为许多企业和研究者关注的焦点。本篇文章将介绍如何使用 Python 进行中文文本聚合，包括数据的预处理、聚类算法的应用以及结果的可视化。同时，我们将通过示例代码详细阐述每个步骤的具体实现。
## 文本数据的准备
在进行文本聚合之前，我们需要准备好文
原创
2024-09-14 03:34:20
57阅读
# 中文文本赋值 Python
## 导言
在自然语言处理（Natural Language Processing，NLP）领域，中文文本处理一直是一个具有挑战性的问题。由于中文的特殊性，例如拼音、多音字、歧义等，使用Python对中文文本进行赋值和处理是一项重要的技能。本文将介绍如何使用Python进行中文文本赋值的基本原理和常用方法，并提供代码示例。
## 中文文本赋值
### 背景
原创
2023-12-01 07:32:13
68阅读
# 中文文本纠错技术探索
随着互联网的快速发展，中文文本的使用频率日益增加。无论是社交媒体、电子邮件，还是在线文章，日常交流中难免会出现拼写错误和语法问题。因此，中文文本纠错显得尤为重要。本文将探讨中文文本纠错的概念、方法、应用以及用Python实现文本纠错的基本示例。
## 一、什么是文本纠错？
文本纠错指的是利用技术手段自动检测和修正文本中的错误，错误可以是拼写错误、语法错误，甚至是用词
前述：这里就是记录一下自己学习的内容，因为是个小白，所以很多基础的东西也会记录一下，主要还是加深一下自己的印象。资料来源于廖雪峰老师的官网，还有哔站的教学视频。 数据类型在Python中，能够直接处理的数据类型有以下几种：整数、浮点数、字符串、布尔值、空值、变量、常量。主要找几个写写字符串字符串是以单引号'或双引号"括起来的任意文本，比如'abc'，"xyz"等等。如果字符串内部既包含'
问题1.多余的'\n' 在5.2节里我们基本掌握了Python下的文件读文件操作基本方法，但是也存在一些小小问题，细心的读者会发现下面这幅图的问题。 上图每次打印输出words时，先打印了一行从文件里读取的内容，之后有一行空格行。这是为什么呢？文本a.txt里两行字符串是紧挨着的，但输出时却是两行字符串间有一个空行，我们分析一下。下图是我们用诸如写字板记事本等软件打开的a.txt文件，这些内容是这
# Python中文文本纠错实现指南
作为一名刚入行的小白，学习如何实现中文文本纠错的过程将会十分有趣。下面，我们将介绍实现这一功能的流程，并提供详细的代码示例。
## 流程步骤
首先，我们可以把整个流程分解为以下几个步骤：
| 步骤 | 任务 |
|------|---------------------|
| 1 | 安装必要的库
原创
2024-08-30 05:31:48
369阅读
# Python imp模块详解
在Python中，`imp`模块是一个用于处理导入模块的内置模块。它提供了一些方便的函数，可以动态地加载和导入模块，以及检查模块的信息。本文将详细介绍`imp`模块的使用方法，并给出一些示例代码来帮助理解。
## imp模块的基本功能
`imp`模块中包含了一些常用的函数，下面是一些常用的功能：
1. `find_module(name, path=Non
原创
2024-05-10 07:09:31
145阅读
简介查看百度搜索中文文本聚类我失望的发现，网上竟然没有一个完整的关于python实现的中文文本聚类（乃至搜索关键词python 中文文本聚类也是如此），网上大部分是关于文本聚类的Kmeans聚类的原理，Java实现，R语言实现，甚至都有一个C++的实现。正好我写的一些文章，我没能很好的分类，我想能不能通过聚类的方法将一些相似的文章进行聚类，然后我再看每个聚类大概的主题是什么，给每个聚类一个标签，这
转载
2024-01-31 22:07:57
46阅读
本系列基本不讲数学原理，只从代码角度去让读者们利用最简洁的Python代码实现深度学习方法。接着上一节用循环神经网络做回归，本次使用循环神经网络处理文本数据，自然语言。实现分类问题，使用路透社数据集，做文本的情感分类。由于Keras自带该数据集，处理一下可以直接使用（如果想学怎么把纯文本变为数据矩阵，关注下一章的内容）载入路透社数据集from keras.datasets import reute
转载
2023-06-30 13:24:03
0阅读
数据挖掘入门与实战一 得到原始文本内容defFileRead(self,filePath):
f = open(filePath)
raw=f.read()
returnraw 二 中文分词defNlpirTokener(self,raw):
result=''
tokens = nlpir.Seg(raw)
forw intokens:
# result+= w[0]+"/"+w[1] #加词性
转载
2023-11-08 19:05:52
148阅读
cnsenti App这是使用streamlit库将中文情感分析[cnsenti 部署到网络世界，可在线提供简单的中文文本的情绪及情感计算。streamlit库(https://docs.streamlit.io/en/stable/)， 是目前简单易用的数据可视化web框架，比flask和django少了很多的扩展性，但是容易学习上手，适合初学者把玩。文末有代码可供下载网址[1]使用教
转载
2023-08-08 15:13:32
146阅读
基于jieba包的自动提取关键方法：jieba.analyse.extract_tags(content,topK=n) 具体思路：通过jieba包自带的extract_tags方法，在遍历读取文件内容时，获得每篇文档前n个关键字 使用的包： import os
import codecs
import pandas as pd
import jieba
import jieba.analyse
转载
2023-07-04 19:29:27
91阅读
最近因为相关项目需要考虑中文文本检错，然后就发现了爱奇艺发布的号称SOTA的FASPell已经开源代码，所以开始着手实现。检错思想两步：一，掩码语言模型（MLM）产生候选字符；二，CSD过滤候选字符。资源与数据文件 开源代码中不包含任何处理好的数据，全部需要自己处理。训练和测试使用的SIGHAN数据没有问题。但是所需的char_meta.txt文件构建较为困难，其由字音和字形两部分特征构成。字音
转载
2023-12-08 10:38:34
151阅读
使用NLTK对中文文本进行简单分析本文会介绍nltk自带中文语料库的使用，用nltk分析自己中文语料的方法，以及在应用过程中python3.x与python2代码不同的问题。
一 nltk自带中文语料库的使用 NLTK包含Sinica(中央研究研究)提供的繁体中文语料库，用python导入，本文中使用python3.5版本 >>> from nltk.corp
转载
2024-03-24 09:47:11
442阅读
字符串在Python内部的表示是unicode编码，因此，在做编码转换时，通常需要以unicode作为中间编码，即先将其他编码的字符串解码（decode）成unicode，再从unicode编码（encode）成另一种编码。decode的作用是将其他编码的字符串转换成unicode编码，如str1.decode('gb2312')，表示将gb2312编码的字符串str1转换成unicode编码。e
转载
2024-06-16 17:29:22
30阅读
# 如何在Python中实现中文文本分段
作为一名刚入行的开发者，你可能会面对许多问题，尤其是在处理中文文本时。本文将带领你了解如何在Python中实现中文文本分段的过程。我们将一步步地从流程、代码到饼状图，让你全面理解这个过程。
## 整体流程
在进行中文文本分段之前，我们首先需要确定清晰的流程。以下是一个简单的流程图，展示了实现中文文本分段的主要步骤：
```mermaid
flowc
