本文由来在做抽取日常短语中地名（包括省市区县街道社区道路）的工作，待处理的文本都是常用语，本身该工作也只是一个小工程，暂时没有花时间学术研究模型，也不太在意准确率。语言是python，有一些bug和处理方法建议，主要是关于中文句子的正则匹配，记录下来以备不时之需。汉字正则和取字符问题问题：需要匹配该句子的规则性很强的部分汉字。例如：我去了长安路买东西。识别路的结果应为“长安路”str=u'我去长安
转载
2024-03-07 13:10:38
41阅读
1.Python中文处理Python的中文处理
一、使用中文字符
在python源码中如果使用了中文字符，运行时会有错误，解决的办法是在源码的开头部分加入字符编码的声明，下面是一个例子：
#!/usr/bin/env python
# -*- coding: cp936 -*-
Python Tutorial中指出，python的源文件可以编码ASCII以
转载
2024-08-20 22:24:10
140阅读
中文文本挖掘预处理流程总结作者：刘建平在对文本做数据分析时，我们一大半的时间都会花在文本预处理上，而中文和英文的预处理流程稍有不同，本文就对中文文本挖掘的预处理流程做一个总结。1. 中文文本挖掘预处理特点首先我们看看中文文本挖掘预处理和英文文本挖掘预处理相比的一些特殊点。首先，中文文本是没有像英文的单词空格那样隔开的，因此不能直接像英文一样可以直接用最简单的空格和标点符号完成分词。所以一般我们需要
转载
2023-12-14 06:47:51
91阅读
4种读法：如果文件很小，read()一次性读取最方便；如果不能确定文件大小，反复调用read(size)比较保险；如果是配置文件，调用readlines()最方便：
# read()：将文件中内容全部取出来
# read(size)：读取size个字节的内容
# readline() ：读取一行数据 ★主要使用这个方法, 有效的避免出现内存峰值
# readlines()：读取所有的行，每行内
转载
2023-06-21 15:43:24
79阅读
在使用Python的过程中，需要对各种文件进行处理如excel、csv、txt等，这篇文章主要总结对txt文件的各种操作。 目录1.打开文件--open()方法2.读文件--read()方法3.写文件--write()方法4.关闭文件--close()方法5.文件定位5.1文件内的当前位置--tell()方法5.2改变当前文件的位置
转载
2023-08-11 22:44:00
194阅读
一、引言 无论学习什么程序语言，字符串这种数据类型总是着有非常重要。然而最近在学习python这门语言，想要显示中文，总是出现各种乱码。于是在网上查了很多资料，各说纷纭，我也尝试了许多的方法，有时候可以正常显示，有时候确实乱码，让我摸不着头脑。于是自己利用python读写中文的文本文件来尝试去摸索python中的中文编码问题。比较幸运的是，最后能够正常的读取出文本里面的中文数据并且显示，而且还能
转载
2023-10-19 15:50:30
43阅读
处理文本数据，主要是通过Seris的str访问。遇到NaN时不做任何处理，保留结果为NaN，遇到数字全部处理为NaN。str是Seris的方法，DataFrame不能直接使用，但是通过索引选择DataFrame中的某一行或者某一列，结果为Seris，然后就可以使用了。 例如定义一个Seris和DataFrame如下s = pd.Series([' ab',1,' bb ',np.nan,
转载
2023-06-26 10:14:07
98阅读
R语言中的中文文本处理
作为一名经验丰富的开发者，我将教授你如何在R语言中处理中文文本。下面是整个流程的步骤表格：
| 步骤 | 描述 |
| ------ | ------ |
| 步骤一 | 安装和加载必要的包 |
| 步骤二 | 读取中文文本文件 |
| 步骤三 | 文本清洗和预处理 |
| 步骤四 | 中文分词 |
| 步骤五 | 词频统计 |
| 步骤六 | 文本可视化 |
下面我
原创
2024-01-17 07:41:09
149阅读
引言在自然语言处理（NLP）领域，处理大规模文本数据集是一项挑战。本文将探讨如何使用Python中的Pandas和Polars库来优化文本处理流程，特别是当我们需要对中文文本进行分词，并将其映射到预定义的词汇表中时。我们将通过一个具体的例子展示如何从Pandas转换到更高效的Polars工作流。背景与目的本博客文章旨在介绍如何使用Polars优化传统的Pandas数据处理流程。我们将演示一个实际应
打开文本文件python对文件的处理的两个内建函数：open()、file()，这个两函数提供了初始化输入\输出（I\O）操作的通用接口。两函数的功能相同。基本用法：file_object=open(filename, access_mode='r', buffering=-1）file_object 是定义一个打开文件的对象access_mode 是打开文件的模式；通常，文件使用模式 'r','
转载
2023-09-18 21:09:05
182阅读
前言字符串处理是编程中常用到的操作，本系列总结的目标是通过系统的介绍不同的方法来完成不同复杂度的字符串处理操作。旨在方便大家遇到不同的需求时，可以快速找到合适的处理方式，从而使代码开发快速，简洁，稳定的目的。本文为系列第一篇，简单的字符串处理. Pyhton内置的str模块提供很多常用的字符串处理的功能。本文将其分类介绍一下Python中的文本处理（二）re 模块的常用方法Python
转载
2024-01-07 16:52:48
60阅读
python 清洗中文文件 需要用到的两个链接：1，unicode编码转换器
转载
2023-05-24 09:57:43
47阅读
1.NLTKNLTK 在用 Python 处理自然语言的工具中处于领先的地位。它提供了 WordNet 这种方便处理词汇资源的借口，还有分类、分词、除茎、标注、语法分析、语义推理等类库。网站http://www.nltk.org/安装安装 NLTK:sudo pip install -U nltk安装 Numpy (可选):sudo pip install -U numpy安装测试:python
转载
2023-07-30 22:25:29
80阅读
# Python PDF中文本处理
## 导言
随着数字化时代的到来，PDF成为了一种广泛使用的文档格式。然而，与其他文本格式相比，直接处理PDF文件并提取其中的文本内容并不容易。本文将介绍使用Python处理PDF文件中的文本内容的方法，并提供代码示例。
## Python处理PDF的库介绍
Python提供了许多处理PDF的第三方库，其中常用的有`PyPDF2`、`pdfminer`和
原创
2024-01-06 11:42:03
147阅读
UltraEdit是世界上公认的标准文本编辑器。 程序员、专业开发人员、研究人员、博客、Web开发人员，IT专业人员以及介于两者之间的所有人都可以使用它作为首选编辑器! 无论工作需要什么 - 从基本编辑到全面项目开发或大量数据挖掘 - 数百万人信任UltraEdit作为他们的日常计算解决方案。 UltraEdit是一个屡获殊荣的文本编辑器。 CNET / Download.com谈到UltraE
转载
2024-02-06 20:00:59
505阅读
目录前言一、Linux的一些常用命令？二、Python的一些常用操作三、常用的一些自然语言处理工具包3-1、nltk工具包3-1-1、安装3-1-2、nltk的使用3-2、jieba工具包‘3-2-1、jieba工具包安装3-2-2、jieba使用3-2-3、常见词性分类四、常用的一些分词模型4-1、朴素贝叶斯4-2、N-gram模型五、可视化工具5-1、Seaborn5-2、Word六、文本特
转载
2024-05-27 23:03:17
107阅读
对文件的操作算是Python中一个基础又重要的知识点了，无论是在爬虫、数据分析、Web开发，还是在编写图形界面、进行数据分析，都有可能需要用到文件相关的操作。今天就来总结性地学习和回顾一下，Python各类文件处理。一、open()模式open()函数open(文件名,操作模式)函数用来以指定的模式打开一个给定文件名的文件。文件操作的基础模式列名列名w写模式：将擦除文件的内容，重新写入r读模式：只
转载
2023-09-05 23:23:25
875阅读
前言：多媒体：多媒体是融合两种或两种以上表示媒体的一种人机交互式信息交流和传播的媒体。多媒体技术：将多种媒体信息通过计算机进行数字化采集、编码、存储、传输、处理和再见等，使多媒体信息建立逻辑连接，并集成一个具有交互性的系统。一、字符的编码计算机应用＝使用计算机进行信息处理其中，文字信息处理是涉及面最广的一种计算机应用，几乎与任何领域任何人都有关。（一）计算机文字处理的过程文字信息在计算机中称为“文
转载
2023-07-05 14:50:52
188阅读
1.常用的Python IDE工具1.1 文本工具类IDEIDLE：是一个纯 Python 下使用 Tkinter 编写的相当基本的 IDE，具备基本的IDE的功能，是非商业Python开发的不错的选择。Notepad++：是 Windows操作系统下的一套文本编辑器，有完整的中文化接口及支持多国语言编写的功能(UTF8技术)。Sublime Text： 是一个代码编辑器（Sublime Text
转载
2023-05-27 16:12:46
76阅读
# -*- coding: utf-8 -*-#----------------
原创
2022-11-25 12:06:19
119阅读
