一、问题背景 在做一个接口的测试工作，想要整理出所有的分类项，结果获取到一大堆的返回信息 二、python实现1 # coding=utf-8
2
3 import imp
4 import sys
5 import re
6 imp.reload(sys)
7 # sys.setdefaultencoding('utf-8') # 设置默认编码,只能是utf-8,
转载
2023-06-26 14:30:34
221阅读
中文文本特征提取是自然语言处理（NLP）领域中的重要任务之一。它的目标是从给定的中文文本中提取出有用的特征，以便于后续的文本分析和机器学习任务。本文将介绍中文文本特征提取的基本概念和常用的方法，并使用Python语言提供代码示例。
## 什么是文本特征提取？
文本特征提取是将文本转换为计算机可以理解和处理的数字形式的过程。在NLP任务中，文本特征提取是非常重要的，因为大多数机器学习算法和模型只
原创
2023-08-24 06:43:33
787阅读
作者 | Intuition Engineering 这是我们在iki项目工作中的一系列技术文章中的第一篇，内容涵盖用机器学习和深度学习技术来解决自然语言处理与理解问题的一些应用案例。在本文中，我们要解决的问题是从非结构化文本中提出某些特定信息。我们要从简历中提取出用户的技能，简历可以以任意格式书写，比如“曾经在生产服务器上部署定量交易算法”。本文有一个演示页面，可以用你的简历试试我们的模型
转载
2024-08-20 17:52:42
45阅读
简介查看百度搜索中文文本聚类我失望的发现，网上竟然没有一个完整的关于python实现的中文文本聚类（乃至搜索关键词python 中文文本聚类也是如此），网上大部分是关于文本聚类的Kmeans聚类的原理，Java实现，R语言实现，甚至都有一个C++的实现。正好我写的一些文章，我没能很好的分类，我想能不能通过聚类的方法将一些相似的文章进行聚类，然后我再看每个聚类大概的主题是什么，给每个聚类一个标签，这
转载
2024-01-31 22:07:57
46阅读
需求：有同学备考需要，需要看中国慕课里面的视频，除了听还需要做笔记，有特殊情况的还需要背稿子，这里，介绍了一种将字幕文件的文字提取出来。网址：http://www.feemic.cn/mooc 第一步，下载所需要课程的字幕第二步，右键以记事本格式打开 第三步，新建一个Excel表格，并将所有文字复制进去。这里会形成表格形式。这里需要解决的是：删除空格行，删除时间轨道，删除序号，
转载
2024-07-16 09:37:26
219阅读
# 用Python提取图片中的中文文本内容
在日常生活中，我们经常会遇到需要从图片中提取文本的情况，比如识别图片上的中文字符。在这篇科普文章中，我们将介绍如何使用Python编程语言来提取图片中的中文文本内容。
## 图像文本提取的背景
随着数字化时代的发展，图像处理技术逐渐成为各行各业的重要工具。提取图片中的文本内容可以帮助我们更快捷地识别信息，提高工作效率。而对于包含中文字符的图片，提取
原创
2024-03-25 06:50:43
124阅读
卷积神经网络在情感分析中取得了很好的成果，相比于之前浅层的机器学习方法如NB、SVM效果更好，特别实在数据集较大的情况下，并且CNN不用我们手动去提取特征，原浅层ML是需要进行文本特征提取、文本特征表示、归一化、最后进行文本分类，文本特征提取主要可以分为四步：（1）：对全部训练文档进行分词，由这些词作为向量的维数来表示文本;（2）：统计每一类文档中所有出现的词语及其频率，然后过滤，剔除停用词和单字
转载
2023-08-30 15:27:05
243阅读
本文由来在做抽取日常短语中地名（包括省市区县街道社区道路）的工作，待处理的文本都是常用语，本身该工作也只是一个小工程，暂时没有花时间学术研究模型，也不太在意准确率。语言是python，有一些bug和处理方法建议，主要是关于中文句子的正则匹配，记录下来以备不时之需。汉字正则和取字符问题问题：需要匹配该句子的规则性很强的部分汉字。例如：我去了长安路买东西。识别路的结果应为“长安路”str=u'我去长安
转载
2024-03-07 13:10:38
41阅读
一、详情简介: 1.此文主要研究方向为:基于包含分数的情感词典实现对于各语句的情感分析； 2.情感分析主要基于文本数据，是自然语言处理（NPL）的主要内容。
转载
2023-08-21 15:15:57
105阅读
'''创建数据集和类标签'''
def loadDataSet():
docList = [];classList = [] # 文档列表、类别列表
dirlist = ['C3-Art','C4-Literature','C5-Education','C6-Philosophy','C7-History']
for j in range(5):
for i
转载
2024-01-03 22:27:07
85阅读
1.Python中文处理Python的中文处理
一、使用中文字符
在python源码中如果使用了中文字符，运行时会有错误，解决的办法是在源码的开头部分加入字符编码的声明，下面是一个例子：
#!/usr/bin/env python
# -*- coding: cp936 -*-
Python Tutorial中指出，python的源文件可以编码ASCII以
转载
2024-08-20 22:24:10
140阅读
## NLP中文文本摘要实现流程
### 1. 理解文本摘要
在开始编写代码之前，我们首先需要了解什么是文本摘要。文本摘要是将一段较长的文本内容压缩为较短的摘要或概括，以传达文本的主要信息。在自然语言处理（NLP）中，实现文本摘要通常可以分为以下几个步骤：
1. 文本预处理：清洗和准备原始文本数据，包括去除噪音、分词等；
2. 文本表示：将文本转化为计算机可以处理的形式，如向量表示；
3.
原创
2023-09-02 05:57:05
145阅读
BERT的出现使我们终于可以在一个大数据集上训练号一个深的神经网络，应用在很多NLP应用上面。BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding深的双向Transformer摘要（Abstract）：与别的文章的区别是什么？效果有多好？与ELMo的区别：ELMo基于RNN，双向，在运用到下
中文文本分类，TextCNN，TextRNN，FastText，TextRCNN，BiLSTM_Attention, DPCNN, Transformer, 基于pytorch介绍我从THUCNews中抽取了20万条新闻标题，文本长度在20到30之间。一共10个类别，每类2万条。以字为单位输入模型，使用了预训练词向量：搜狗新闻 Word+Character 300d。类别：财经、房产、股票、教育、
转载
2023-11-16 14:57:20
9阅读
数据集该文有大约175,000个单词，分为42章。我在网上找到了这本书的原始文本版本并开始工作。我使用正则表达式和简单字符串匹配的组合在Python中解析文本。我shiny在R中以交互方式可视化这些数据集。地中海旅行这种可视化映射了整本书中提到的地中海周围位置的提及。人物形象该图基本上代表了书中提到不同字符的时间序列。我将数据绘制为标准散点图，章节为x轴（因为它与时间相似），字符为离散y轴，垂直条
[1]
，最早起源于Google Knowledge Graph
[2]
。知识图谱本质上是一种语义网络。其结点代表实体（entity）或者概念（concept），边代表实体/概念之间的各种语义关系。中文知识图谱的直接推动力来自于一系列实际应用，包括语义搜索、机器问答、情报检索、电子阅读、在线学习等等。百度
[3]
、搜狗
[4]
# Python 中文文本聚合
随着大数据时代的到来，文本数据的处理变得尤为重要。特别是在中文领域，如何对海量的中文文本进行有效的聚合和分析，已成为许多企业和研究者关注的焦点。本篇文章将介绍如何使用 Python 进行中文文本聚合，包括数据的预处理、聚类算法的应用以及结果的可视化。同时，我们将通过示例代码详细阐述每个步骤的具体实现。
## 文本数据的准备
在进行文本聚合之前，我们需要准备好文
原创
2024-09-14 03:34:20
57阅读
ptapython答案关于文件的打开方式，以下选项中描述正确的是()。python语言最早的可用版本诞生于()。当作为条件表达式时，0 与 false等价。带有两个下划线的方法一定是私有方法wordcloud 库生成中文词云时输出乱码，故无法用于制作中文词云。执行如下代码:import turtle as tdef drwacctcircle(n):t.penup()t.goto(0, -n)t.
转载
2023-12-12 17:17:27
362阅读
对于序列数据处理问题，数据存在许多种形式，文本是最常见例子之一。 例如，一篇文章可以被简单地看作一串单词序列，甚至是一串字符序列。 本节中，我们将解析文本的常见预处理步骤。 这些步骤通常包括：将文本作为字符串加载到内存中。将字符串拆分为词元（如单词和字符）。建立一个词表，将拆分的词元映射到数字索引。将文本转换为数字索引序列，方便模型操作。import collections
import re
f
转载
2023-12-22 21:14:41
157阅读
前述：这里就是记录一下自己学习的内容，因为是个小白，所以很多基础的东西也会记录一下，主要还是加深一下自己的印象。资料来源于廖雪峰老师的官网，还有哔站的教学视频。 数据类型在Python中，能够直接处理的数据类型有以下几种：整数、浮点数、字符串、布尔值、空值、变量、常量。主要找几个写写字符串字符串是以单引号'或双引号"括起来的任意文本，比如'abc'，"xyz"等等。如果字符串内部既包含'
