词向量：是一种表示自然语言中单词的方法，把每个词都表示为一个N维空间内的点，即一个高维空间内的向量。通过这种做法，把自然语言计算转换为向量计算。 有的时候词向量会写作：word2vec、word2vectors这里面的2并不是er，而是使用了英语读音的to。word to vectors 词转换为向量。分词对于人类的思维方式来说，人类喜欢将零零散散的词汇拼凑在一起形成一个语句或是一幅篇章。比如一首
转载
2024-03-14 11:33:12
41阅读
我的电脑是Windows32 位，Python3.6，电脑上需要提前下载好anaconda操作平台，在网上能搜索到，下载即可。另外文本和词云包我是通过“tn/RRLnQgm”直接下载得到。这是我根据知乎专栏 “玉树芝兰” 的视频学习得来，有不懂的或者想更细致学习的请关注他。以下是我自己的体会和总结。 1、 安装完anaconda后，在开始-所有程序
转载
2023-08-28 18:39:27
180阅读
# Python词云怎样改变形状
## 引言
Python词云是一种用于可视化文本数据的工具，可以将文本中的关键词以图形的方式展示出来。默认情况下，词云形状是一个矩形，但有时我们希望将词云的形状改变为其他形状，比如心形、星形等。本文将教会你如何使用Python改变词云的形状。
## 整体流程
下表描述了实现“Python词云怎样改变形状”的整体流程：
| 步骤 | 描述 |
| --- |
原创
2023-09-10 03:36:55
912阅读
# Python NLP生成词云
在自然语言处理（Natural Language Processing, NLP）领域中，词云（Word Cloud）是一种常见的数据可视化方式，用于展示文本中的关键词汇。通过生成词云，我们可以快速了解文本的主要内容和关键词。
本文将介绍如何使用Python进行NLP处理，并使用第三方库生成词云。我们将通过一个实例来演示整个过程。
## 准备工作
在开始之
原创
2023-08-17 03:47:57
237阅读
赖可量子位 报道 | 骗过AI如此简单。换了一个同义词，自然语言处理模型就读不对句子的意思了。麻省理工和大学的研究生们开发了一个算法，让AI在文本分类和推理问题上的正确率从80%下降到10%。测试原理这个模型的名字叫Textfooler，通过生经过微调的句子，来对自然语言文本分类和推理进行。比如在著名的分类任务影评判断中，AI的任务是去判断一句影评是肯定性的还是否定性的。像这句：The c
转载
2024-05-13 14:28:00
10阅读
1，corpus 语料库a computer-readable collection of text or speech 2，utterance发音比如下面一句话：I do uh main-uh 是 fillers，填充词（Words like uh and um are called fillers or filled pauses ）。The broken-off word
转载
2023-12-27 09:43:57
55阅读
自然语言处理 (Natural Language Processing) 是人工智能（AI）的一个子领域。自然语言处理（NLP）就是在机器语言和人类语言之间沟通的桥梁，以实现人机交流的目的。使用wordcloud+jieba+各种形状进行测试。
原创
2022-10-09 21:34:23
851阅读
自然语言处理3——语言学资源 文章目录自然语言处理3——语言学资源词汇资源库语料库 NLP需要大规模语言数据用于模型参数训练及评测；且NLP中知识库包括：词汇语义库、词法、句法规则库、常识库等。 词汇资源库人读词典：格式不规范，数据完整性和一致性不好，非结构化机读词典：按信息类型分类：语法词典、语义词典、双语词典等按领域分类：通用词典、专业词典、专名词典（为解决某一类任务所有的名字、地名等构成的
转载
2023-11-24 09:30:23
138阅读
感谢：://jiqizhixin/articles/2018-07-25-5 一、 NLP 概述 1.文本挖掘任务类型的划分文本挖掘任务大致分为四个类型：类别到序列、序列到类别、同步的（每个输入位置都要产生输出）序列到序列、异步的序列到序列。同步的序列到序列的例子包括中文分词，命名实体识别和词性标注。异步的序列到序
转载
2023-05-27 10:43:13
245阅读
doc2vec基本原理A distributed memory model训练句向量的方法和词向量的方法非常类似。训练词向量的核心思想就是说可以根据每个单词的上下文预测，也就是说上下文的单词对是有影响的。那么同理，可以用同样的方法训练doc2vec。例如对于一个句子i want to drink water，如果要去预测句子中的单词want，那么不仅可以根据其他单词生成feature， 也可以根据
转载
2024-01-11 21:51:00
94阅读
在nlp的数据预处理中，我们通常需要根据原始数据集做出如题目所示的三种结构。但是新手（我自己）常常会感到混乱，因此特意整理一下1.词库词库是最先需要处理出的数据形式，即将原数据集按空格分词或者使用分词的包如jieba等，将原始文章分割成一个个词语所表示的list，一般是一维或者二维的，二维词库往往是以行为第一维。
比如下面我们对ptb数据集进行处理产生对应的词库with open('ptb/ptb
转载
2023-07-31 17:06:06
73阅读
前言文本匹配一直是自然语言处理（NLP）领域一个基础且重要的方向，一般研究两段文本之间的关系。文本相似度计算、自然语言推理、问答系统、信息检索等，都可以看作针对不同数据和场景的文本匹配应用。比如信息检索可以归结为搜索词和文档资源的匹配，问答系统可以归结为问题和候选答案的匹配，复述问题可以归结为两个同义句的匹配，这些自然语言处理任务在很大程度上都可以抽象成文本匹配问题。而文本匹配整体流程基本上都可以
转载
2023-08-23 20:45:58
883阅读
NLP- 关键词提取 - 综述一、关键词提取有以下几种方式二、TF-IDF三、TextRank四、LDA五、word2vec 一、关键词提取有以下几种方式二、TF-IDFTF-IDF算法，主要是通过统计方法，评估词对文档的重要性。一个基本思想是，一个词在文档中出现的次数越多，显然这个词会相对更具代表性，但是如果这个词在很多的文档中都有出现，那么他出现次数再多也不具备文档区分能力。所以他的另一个基
转载
2023-07-08 11:37:39
152阅读
1.什么是词向量 在自然语言处理中，面临的首要问题是如何让模型认识我们的文本信息，比如向模型中输入‘我爱北京天安门’，那模型是如何认识文本的？词，是自然语言处理中基本单位，将数据输入到模型中，尽可能的让模型明白其中的含义，那就面临一个问题：如何表示一个词？ &
转载
2023-10-15 10:23:33
234阅读
文章目录NO.1、文本关键词提取算法基于统计特征的关键词提取算法1、基于词`权重`的特征量化2、基于词的`文档位置`的特征量化3、基于词的`关联信息`的特征量化NO.2、文本关键词提取算法基于词图模型的关键词抽取算法1、综合特征法2、系统科学法3、随机游走法NO.3、文本关键词提取算法基于主题模型的关键词抽取NO.4、文本关键词提取算法阶段说明 有监督的文本关键词提取算法需要高昂的人工成本，因此
转载
2024-04-07 19:01:39
67阅读
词云是一种非常漂亮的可视化展示方式，正所谓一图胜过千言万语，词云在之前的项目中我也有过很多的使用，可能对于我来说，一种很好的自我介绍方式就是词云吧，就像下面这样的：个人觉还是会比枯燥的文字语言描述性的介绍会更吸引人一点吧。今天不是说要怎么用词云来做个人介绍，而是对工作中使用到比较多的词云计较做了一下总结，主要是包括三个方面：1、诸如上面的简单形式矩形词云2、基于背景图片数据来构建词云数据3、某些场
转载
2023-10-18 18:26:27
61阅读
import jieba
import numpy
from PIL import Image#导入PIL模块处理图片
from wordcloud import WordCloud #导入词云模块
words = open('F:\python\studyClasses\work\poet.txt','r').read()#打开歌词文件，获取到歌词
new_words = ' '.join(ji
转载
2023-06-26 16:24:30
79阅读
本篇阅读的代码实现了判断两个字符串是否互为变形词的功能。
本篇阅读的代码片段来自于30-seconds-of-python。 ...
转载
2021-10-19 10:10:00
96阅读
2评论
1、词性标注 （1）词性标注简介 词性标注是在给定句子中判定每个词的语法范畴，确定其词性并加以标注。但在中文中，一个词的词性很多时候都是不固定的。从整体上看大多数词语，尤其是实词，一般只有1-2个词性，且其中一个词性的使用频次远远大于另一个，即使每次都将高频词性作为词性选择进行标注，也能实现80%以上的准确率。 目前较为主流的方法是同分词方法一样，将句子的词性标注作为一个序列标注问题来解决，即可以
转载
2024-10-14 09:41:37
14阅读
# NLP 词向量原理及应用
本文将介绍自然语言处理（NLP）中的词向量原理及其应用。词向量是NLP中一种重要的表示文本的方式，能够将离散的文字转化为连续的向量表示，从而在计算机中进行有效的处理。我们将通过代码示例和图形表示来说明词向量的原理和应用。
## 1. 词向量原理
词向量是一种将词语转换为向量形式的技术。传统的NLP方法中，通常使用独热编码的方式表示词语，即每个词语都表示为一个向量
原创
2023-10-19 17:02:29
112阅读
