今天给大家推荐两款超好用的工具来对数据进行探索分析。更好地帮助数据分析师从数据集当中来挖掘出有用的信息PandasGUI一听到这个名字，大家想必就会知道这个工具是在Pandas的基础之上加了GUI界面，它所具备的主要功能有：查看DataFrame数据集与Series数据集交互式地绘制图表过滤数据统计分析数据的修改与复制粘贴拖放导入csv文件搜索工具栏当然在使用之前，我们先要安装好该工具pip in
导读自然语言处理（Natural Language Processing，NLP）技术是与自然语言的计算机处理有关的所有技术的统称，其目的是使计算机能够理解和接受人类用自然语言输入的指令，完成从一种语言到另一种语言的翻译功能。 语义分析技术自然语言处理技术的核心为语义分析。语义分析是一种基于自然语言进行语义信息分析的方法，不仅进行词法分析和句法分析这类语法水平上的分析，而
转载
2023-08-08 11:39:02
181阅读
导论：2018年NPL领域，很不凡，二月出了 ELMo，六月出了 OpenAI Transformer，十月又出了BERT，模型一个比一个强大，性能也是越加优良，最为目前特别亮眼的Bert模型，被称为最强NPL模型，究竟有何特别之处呢？他是有何而来的？接下来我们来探讨一下。1. Transformer的原理。自从google推出word2vec，传统的基于统计学的语言处理模型与基于神经网络的语言处
转载
2024-03-14 11:28:17
44阅读
NLP项目主要流程1.分词(Word Segmentation)1.1 分词依靠词库常用开源分词工具：jieba, SnowNLP, LTP, HanNLP 1.2 分词算法：1.2.1 基于匹配规则的匹配：最大匹配（forward max-matching/background max-matching/双向最大匹配）：最大匹配算法 缺点： 1.陷入局部最优 ; 2.未考虑语义，可产生歧义，可在
转载
2023-10-31 18:03:28
40阅读
和大家聊聊我自己做的作业案例。作业来自Coursera上的Introduction to Natural Language Processing这门课，讲师是Dragomir R. Radev, Ph.D.，University of Michigan的教授。关于课程内容，虽然现在没有了，但是2016年的链接是https://www.coursera.org/learn/natural-langu
转载
2023-10-20 16:16:10
50阅读
介绍在自然语言处理中，中文处理技术比西文处理技术要落后很大一段距离，许多西文的处理方法中文不能直接采用，就是因为中文必需有分词这道工序。当我们进行自然语言处理的时候，大部分情况下，词汇是我们对句子和文章理解的基础，因此需要一个工具去把完整的文本中分解成粒度更细的词。中文分词是其他中文处理的基础Python3 jieba库的安装直接命令行输入：pip install jieba
百度PyPI，搜索下
转载
2024-01-14 10:54:41
57阅读
了解了HMM之后，我们可以发现HMM有两个很明显的缺点：HMM定义的是联合概率，必须列举出所有可能出现的情况，这在很多领域是很困难的。在NLP领域，常知道各种各样但又不完全确定的信息，需要一个统一的模型将这些信息综合起来。HMM遵循一个假设：输出独立性假设。这要求序列数据严格相互独立才能保证推导的正确性，导致不能考虑上下文特征。而在NLP领域，上下文信息是很重要的。 因此，引入条件随机场（
转载
2023-08-12 15:18:02
124阅读
一、语料的获取与处理1、什么是语料库？语料：即语言材料。语料是语言学研究的内容。语料是构成语料库的基本单元。语料库：存放的是在语言实际使用中真实出现过的语言材料，是以计算机为载体承载语言知识的基础资源。真实语料需要经过加工（分析、处理），才能成为有用的资源。2、语料库的种类异质的：语料有多种分类 同质的：语料同类 系统的：如聊天机器人 专用的：如保险推销聊天机器人3、语料的获取途径1、开放性语料数
转载
2023-11-01 23:57:30
161阅读
首先，大概讲一下自然语言处理的背景。互联网上充斥着大规模、多样化、非结构化的自然语言描述的文本，如何较好的理解这些文本，服务于实际业务系统，如搜索引擎、在线广告、推荐系统、问答系统等， 给我们提出了挑战。例如在效果广告系统中，需要将 Query(User or Page) 和广告 Ad 投影到相同的特征语义空间做精准匹配，如果 Query 是用户，需要基于用户历史数据离线做用户行为分析，如果 Qu
转载
2023-11-07 22:15:22
340阅读
给你一篇文章或者一个句子，人们在理解这些句子时，头脑中会进行上下文的搜索和知识联想。通常情况下，人在理解语义时头脑中会搜寻与之相关的知识。知识图谱的创始人人为，构成这个世界的是实体，而不是字符串，这从根本上改变了过去搜索的体系。语义理解其实是基于知识，概念和这些概念间的关系。人们在解答问题时，往往会讲述与这个问题相关的知识，这是语义理解的过程。这种机制完全不同于人对图像或者语音的认识。CNN在图像
转载
2023-08-09 10:10:08
110阅读
情感分析简介文本情感分析（Sentiment Analysis）是自然语言处理（NLP）方法中常见的应用，也是一个有趣的基本任务，尤其是以提炼文本情绪内容为目的的分类。它是对带有情感色彩的主观性文本进行分析、处理、归纳和推理的过程。 本文将介绍情感分析中的情感极性（倾向）分析。所谓情感极性分析，指的是对文本进行褒义、贬义、中性的判断。在大多应用场景下，只分为两类。例如对于“喜爱”和“厌恶”这两
转载
2023-09-20 09:23:53
139阅读
点赞
自然语言处理（NLP）是一种艺术与科学的结合，旨在从文本数据中提取信息。在它的帮助下，我们从文本中提炼出适用于计算机算法的信息。从自动翻译、文本分类到情绪分析，自然语言处理成为所有数据科学家的必备技能之一。
在这篇文章中，你将学习到最常见的10个NLP任务，以及相关资源和代码。为什么要写这篇文章？对于处理NLP问题，我也研究了一段时日。这期间我需要翻阅大量资料，通过研究报告，博客和同类N
转载
2023-10-31 13:07:19
120阅读
文章目录基础知识部分语言分类情感分类 基础知识部分什么是NLP？ 答：NLP全名：Natural Language Processing （自然语言处理）。语言分类我们为了让大家更好理解，下面引出第一个实例：马蜂窝评论造假事件。 如此庞大的数据量，那么多评论是如何被发现是重复刷出来的呢？用到的就是我们的NLP中的文本相似度分析。文本相似度分析：就是从海量数据，文章，评论中，把相似的数据挑选出来。
转载
2023-11-22 21:07:20
89阅读
NLP论文（情感分析）：《Aspect Based Sentiment Analysis with Self-Attention and Gated Convolutional Networks》 笔记论文介绍模型结构文章翻译AbstractV. CONCLUSION相关视频相关的笔记相关代码pytorchtensorflowkeraspytorch API:tensorflow API 论文N
转载
2023-11-16 21:13:02
48阅读
陆：句法分析语言学的不同分支对应了不同的nlp基础技术，词法学对应于自动分词、词性标注等，而句法学对应的是句法分析。句法(Syntax): 研究语言的句子结构，针对语言学两个基本关系中的组合关系。一、句法分析概述概念句法分析：判断单词串是否属于某个语言，如果是，则给出其（树）结构。句法分析包含两个子问题，一是语言体系的形式化描述，二是语言结构的分析算法。
一般而言，语言结构分析算法的任务着重
转载
2023-08-31 18:17:08
209阅读
文章目录1 什么是NLP1.1 NLP的两大任务1 NLU 自然语言理解2 NLG 自然语言生成1.2 NLP的发展和技术路线1 基于传统机器学习的NLP流程2 基于深度学习的NLP流程3 方法路线1.3 目前研究方向2 词法分析（Lexical Analyse）2.1 分词1. 为什么需要分词？2. 中英文分词的区别3. 中文分词的难点4. 分词方法5 分词知识图谱2.2 词性标注1 什么是词性
转载
2023-10-16 12:55:59
158阅读
词典输出词典中不常见的词，即没有出现在文本中的词import nltk
def unusual_words(text):#输出不常见的词
text_vocab = set(w.lower() for w in text if w.isalpha())
english_vocab = set(w.lower() for w in nltk.corpus.words.words())
转载
2024-06-11 06:51:02
37阅读
PP-LCNet: A Lightweight CPU Convolutional Neural Network提出了一个基于MKLDNN加速策略的轻量级CPU网络，命名为PP-LCNet，它提高了轻量级模型在多任务上的性能。本文列出了可以在延迟几乎不变的情况下提高网络准确性的技术。通过这些改进，PP-LCNet在相同的分类推理时间下，准确率可以大大超过以前的网络结构。如下图所示，它优于最先进的模
转载
2023-12-20 15:32:04
30阅读
参考 https://www.zhihu.com/question/40309730 NLP通常包括两个关键问题： 1.选择什么样的语言模型？ 2.选择什么样的分类算法？ 第二个问题是机器学习领域的标准问题，各种针对不同数据类型、数据分布的算法和技巧，这里不再赘述。而在NLP当中，语言模型更加重要一些。 不同语言模型的区别，也就是对文本提取特征的不同。常用的模型有
转载
2023-08-31 10:44:43
79阅读
1 自然语言nlp都可以做什么1.1. 元素分析词法分析（Lexical Analysis）：对自然语言进行词汇层面的分析，是NLP基础性工作 分词（Word Segmentation/Tokenization）：对没有明显边界的文本进行切分，得到词序列 新词发现（New Words Identification）：找出文本中具有新形势、新意义或是新用法的词 形态分析（Morphological
转载
2023-08-31 07:18:07
219阅读
