在我们处理爬虫的时候，有许多文本信息，如电影简介、新闻报道以及评论等，而关键词提取是指从大量文本中提出最核心、最主要的关键词，而实现关键词提取算法的算法有两种：1. TextRank: 基于词与词直接的上下文关系构建共现网络，将处于网络核心位置的词作为关键词、2. TF-IDF:选出一般不常用但是在指定环境文本中频繁出现的词作为关键词。信息的抽取是从非结构化文本中抽取出有意义或者感兴趣的字段。例如
转载
2023-08-24 12:09:24
151阅读
这篇博客根据中文自然语言预处理的步骤分成几个板块。以做LDA实验为例，在处理数据之前，会写一个类似于实验报告的东西，用来指导做实验，OK，举例：一，实验数据预处理（python,结巴分词）1.对于爬取的评论做分词和词性标注处理(mac-result.txt)2.对于结果只用公版的停用词表去停用词，不进行人工筛选(mac-result1.txt)3.保留：名词，名词短语（两者为评论描述主题）
转载
2023-06-21 16:13:22
202阅读
特点展示如何使用基于 Python 的深度学习库 PyTorch 应用这些方法演示如何使用 PyTorch 构建应用程序探索计算图和监督学习范式掌握 PyTorch 优化张量操作库的基础知识概述传统的 NLP 概念和方法学习构建神经网络所涉及的基本思想使用嵌入来表示单词、句子、文档和其他特征探索序列预测并生成序列到序列模型学习构建自然语言处理生产系统的设计模式内容介绍
监督学习范式观察和目标
转载
2023-09-05 08:07:21
281阅读
1.自然语言工具包（NLTK）NLTK 创建于2001 年，最初是宾州大学计算机与信息科学系计算语言学课程的一部分。从那以后，在数十名贡献者的帮助下不断发展壮大。如今，它已被几十所大学的课程所采纳，并作为许多研究项目的基础。表P -2 列出了NLTK 的一些最重要的模块。 这本书提供自然语言处理领域非常方便的入门指南。它可以用来自学，也可以作为自然语言处理或计算语言学课程的教科书，或是人
转载
2024-04-25 16:08:29
43阅读
HanLP方法封装类： 1. # -*- coding:utf-8 -*-
2. # Filename: main.py
3.
4.from jpype import *
5.
5.startJVM(getDefaultJVMPath(), "-Djava.class.path=C:\hanlp\hanlp-1.3.2.jar;C:\hanlp", "-Xms1g", "-Xmx1g"
转载
2024-05-10 23:21:08
40阅读
英文资料： http://github.com/lovesoft5/ml一、自然语言处理概述 1）自然语言处理：利用计算机为工具，对书面实行或者口头形式进行各种各样的处理和加工的技术，是研究人与人交际中以及人与计算机交际中的演员问题的一门学科，是人工智能的主要内容。&n
转载
2023-07-03 17:02:38
16阅读
Python以其清晰简洁的语法、易用和可扩展性以及丰富庞大的库深受广大开发者喜爱。其内置的非常强大的机器学习代码库和数学库，使Python理所当然成为自然语言处理的开发利器。 那么使用Python进行自然语言处理，要是不知道这8个工具就真的Out了。 NLTK NLTK是使用Python处理语言数据的领先平台。它为像WordNet这样的词汇资源
转载
2023-07-12 21:48:54
232阅读
第01章 语言处理与Python1.1 语言计算：文本和单词Python入门NLTK 入门搜索文本计数词汇1.2 近观Python：将文本当做词链表链表（list，也叫列表）索引列表变量字符串1.3 计算语言：简单的统计频率分布细粒度的选择词词语搭配和双连词（bigrams）计数其他东西1.4 回到Python决策与控制条件对每个元素进行操作嵌套代码块条件循环1.5 自动理解自然语言词意消歧指代
转载
2024-03-13 23:16:31
81阅读
在讲Python编译常用语法之前，我们先来看一下几个名词解析，快速扫盲。1.自然语言，即人们日常使用的语言，与语言学的研究有着密切的联系，但又有重要的区别。计算机中的自然语言处理并不是一般地研究自然语言，而在于研制能有效地实现自然语言通信的计算机系统，特别是其中的软件系统。它是计算机科学的一部分。1.1自然语言(Natural language)通常是指一种自然地随文化演化的语言。例如，汉语、英语
转载
2024-02-02 21:47:05
67阅读
作者 | Joel Grus第二十一章 自然语言处理1. 词云2. n-grams 模型3. 语法4. 题外话：吉布斯采样5. 主题建模他们刚从一场语言的盛宴上偷了些残羹冷炙回来。——威廉 · 莎士比亚 自然语言处理（natural language processing，NLP）是指与语言有关的各
转载
2024-03-22 08:27:04
48阅读
自然语言处理是一门融语言学、计算机科学、数学于一体的学科，比较复杂，学习门槛高，但本书巧妙地避开了晦涩难懂的数学公式和证明，即便没有数学基础，也能零基础入门。本书专注于中文的自然语言处理，以Python及其相关框架为工具，以实战为导向，详细讲解了自然语言处理的各种核心技术、方法论和经典算法。三位作者在人工智能、大数据和算法领域有丰富的积累和经验，是阿里巴巴、前明略数据和七牛云的资深专家。同时，本书
转载
2024-04-07 20:33:18
44阅读
全文共2448字，预计学习时长7分钟图源：unsplash 当谈到学习方法时，我们常常会提到教程、博客文章、在线课程等等，书本有时会被忽略了。即使你是在找一本关于某个主题的书，你也会很快发现这样的书太多了，无法快速判断哪一本最适合自己。 为了帮助你解决问题，我帮你选择5本关于自然语言处理的书，不像其他的书单，除了第一本之外，这些书都不是免费的，但事实证明它们是值得投资的，希望能
转载
2023-10-01 16:04:37
104阅读
人生苦短，我用python除了给你生孩子，python都能给你做到。 这句话所言不假，python拥有丰富的库，能完成各种各样的的功能。 只有你想不到的，没有python做不到的。下面我们来看看python在自然语言处理中的应用吧！自然语言处理(NLP)自然语言处理(NLP)是计算机科学，人工智能，语言学关注计算机和人类(自然)语言之间的相互作用的领域。 这一领域的研究将涉及自然语言，即人们日常使
转载
2023-10-18 23:22:58
103阅读
注：本文选自人民邮电出版社出版的《PyTorch自然语言处理入门与实战》一书，略有改动。经出版社授权刊登于此。 处理中文与英文的一个显著区别是中文的词之间缺乏明确的分隔符。分词是中文自然语言处理中的一个重要问题，但是分词本身也是困难的，同样面临着自然语言处理的基本问题，如歧义、未识别词等。 本内容主要涉及的知识点有
转载
2024-01-31 21:15:00
288阅读
译者 | Arno【导读】：本文介绍了最先进的自然语言处理库——PyTorch-Transformers。 概览我们在本文中将介绍最新且最先进的的NLP库：PyTorch-Transformers我们还将在Python中使用PyTorch-Transformers实现流行的NLP模型(如谷歌的BERT和OpenAI的GPT-2) !正如我们所知，这有可
转载
2024-05-06 07:43:10
674阅读
自然语言处理（Natural Language Processing，简称 NLP），是研究计算机处理人类语言的一门技术。随着深度学习在图像识别、语音识别领域的大放异彩，人们对深度学习在 NLP 的价值也寄予厚望。再加上 AlphaGo 的成功，人工智能的研究和应用变得炙手可热。自然语言处理作为人工智能领域的认知智能，成为目前大家关注的焦点。NLP 研究领域包括：句法语义分析：对于给定的句子，进行
转载
2023-10-02 16:40:24
120阅读
最近读了《Python深度学习》， 是一本好书，很棒，隆重推荐。本书由Keras之父、现任Google人工智能研究员的弗朗索瓦•肖莱(François Chollet)执笔，详尽介绍了用Python和Keras进行深度学习的探索实践，涉及计算机视觉、自然语言处理、生成式模型等应用。书中包含30多个代码示例，步骤讲解详细透彻。由于本书立足于人工智能的可达性和大众化，读者无须具备机器学习相关背景知识即
转载
2023-09-07 11:11:13
50阅读
作者 | Rao，McMahan译者 | Liangchu校对 | gongyouliu编辑 | auroral-L第七章 自然语言处理的进阶序列模型7.1 Vanilla RNN（或Elman RNNs）的问题7.2 门控——Vanilla RNN的挑战的解决方案7.3 示例：用于生成姓氏的字符RNN 7.3.1 SurnamesData
转载
2024-05-17 13:12:17
49阅读
python版本：2.7课程目标处理语言：英语(English)NLP自然语言工程师： 初级课程所谓“自然语言”，是指人们日常交流使用的语言。本套课程 是针对人工智能领域--自然语言理解的入门视频讲解，介绍了python语言对自然语言处理的工具包以及自然语言处理的方法使用。本套课程真对具有python编程基础的同学，在有python编程的基础上学习本套视频课程，会比较轻松的学习python对自然语
转载
2023-11-11 20:59:43
79阅读
今天开始对HTML文件的处理，主要根据Python自然语言处理这本书籍。1.实现对本地文件的读取和可视化过程。>>> f=open('try111.txt',encoding='utf-8')
>>> raw=f.read()
>>> print(raw)或者对于需要换行输出的文本（即需要删掉原有的换行符），可以执行如下操作f=open('tr
转载
2024-04-16 11:57:14
48阅读
